전체 글 134

수학을 잘하고 싶다

이번학기에 추상대수학을 수강하면서 느낀 점은 확실히 자연대 과목이 훨~~~씬 어려운 것 같다.지금 듣는 컴퓨터 아키텍쳐, 네트워크, 시스템 프로그래밍, GPU 같은 수업들도 하나 하나 다 어려운데수학과 전공과목 들으니까 다른 방향으로 어렵다. 솔직히 컴퓨터 공학 과목들은 벼락치기도 가능하고 과제 나올때만 그때그때 공부해도 개념이 이해 안가서 어려운게 아니라 어느정도 따라가는데 추대 진짜 하루에 2~3시간씩 매일 보는데 학교 수업 진도도 못 따라가겠고 과제문제도 개어렵다. (물론 자동장치 같은 컴퓨터 사이언스쪽은 비슷한 측면이 있는거 같은데... 애초에 난 ps를 했으니 좀 수월한 면이 있고)대학교 와서 처음으로 교과서 정독하고 문제 다풀고 하는데 다른 과목들도 그렇게 했었어야 되는것 같기도 하고...근데..

LLM / 딥러닝 모델 훈련에 필요한 메모리 적당히 추론하기

모델 파라미터 개수를 Ψ 개라고 하면, fp16으로 훈련 끝난 가중치가 저장되니까 2Ψ byte의 메모리가 든다.훈련할때는 얼마나 들까?훈련시 peak memory를 계산해야 한다.Model States(Optimizer States, Gradients and Parameters)  + Residual Memory Consumption 로 계산된다.훈련할 때는 대충 총 10배정도 메모리가 더 든다고 보면 될듯?