노력하는 공대생의 공부일지

참고: ZeRO: Memory Optimizations Toward Training Trillion Parameter Models 공부한거 나중에 보기 편하게 적는다.어떤 특정 딥러닝 모델을 학습시킬 때 매우 많은 메모리가 필요하다 그래서 요즘엔 32bit 실수 FP32 를 FP16으로의 mixed-precision training을 이용한 최적화가 많이 진행된다. 1.5B 딥러닝 모델은 파라미터(가중치 행렬)은 FP16으로 3gb의 메모리를 필요로 한다. 32gb의 single gpu에서 이 모델을 학습 시킬 수 없다. 어떤 부분에서 이러한 메모리 누수(라고 표현하는게 옳은지는 모르겠지만)가 발생하는 것일까?(밑에 내용은 GPT로 번역시킨 것을 적당히 수정) 1. Model States: Optimiz..

2월 1일 기준 gpt o3가 나왔고 open ai 자기들 말로는 코드포스 2700점이라고 한다.내가 낸 플레4 constructive 문제 4분컷하더라https://www.acmicpc.net/source/share/998cd3f7568d4ebbaea56fc9f0a280ad어쨌든 이제 잘하는거 같은데...마침 오늘 라이브 코포가 있었고 live문제들에 관한 질문은 무시하거나 답변하지 않도록 내부 로직짜면 좋을거 같아서 물어봤다.말은 잘하는데 실제로 긁어서 물어보니까 별 검증 안하는거 같더라근데 딥2 A번도 꽤 오래 걸리던데... 그냥 에디토리얼 학습시켜서 잘한다고 뻥친건가 싶기도 하고.아니 근데 라이브 코포 시간대에 링크 들어가서 문제 매칭시켜서 유사도 높으면 답변 거절하게 만드는거 엄청 쉬울거 같은데..