Karpathy microgpt.py 해부: GPT 학습과 추론이 한 파일에서 돌아가는 방식
Andrej Karpathy의 microgpt.py를 한 파일짜리 GPT 실행체로 해부합니다. 문자 tokenizer, scalar autograd, Q/K/V attention, Adam update, autoregressive sampling이 어떻게 연결되는지 설명합니다.
메뉴
시리즈
GPT 코드 분석
공개 글 1개
시리즈
공개 글 1개
Andrej Karpathy의 microgpt.py를 한 파일짜리 GPT 실행체로 해부합니다. 문자 tokenizer, scalar autograd, Q/K/V attention, Adam update, autoregressive sampling이 어떻게 연결되는지 설명합니다.