Karpathy microgpt.py 해부: GPT 학습과 추론이 한 파일에서 돌아가는 방식
Andrej Karpathy의 microgpt.py를 한 파일짜리 GPT 실행체로 해부합니다. 문자 tokenizer, scalar autograd, Q/K/V attention, Adam update, autoregressive sampling이 어떻게 연결되는지 설명합니다.
- Karpathy
- GPT
- Transformer
- Autograd
- Python
메뉴
태그
Transformer
공개 글 1개