从零手写 GPT：Karpathy 逐行带练

中文导读

全网最经典的 Transformer 入门实操：Karpathy 打开空白文件，近两小时带你在笔记本上写出能跑的 nano-GPT。注意力机制、多头注意力、残差连接、LayerNorm，每个概念都落成 PyTorch 代码。这是祛魅大模型最有效的一支视频。

关键观点

• GPT 核心 = 注意力：让 token 之间按相关性互相「通信」再预测下一个。
• 从零搭 Transformer：embedding → 多头注意力 → 前馈 → 残差 + LayerNorm → 输出头。
• 训练 = 抽样文本 → 算损失 → 反向传播，几百行代码全部讲完。
• 亲手训出莎士比亚文风小模型，直观看到「智能如何从预测里长出来」。
• 看完再读 GPT-2/GPT-3 论文，术语全部对得上。