技术思想家Andrej Karpathy · 2025年2月5日 · 3:31:23
深入拆解 ChatGPT 这类大模型（3.5 小时通识课）
提示：播放器右下角「字幕」可开启 / 切换字幕语言；如视频提供中文字幕，可直接切换。
| 项目 | 详情 |
|---|---|
| 嘉宾 | Andrej Karpathy |
| 频道 | Andrej Karpathy |
| 日期 | 2025年2月5日 |
| 时长 | 3:31:23 |
| 格式 | 视频 |
| 主题 | #llm · #engineering · #open-source |
中文导读
2025 年更新的「完整版」：Karpathy 用三个半小时把 ChatGPT 类产品的完整流水线端到端讲一遍——数据、分词、预训练、后训练、推理、工具使用、幻觉与防护。比 2023 年一小时版深了整整一层。抽一个下午系统补齐大模型认知。
关键观点
- 完整流水线：原始互联网数据 → 分词 → 预训练 → 监督微调 → 强化学习后训练。
- 幻觉不是 bug 是特性：模型永远在编「统计上最像」的回答，缓解靠工具与检索。
- 推理模型的关键：让模型在回答前「多想一会儿」，用强化学习奖励对的思考链。
- 能力有「瑞士奶酪」结构：难题能做、简单题翻车，别把演示当生产力。
- 用好 ChatGPT：把上下文当内存管理，该开新对话就开新对话。
原视频信息
- 讲者
- Andrej Karpathy
- 频道
- Andrej Karpathy
- 场合
- 个人频道 3.5 小时通识大课
- 日期 · 时长
- 2025年2月5日 · 3:31:23
Deep Dive into LLMs like ChatGPT
在 YouTube 观看原片📚 来源与延伸
本页内容基于以下权威来源整理，可验证、可引用。
引用规范：请注明来源为老金出海（laojinchuhai.com）并保留原文链接。
老金出品 · 用 AI 提效
AllModelsAPI一个 key，调多家大模型
AllModelsAPI 是多模型 API 中转站：一个 key 调多家模型，OpenAI 兼容接口，现有代码改个 base_url 就能迁。它不是演示品——我们自己的生产环境每天都在用。
更多老金产品：Sellenca · 365AIOrg · 365Loopa · 365 Ops · 365Skill
相关内容
按主题 / 人物 / 专区自动互通