Ilya Sutskever：关于泛化的一点观察

中文导读

Ilya Sutskever 是 OpenAI 联合创始人、前首席科学家，深度学习的奠基人之一。这场 2023 年在伯克利 Simons Institute 的演讲是他极少公开露面的思想浓缩：为什么「预测下一个词」足以学到世界的深层结构、无监督学习为什么有效、以及他那句著名的「感受 AGI」。技术圈反复引用的「压缩即智能」思想，源头之一就在这里。一小时，理解大模型信仰的理论根基。

关键观点

• 泛化之谜：为什么大模型在没见过的数据上也好用？Ilya 给出一个关于「压缩」的统一解释。
• 预测下一个词 = 压缩互联网：要压得狠，就必须学到文本背后的世界规律。
• 无监督学习有效的真正原因：数据之间存在共享的深层结构，模型把它挖了出来。
• 「感受 AGI」：能力会随规模持续涌现，真正的难点转到测量与驾驭。
• 理论品味决定研究方向：这场演讲解释了 OpenAI 多年技术押注背后的世界观。