原文：“考试满分、实战翻车”，llya 1.5小时访谈详解模型能力的“锯齿落差”

AI总结

1. 核心预测：AGI 何时到来？

• 时间表： Ilya 预测，人类级别的 AGI 将在 5 到 20 年内实现。
• 经济影响： 尽管目前的 AI 即使在评估中表现优异，但在实际经济应用中仍显滞后，但他坚信 AI 终将渗透到各个领域，带来快速的经济增长。

2. 技术瓶颈与“锯齿状”能力

Ilya 指出当前模型能力存在一种**“锯齿状”（Jagged）**的落差：

• 现象： AI 像是一个“应试专家”，在复杂的编程竞赛中能拿满分，但在实际应用（如修改简单代码错误）时常常“翻车”，犯低级错误。
• 原因：

• 过度拟合： 强化学习（RL）让模型过度专注于狭窄的评估目标，牺牲了泛化能力。
• 缺乏“价值函数”： 现有的模型缺乏人类那样内在的、高效的反馈机制（即“价值函数”或类似“情绪”的系统），无法在得出最终结果前判断路径是否正确。

3. “规模化（Scaling）”已死，“研究时代”回归

• 规模化见顶： 单纯依靠增加数据和算力的预训练“规模化配方”已进入瓶颈期。并不是说不能继续扩大，而是单纯扩大 100 倍规模不再能带来质的飞跃。
• 重回研究时代： 现在的重点从“堆算力”转回了“找配方”。我们需要通过研究找到更高效利用算力的方法（例如更高效的强化学习、价值函数），这与 2012-2020 年的探索期非常相似。

4. 解决泛化难题：向人类大脑取经

• 样本效率差异： 人类（例如青少年学开车）只需要极少的数据（10小时）就能掌握复杂技能，且具备极强的鲁棒性，而 AI 需要海量数据。
• 价值函数即“情绪”： Ilya 提出了一个有趣的观点，人类的**“情绪”其实是一种生物进化的“价值函数”**。它帮助我们在逻辑运算之前快速判断好坏（如恐惧、自信）。未来的 AI 需要引入类似的机制来提高学习效率。

5. SSI 的战略：直通超级智能（Straight Shot）

Ilya 解释了他在新公司 Safe Superintelligence (SSI) 的独特打法：

• 不急于商业化： 不同于 OpenAI 或 Anthropic 的“渐进式部署”产品策略，SSI 专注于纯粹的研究，试图“直通”超级智能，避免被商业竞争分心。
• 算力聚焦： 尽管 SSI 只有 30 亿美元融资（相比巨头较少），但巨头的算力大量用于推理（服务用户），而 SSI 的资源全部集中在研究上，因此在研发算力上并不落后。
• 部署即学习： 超级智能不会是一个出厂即完美的成品，它更像是一个绝顶聪明的 15 岁少年，需要在部署到真实世界的过程中持续学习（Continuous Learning）。

6. AI 安全与对齐：让 AI “关心有情众生”

• 新的对齐目标： 面对难以预测的超级智能，Ilya 提出构建安全 AI 的核心在于让它**“关心有情生命”（Care about sentient beings）**。
• 生物学基础： 这类似于人类的同理心或镜像神经元机制。如果初始的超级智能具备这种“善意”的元设定，它在自我进化中更有可能保持对人类的安全。

7. 如何打破“模型同质化”

• 现状： 目前各家的大模型（LLM）因为使用了相同的预训练数据，表现非常相似。
• 破局： **自我博弈（Self-Play）**和多智能体竞争是打破同质化的路径。让 AI 相互竞争、辩论或进行“证明者-验证者”的对抗，可以激励模型产生差异化的思考路径，并在没有新数据的情况下提升能力。

8. 什么是好的“研究品味”？

Ilya 分享了他从 AlexNet 到 GPT-3 的成功心法：

• 美学标准： 好的研究应该是美、简洁、优雅的。
• 生物启发： 必须正确地借鉴大脑机制（如神经网络的连接方式），但不要被细节（如大脑皮层的褶皱）误导。
• 自上而下的信念： 当实验数据暂时不理想时，如果你的理论在逻辑上是美且合理的，你需要有“信念”坚持下去，而不是轻易放弃。

总结一句话： Ilya 认为单纯堆砌算力的时代已经结束，未来属于通过“回归研究”来赋予 AI 类似人类的“价值函数”和“持续学习能力”，最终在 5-20 年内实现一个关心有情众生的超级智能。