刚刚！Ilya首个模型曝光了

前OpenAI首席科学家 Ilya ，大概就是「哥已不在江湖，但江湖却到处都是哥的传说」的典型代表。

亲手缔造深度学习时代的他，离开OpenAI已两年有余。自己创办的SSI不发模型，不做产品，几乎从牌桌上消失。

可AI圈每隔一段时间，还是会有人追问同一个问题：Ilya在干嘛？

就在刚刚，X上网友「三只草莓」爆料，SSI正在探索一种基于 TTT（Test-Time Training，测试时训练）的小型推理引擎。

据其描述，这个模型会用专门整理的数据学习「如何学习」，再在解决问题的过程中更新部分权重。

即使模型规模不大，也足以和经过更大规模训练的模型掰手腕。

更进一步，他还在评论区表示，SSI当前版本已经准备就绪，团队正在把下一代版本的规模直接扩展 10倍 。

更更更关键的是，这可能不是一张「未来可期」的支票。

按照他的说法，当前版本最快 这个8月 就可能露面，早期将会向少数用户开放。

也就是说，如果爆料属实。SSI藏了两年的第一把剑，可能真要出鞘了。

也有人判断，只要这种路线能顺利扩大规模，其他公司将很难追上SSI。

但就在大伙已经准备迎接「Ilya王者归来」的时候，又有消息称：

老实说，Ilya离开OpenAI自立门户之后，围绕SSI的传闻已经多到满天飞。

有人质疑Ilya在深度学习历史中的真实贡献，GPT真正的父亲其实是Alec Radford；

也有人说他像梁文锋一样，转头研究量化去了。

但这一次爆料能迅速炸开，还真不只是因为「Ilya」三个字自带流量。

而是它确实碰上了几条已经公开的线索，经梳理至少有三条：

第一条，部署后持续学习，和Ilya去年11月在Dwarkesh Patel播客中表达的观点高度一致。

当时Ilya表示：「AGI」和「预训练」两个词把行业带偏了。

因为人并不是生来便掌握所有工作的通用智能，人真正依靠的是持续学习。

他设想中的超级智能，更像一个极其聪明、求知欲旺盛的15岁少年。

它懂得不算多，却能在部署之后学习编程、医学和各种工作，在一次次试错中继续成长。

在Ilya看来，SSI要造的不是一台出厂时（预训练结束后）便无所不知的机器，而是一个能够学会任何工作的心智。

这个目标带有明显的元学习色彩：模型需要掌握的不只是某项技能，还有学习新技能的方法。

Ilya虽然当时没有提到TTT，但它们指向了同一个问题：

今年7月27日，英伟达与SSI宣布长期战略合作，同时投资SSI，并向其提供下一代Vera Rubin系统。

SSI的算力将增加一个数量级，也就是约10倍，而且据路透社爆料，投资金额高达50亿美元。

英伟达在公告里特意写道，SSI过去两年一直在悄悄推进一条新的研究路线。

英伟达罕见地接触到这项严密保密的研究后，决定推动它进入下一阶段。

换句话说，老黄验过牌了。至于牌是什么，他没说。

Ilya自己的表态同样耐人寻味：是时候扩大SSI了！

第三条线索，是TTT本身在过去两年的进展。

最近，越来越多研究者开始尝试越过「不断扩展上下文」这条路线，寻找一种更接近持续学习的范式。

原因也很简单。因为人并不是通过把小抄越写越长来学习，更不会像《记忆碎片》里的男主一样，把遇到的每件事都纹在身上。

经历一件事之后，大脑会调整内部连接。下一次再遇到类似问题时，人已经不是上一次的自己，这也是TTT这条路线真正有意思的地方。

简单来说，TTT（Test-Time Training）就是测试时训练，它让模型不再把「训练」和「推理」彻底切开，而是在真正解决问题时，拿眼前的数据继续训练自己，再根据预测结果与目标之间的误差，调整内部状态，甚至直接更新一部分参数。

爆料中，「三只草莓」还特意提到了一篇相关的论文——

End-to-End Test-Time Training for Long Context。

简单来说，这篇论文把长上下文问题重新理解成了一个持续学习问题。

传统长上下文模型会把前文保存在上下文窗口中，每次生成新内容时，再回头查找需要的信息。