详情

Is Scaling is All you Need？

在 Ilya 探讨完「预磨砺行将拆伙」之后，对于 Scaling Law 的臆测再次激勉热议。

这届 NeurIPS 将被难忘成预磨砺拆伙的一届会议

在最新研讨会上，OpenAI 大神，o1 中枢成员 Noam Brown 暗意，o1 代表的是一种全新的，以推理诡计为代表的 Scaling。

网友们暗意：好好好，Scaling Law 还莫得死！Scaling Law 还在不竭。

演讲实录：Is Scaling is All you Need？

Noam Brown，OpenAI 大神一枚，客岁 7 月从 Meta 去职，曾开发首个在战术游戏中达到东说念主类水平的 AI，此前在游戏 AI 畛域有关讨论效能曾登上 Science 封面。

如今在 OpenAI 勤奋于多步推理、自我博弈以及多智能体 AI 有关的讨论。

此前在 o1 发布的直播期间露过面。

据网友 @swyx 共享，Noam Brown 最初谈到 Scaling Law 的以前演进。

AI 从 2019 年到当今，GPT-2 演进到 GPT-4，这难以置信的树立齐来自于数据和算力限度的扩大。

但大谈话模子仍然无法处理像井字棋这么的不详问题，

那么随之而来的一个问题是，Is Scaling is All you Need？咱们的确还需要再破费更高的资原来磨砺更好的 AI 吗？

这当中被低估的其实是推理的资本，它在以前的膨胀（Scaling）要少得多。o1 带来了 Scaling 的新的维度。

随后，他追忆了以前模子展现出来的访佛划定。

比如在 2012 年 -2015 年间扑克模子的膨胀。模子限度每年膨胀 5 倍，但奏效不大。但依照「东说念主类需要更始终间想考更难问题」这一见识，加多了模子 20 秒的搜索期间，效果莽撞相等于将模子限度扩大了 100000 倍。

还有在棋牌中膨胀推理的历史，backgammon- 海外象棋 - 围棋。AlphaGo Zero 在原始 NN 基础上杀青了从 3000 到 5200 Elo 增长，齐是因为 test-time search（推理期间搜索）。

此外，他还援用了 Andy L.Jones 对于 Scaling Laws of games 的图表——不错用 10 倍的预磨砺诡计量沟通 15 倍的测试期间诡计量。

要是游戏限制膨胀到 LLMs，是不是也会是如斯？

那么对于 o1 接下来，会有更高的推理诡计智商。在以前 5 年里，LLM 成见即是聊天机器东说念主。那么他们不错作念得更好"

临了他还打了个小告白，面前他的多智能体团队还在招东说念主 ing。

网友褒贬

要是再纠合昨天 Ilya 谈到「预磨砺时间行将拆伙」。那么对于商场来说，这一波可不是利好英伟达了（Doge）。

不外也有从业者站出来反对他的看法：推理期间诡计（Inference Time Computation）并不极新，原来还想把它去掉，但出于需要又让它追忆了。

他还校正说，内部对于诸多游戏期间门径是失实的，许多游戏（包括海外象棋和围棋）一运转齐只专注于推理期间诡计。但自后人人齐倾向于离线学习策略，这么省去了多半的在线诡计期间。

因此，减少面向用户的推理期间诡计是一个三想此后行的给与，致使导致该畛域运转篡改对诡计复杂性研讨的形势。

这一趋势在 LLMs 中也获取了延续——总共的重心齐放在预磨砺上，因此推理期间的诡计量不错忽略不计。这么对末端用户来说资本极低，致使不错在土产货的旯旮引诱上完成。

Ilya 在谈到异日超等智能的畅想时，也说起了现时推理的不可展望性：

推理越多，系统变得越不可展望，这小数在一些复杂任务中发达得尤为格外。

他还提到：

面前的 AI 系统还不成确凿领路和推理，诚然它们能模拟东说念主类的直观，但异日的 AI 将会在推理和有谋略方面展现出愈加不可展望的智商。

不外大模子到底会朝着哪些智商上膨胀，这个还得看这些科学家们合手续探索。

One More Thing

原来啊，从现场 repo 来看，这原来是个对于数学 AI 的研讨会，硬生生地被他弄成了臆测大模子推理 Scaling Law。

现场亦然东说念主好多，传奇门口齐还有 20 多个东说念主在列队恭候。天然也有部分原因是房间太小了。

参考勾搭：

[ 1 ] https://x.com/swyx/status/1867990396762243324

[ 2 ] https://x.com/e__honig/status/1868002417045840243

[ 3 ] https://x.com/drapersgulld/status/1868023022390485052

—  完  —

点这里� � 照拂我，紧记标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日重逢 ~