继李飞飞、Bengio、何恺明之后男同 性愛，在刚刚的NeurIPS 2024中，Ilya Sutskever最新演讲也来了。

诚然时长仅有 15 分钟把握，但本体依旧看头全齐。

举例这一句：

Pre-training as we know it will end.

咱们所熟知的预考试行将斥逐。

而之于异日，Ilya 还瞻望说念：

what comes next is superintelligence: agentic， reasons， understands and is self aware.

接下来将是超等智能：代理、推理、清醒和自我意志。

那么为何会有如斯？咱们全部来望望完好演讲。

回首十年工夫发展

Ilya 先是用一张十年前的 PPT 截图开启了此次演讲，那时刻深度学习还处于探索阶段。

在 2014 年的蒙特利尔，他和团队（还有 Oriol Vinyals 和 Quoc Le）初次冷落了如今成为 AI 范围基石的深度学习理念。

Ilya 展示了那时的一张 PPT，揭示了他和团队的中枢责任：自转头模子、大型神经鸠合和大数据集的结合。

聚色导航

在十年前，这些元素并不被平凡看作到手的保证，而今天，它们仍是成为东说念主工智能范围最紧要的基础。

举例在谈到深度学习假定时，Ilya 强调了一个紧要不雅点：

若是有一个 10 层的大型神经鸠合，它就能在一秒钟内完成东说念主类能作念的任何事情。

他解说说，深度学习的中枢假定是东说念主工神经元与生物神经元的相似性。

基于这一假定，若是东说念主类约略在一秒钟内完成某项任务，那么雷同的任务，一个考试细密的 10 层神经鸠合也能完成。

这一假定激动了深度学习的计议，并最终竣事了那时看似斗胆的野心。

Ilya 还先容了自转头模子的中枢念念想：通过考试模子瞻望序列中的下一个 token男同 性愛，当模子瞻望得满盈准确时，它就能捕捉到通盘这个词序列的正确散播。

这一念念想为自后的言语模子奠定了基础，非常是在天然言语惩办范围的诈骗。

天然除了"押对宝"的工夫除外，也有"押错"的。

LSTM（口角期纪念鸠合）就是其中之一。

Ilya 提到 LSTM 是深度学习计议者在 Transformer 之前的主要工夫之一。

尽管 LSTM 在那时为神经鸠合提供了强盛的智商，但它的复杂性和局限性也无庸赘述。

另一个即是并行化（parallelization）。

尽管当今咱们知说念 pipeline 并不是一个好主意，但那时他们通过在每个 GPU 上开动一层鸠合，竣事了 3.5 倍的速率晋升。

Ilya 觉得，限度假定（scaling hypothesis）是深度学习到手的要津。

这一假定标明，若是你有一个格外大的数据集，并考试一个满盈大的神经鸠合，那么到手着实是不错猜想的。

这个不雅点仍是成为今天深度学习范围的中枢规矩。

Ilya 进一步推崇了勾通主义的念念想，觉得东说念主工神经元与生物神经元之间的相似性给了咱们信心，觉得即使不完全效法东说念主脑的结构，庞杂的神经鸠合也能完成与东说念主类相似的任务。

预考试时期行将收尾

基于上述工夫的发展，也让咱们迎来了预考试的时期。

预考试是激动通盘逾越的能源，包括大型神经鸠合和大限度数据集。

但 Ilya 接下来瞻望说：

诚然磋议智商在不停增长，硬件和算法的逾越使得神经鸠合的考试效果获取了晋升，但数据的增长却已接近瓶颈。

他觉得，数据是 AI 的化石燃料，跟着寰球数据的阻挡，异日东说念主工智能将靠近数据瓶颈。

诚然刻下咱们仍然不错使用现存数据进行灵验考试，但 Ilya 觉得这一增长趋势终将放缓，预考试的时期也会渐渐收尾。

超等智能将是异日

在谈到异日的发展方针时，Ilya 提到了" Agent "和"合成数据"的观念。

很多众人齐在征询这些话题，觉得 Agent 系统和合成数据将是粗心预考试瓶颈的要津。

Agent 系统指的是约略自主推理和有野心的东说念主工智能，而合成数据则不错通过模拟环境创造新的数据，弥补本质寰宇数据的不及。

Ilya 还援用了一个生物学上的例子，展示了哺乳动物躯壳与大脑大小的相干，默示不同生物可能通过不同的"限度规矩"进化出不同的智能阐述。

这一念念想为深度学习范围的进一步彭胀提供了启示，标明东说念主工智能也许不错通过不同的形势粗心面前的限度阻挡。

Ilya 终末谈到了超等智能的出息。

他指出，诚然刻下的言语模子和 AI 系统在某些任务上阐述出超东说念主类的智商，但它们在推理时仍显得不踏实和不可瞻望。

推理越多，系统变得越不可瞻望，这少量在一些复杂任务中阐述得尤为隆起。

他还提到：

面前的 AI 系统还不成信得过清醒和推理，诚然它们能模拟东说念主类的直观，但异日的 AI 将会在推理和有野心方面展现出愈加不可瞻望的智商。

Ilya 进一步预计，异日的 AI 将不单是是扩充当务的器具，而会发展成" Agent "，约略自主进行推理和有野心，致使可能具备某种面貌的自我意志。

这将是一个质的飞跃，AI 将不再是东说念主类的蔓延，而是一个具有寂寥智能的存在。

参考汇聚：

https://x.com/vincentweisser/status/1867719020444889118

—  完  —

点这里� � 温雅我，谨记标星哦～

一键三连「共享」、「点赞」和「在看」

科技前沿进展日日再会 ~  

上一篇：楠里 足交 电高压锅哪个品牌好？闭眼入的高性价比技俩测评书册！    下一篇：女同 av 国度安全培植（导师培训）文凭课程毕业庆典在港举办