发布日期:2024-12-16 06:28 点击次数:170
继李飞飞、Bengio、何恺明之后男同 性愛,在刚刚的NeurIPS 2024中,Ilya Sutskever最新演讲也来了。
诚然时长仅有 15 分钟把握,但本体依旧看头全齐。
举例这一句:
Pre-training as we know it will end.
咱们所熟知的预考试行将斥逐。
而之于异日,Ilya 还瞻望说念:
what comes next is superintelligence: agentic, reasons, understands and is self aware.
接下来将是超等智能:代理、推理、清醒和自我意志。
那么为何会有如斯?咱们全部来望望完好演讲。
回首十年工夫发展
Ilya 先是用一张十年前的 PPT 截图开启了此次演讲,那时刻深度学习还处于探索阶段。
在 2014 年的蒙特利尔,他和团队(还有 Oriol Vinyals 和 Quoc Le)初次冷落了如今成为 AI 范围基石的深度学习理念。
Ilya 展示了那时的一张 PPT,揭示了他和团队的中枢责任:自转头模子、大型神经鸠合和大数据集的结合。
聚色导航在十年前,这些元素并不被平凡看作到手的保证,而今天,它们仍是成为东说念主工智能范围最紧要的基础。
举例在谈到深度学习假定时,Ilya 强调了一个紧要不雅点:
若是有一个 10 层的大型神经鸠合,它就能在一秒钟内完成东说念主类能作念的任何事情。
他解说说,深度学习的中枢假定是东说念主工神经元与生物神经元的相似性。
基于这一假定,若是东说念主类约略在一秒钟内完成某项任务,那么雷同的任务,一个考试细密的 10 层神经鸠合也能完成。
这一假定激动了深度学习的计议,并最终竣事了那时看似斗胆的野心。
Ilya 还先容了自转头模子的中枢念念想:通过考试模子瞻望序列中的下一个 token男同 性愛,当模子瞻望得满盈准确时,它就能捕捉到通盘这个词序列的正确散播。
这一念念想为自后的言语模子奠定了基础,非常是在天然言语惩办范围的诈骗。
天然除了"押对宝"的工夫除外,也有"押错"的。
LSTM(口角期纪念鸠合)就是其中之一。
Ilya 提到 LSTM 是深度学习计议者在 Transformer 之前的主要工夫之一。
尽管 LSTM 在那时为神经鸠合提供了强盛的智商,但它的复杂性和局限性也无庸赘述。
另一个即是并行化(parallelization)。
尽管当今咱们知说念 pipeline 并不是一个好主意,但那时他们通过在每个 GPU 上开动一层鸠合,竣事了 3.5 倍的速率晋升。
Ilya 觉得,限度假定(scaling hypothesis)是深度学习到手的要津。
这一假定标明,若是你有一个格外大的数据集,并考试一个满盈大的神经鸠合,那么到手着实是不错猜想的。
这个不雅点仍是成为今天深度学习范围的中枢规矩。
Ilya 进一步推崇了勾通主义的念念想,觉得东说念主工神经元与生物神经元之间的相似性给了咱们信心,觉得即使不完全效法东说念主脑的结构,庞杂的神经鸠合也能完成与东说念主类相似的任务。
预考试时期行将收尾
基于上述工夫的发展,也让咱们迎来了预考试的时期。
预考试是激动通盘逾越的能源,包括大型神经鸠合和大限度数据集。
但 Ilya 接下来瞻望说:
诚然磋议智商在不停增长,硬件和算法的逾越使得神经鸠合的考试效果获取了晋升,但数据的增长却已接近瓶颈。
他觉得,数据是 AI 的化石燃料,跟着寰球数据的阻挡,异日东说念主工智能将靠近数据瓶颈。
诚然刻下咱们仍然不错使用现存数据进行灵验考试,但 Ilya 觉得这一增长趋势终将放缓,预考试的时期也会渐渐收尾。
超等智能将是异日
在谈到异日的发展方针时,Ilya 提到了" Agent "和"合成数据"的观念。
很多众人齐在征询这些话题,觉得 Agent 系统和合成数据将是粗心预考试瓶颈的要津。
Agent 系统指的是约略自主推理和有野心的东说念主工智能,而合成数据则不错通过模拟环境创造新的数据,弥补本质寰宇数据的不及。
Ilya 还援用了一个生物学上的例子,展示了哺乳动物躯壳与大脑大小的相干,默示不同生物可能通过不同的"限度规矩"进化出不同的智能阐述。
这一念念想为深度学习范围的进一步彭胀提供了启示,标明东说念主工智能也许不错通过不同的形势粗心面前的限度阻挡。
Ilya 终末谈到了超等智能的出息。
他指出,诚然刻下的言语模子和 AI 系统在某些任务上阐述出超东说念主类的智商,但它们在推理时仍显得不踏实和不可瞻望。
推理越多,系统变得越不可瞻望,这少量在一些复杂任务中阐述得尤为隆起。
他还提到:
面前的 AI 系统还不成信得过清醒和推理,诚然它们能模拟东说念主类的直观,但异日的 AI 将会在推理和有野心方面展现出愈加不可瞻望的智商。
Ilya 进一步预计,异日的 AI 将不单是是扩充当务的器具,而会发展成" Agent ",约略自主进行推理和有野心,致使可能具备某种面貌的自我意志。
这将是一个质的飞跃,AI 将不再是东说念主类的蔓延,而是一个具有寂寥智能的存在。
参考汇聚:
https://x.com/vincentweisser/status/1867719020444889118
— 完 —
点这里� � 温雅我,谨记标星哦~
一键三连「共享」、「点赞」和「在看」
科技前沿进展日日再会 ~