“AI大神”NeurIPS 2024炸裂宣判：預訓練將死、超級AI將變得不可預測！

在人工智能領域，Ilya Sutskever的名字無疑是重量級的。

作爲OpenAI的聯合創始人兼前首席科學家，Sutskever在AI的發展史上留下了深刻的印記。

今年5月，他離开OpenAI，創立了自己的人工智能實驗室Safe Superintelligence，引起了廣泛關注。而在本周五，舉行的NeurIPS 2024會議上，Sutskever罕見地公开露面，並發表了一場震撼人心的演講。

預訓練即將終結！

在演講中，Sutskeve 一上來就有驚人之語。

Sutskeve提出，我們所熟知的預訓練模型時代即將結束。

他指出，盡管現有數據仍能推動人工智能的發展，但可用的新數據已經接近枯竭。這一趨勢將迫使行業改變當前的模型訓練方式。

Sutskever將這一狀況比作化石燃料的消耗：

正如石油是有限資源一樣，互聯網中由人類生成的內容也是有限的。

他強調，我們已經達到了數據的峰值，未來不會再有更多數據，我們必須利用現有的數據，因爲互聯網只有一個。

在預訓練時代之後，Sutskever預測下一代模型將會“以真正的方式表現出自主性”。他提到，未來的系統將具備推理能力，與當今的AI主要依賴的模式匹配不同，未來的AI系統將能夠以類似於“思考”的方式逐步解決問題。

Sutskever表示，系統的推理能力越強，其行爲就越“不可預測”。他將真正具備推理能力的系統的不可預測性與高級AI在國際象棋中的表現進行了比較，指出即使是最優秀的人類棋手也無法預測它們的動作。

Sutskever在演講中還引用了生物學中的例子，展示了哺乳動物身體與大腦大小的關系，暗示不同生物可能通過不同的“規模法則”進化出不同的智能表現。這一思想爲深度學習領域的進一步擴展提供了啓示，表明人工智能也許可以通過不同的方式突破目前的規模限制。

Sutskever的演講不僅宣告了一個時代的結束，也爲我們描繪了一個全新的未來。他提出，未來的AI將不僅僅是執行任務的工具，而會發展成“Agent”，能夠自主進行推理和決策，甚至可能具備某種形式的自我意識。這將是一個質的飛躍，AI將不再是人類的延伸，而是一個具有獨立智能的存在。

提問環節

在演講結束後的觀衆提問環節中，Sutskever進一步闡述了他對AI未來發展的看法。

當被問及是否還有其他與人類認知相關的生物結構值得探索時，Sutskever表示，如果有人對某個具體問題有獨到的見解，那么他們就應該去深入研究這個方向。

他同時提到，盡管深度學習的基礎是受生物啓發的AI，但這種生物啓發其實非常有限，更詳細、更深層次的生物啓發很難實現，但不會排除這種可能性。

另一位觀衆詢問了關於AI模型出現“幻覺”的問題，Sutskever認爲，具備推理能力的模型未來可能能夠實現自我糾正，類似於“自動更正”功能，這可能成爲未來模型的核心特徵，減少幻覺的發生。

Sutskever被問及AI系統是否應該被賦予權利，他回答說，這是一個復雜的問題，涉及到自上而下的治理模式，他對此持謹慎態度，但鼓勵人們繼續推測。

BTW，最後，我們來看一眼Ilya及論文小夥伴三人的十年變遷。

標題：“AI大神”NeurIPS 2024炸裂宣判：預訓練將死、超級AI將變得不可預測！

地址：https://www.iknowplus.com/post/176607.html