AI正從「規(guī)模時(shí)代」，重新走向「科研時(shí)代」。

這是Ilya大神在最新采訪中發(fā)表的觀點(diǎn)。

這一次，Ilya一頓輸出近2萬(wàn)字，信息量爆炸，幾乎把當(dāng)下最熱門的AI話題都聊了個(gè)遍：

AI為什么總在泛化上輸給人類？如何保證安全與對(duì)齊？預(yù)訓(xùn)練范式有什么問題？

Ilya認(rèn)為，目前主流的「預(yù)訓(xùn)練 + Scaling」路線已經(jīng)明顯遇到瓶頸。與其盲目上大規(guī)模，不如把注意力放回到「研究范式本身」的重構(gòu)上。

不少網(wǎng)友也認(rèn)同這個(gè)判斷。

然而，對(duì)于已經(jīng)喊了好幾年「LLM已死」的LeCun來說，這一幕未免有些令人無(wú)語(yǔ)。

甚至在X上轉(zhuǎn)發(fā)梗圖，大概意思是：

咋我說的時(shí)候沒人當(dāng)回事兒呢？

以下附上訪談全文，在不改變?cè)獾那疤嵯拢瑢?duì)語(yǔ)言做了適當(dāng)潤(rùn)色。

訪談全文

Ilya Sutskever

你知道最瘋狂的是什么嗎？是這一切都是真的。

Dwarkesh Patel

你指的是什么？

Ilya Sutskever

你不這么覺得嗎？所有這些AI的事兒，整個(gè)灣區(qū)現(xiàn)在發(fā)生的一切——這不就像科幻小說里的情節(jié)變成現(xiàn)實(shí)了嗎？

Dwarkesh Patel

另一個(gè)瘋狂的點(diǎn)在于，「慢起飛」在體感上有多正常。按理說，人類拿出1%的GDP投到AI上，這聽起來本該是件驚天動(dòng)地的大事，但現(xiàn)在真實(shí)感受上就是……還好。

Ilya Sutskever

事實(shí)證明，我們適應(yīng)新東西的速度其實(shí)挺快的。而且現(xiàn)在這一切還是有點(diǎn)抽象。那意味著什么呢？

就只是你在新聞里看到：某家公司宣布又投了多少多少美元。你能感受到的就到此為止了，暫時(shí)不會(huì)以別的方式真正「砸到你身上」。

Dwarkesh Patel

要不我們就從這兒開始聊？我覺得這個(gè)話題挺有意思。

我覺得你剛才那個(gè)觀點(diǎn)——從普通人的視角看，就算到了奇點(diǎn)，生活也「沒那么不一樣」——大概率會(huì)一直成立。

Ilya Sutskever

不，我不這么覺得。我剛才說「感覺不出太大區(qū)別」，指的是那種：「好吧，某家公司又宣布了一個(gè)巨大得難以想象的投資數(shù)字。」這種東西大家其實(shí)無(wú)從感受，它只是個(gè)數(shù)字，普通人不知道該怎么處理這種信息。

但我認(rèn)為AI的影響是會(huì)被真正「感受到」的。AI會(huì)滲透進(jìn)整個(gè)經(jīng)濟(jì)體系里，會(huì)有非常強(qiáng)的經(jīng)濟(jì)動(dòng)力去推動(dòng)這一點(diǎn)，我覺得它帶來的沖擊會(huì)非常明顯。

Dwarkesh Patel

你覺得這種沖擊會(huì)在什么時(shí)候到來？現(xiàn)在的情況就是：模型看起來比它們?cè)诮?jīng)濟(jì)上體現(xiàn)出的影響「聰明得多」。

Ilya Sutskever

對(duì)，這正是當(dāng)下這些模型最讓人困惑的地方之一。你如何去調(diào)和這樣一個(gè)事實(shí)：一方面它們?cè)诟鞣N評(píng)測(cè)上表現(xiàn)得非常好——你看看這些評(píng)測(cè)就會(huì)說，「這些題挺難的啊」，模型卻做得很好；

另一方面，經(jīng)濟(jì)上的實(shí)際影響卻明顯落后很多。很難理解：一個(gè)模型怎么可能在某些方面做出這么驚人的事情，同時(shí)在另一些場(chǎng)景里又會(huì)干出像「連犯兩次同樣的錯(cuò)誤」這種事？

舉個(gè)例子：假設(shè)你用所謂的vibecoding干點(diǎn)事情，跑去某個(gè)地方寫了段代碼，然后遇到一個(gè)bug。你跟模型說：「幫我修一下這個(gè)bug。」模型說：「天哪你說得太對(duì)了，是有個(gè)bug，我這就給你修。」

然后它給你引入了第二個(gè)bug。接著你又說：「你現(xiàn)在多了一個(gè)新的bug。」它又說：「天哪我怎么會(huì)這么干，你又說對(duì)了。」然后把第一個(gè)bug再次引回來。你們倆就這樣反復(fù)在這兩個(gè)bug之間來回切換。

怎么會(huì)這樣？我也不確定。但這確實(shí)暗示著這里面有點(diǎn)奇怪的東西。

我有兩種可能的解釋。比較「異想天開」的那個(gè)解釋是：也許RL訓(xùn)練讓模型變得過于單一目標(biāo)、過于「直線型」，在某些方面反而缺乏覺察力——盡管在其他方面它又更有覺察力。正因?yàn)檫@種過度單向?qū)Ｗⅲ炊鴷?huì)讓它在一些很基礎(chǔ)的事情上做不好。

但還有另一種解釋：在大家還只做預(yù)訓(xùn)練的時(shí)候，「該用什么數(shù)據(jù)」這個(gè)問題其實(shí)已經(jīng)被回答了——答案就是「全部的數(shù)據(jù)」。做預(yù)訓(xùn)練你就是要所有數(shù)據(jù)，用得越多越好，所以你不必去糾結(jié)「要這一份數(shù)據(jù)還是那一份數(shù)據(jù)」。

可當(dāng)人們開始做RL訓(xùn)練時(shí)，就不得不思考這個(gè)問題了。

大家會(huì)說：「我們想要針對(duì)這個(gè)能力做這樣一種RL訓(xùn)練，針對(duì)另一個(gè)能力做那樣一種RL訓(xùn)練。」據(jù)我所知，各家公司都有專門的團(tuán)隊(duì)不停地產(chǎn)出新的RL環(huán)境，然后把它們加進(jìn)訓(xùn)練混合里。

問題是：這些環(huán)境到底是什么？這里有巨大的自由度——你可以設(shè)計(jì)出千奇百怪的RL環(huán)境。

其中一種做法，我覺得在現(xiàn)實(shí)中是「無(wú)意間發(fā)生」的，就是：大家會(huì)從eval中汲取靈感。「我希望我們家模型上線時(shí)，評(píng)測(cè)成績(jī)好看。那我們應(yīng)該設(shè)計(jì)什么樣的RL訓(xùn)練，才能讓它在這項(xiàng)任務(wù)上的表現(xiàn)變好？」

我認(rèn)為這種事情確實(shí)在發(fā)生，它可以解釋目前很多現(xiàn)象。

如果你再把這點(diǎn)和「模型的泛化實(shí)際上還不夠好」結(jié)合起來，就很有可能解釋我們看到的大部分情況：也就是——為什么評(píng)測(cè)表現(xiàn)與真實(shí)世界表現(xiàn)之間有這么大的落差。而這個(gè)「落差到底是什么意思」，其實(shí)是我們到今天都還沒想清楚的。

Dwarkesh Patel

我很喜歡這個(gè)說法：真正的「獎(jiǎng)勵(lì)黑客」不是模型，而是那些過度關(guān)注eval的人類研究者。

你剛才提到的這個(gè)問題，我覺得可以從兩種角度去理解。

一種角度是：如果事實(shí)證明，「在編程競(jìng)賽上達(dá)到超人水平」并不會(huì)自動(dòng)讓一個(gè)模型在實(shí)際代碼庫(kù)中更有品味、更會(huì)做判斷，那答案也許就是：你應(yīng)該擴(kuò)展環(huán)境的集合，不要只測(cè)試它在競(jìng)賽題里能不能拿最高分，還應(yīng)該測(cè)試：它能不能為X場(chǎng)景做出最好的應(yīng)用？能不能為Y場(chǎng)景、Z場(chǎng)景寫出真正好用的東西？

另一種角度是：「為什么一開始我們要假設(shè)：在編程競(jìng)賽上變成超人，就一定能在更廣泛的意義上變成一個(gè)更有品味的程序員？」

也就是說，或許正確的策略不是不停往上疊不同的環(huán)境，而是想出一種方法：能讓模型從一個(gè)環(huán)境中學(xué)習(xí)到的東西遷移到另一個(gè)任務(wù)里，從而真正提升「廣義能力」。

Ilya Sutskever

我有個(gè)類比，也許對(duì)理解這個(gè)問題有幫助。既然你剛才提到競(jìng)賽編程，那我們就拿它來舉例。

假設(shè)現(xiàn)在有兩個(gè)學(xué)生。學(xué)生A決定要成為最強(qiáng)的競(jìng)賽程序員，于是花了一萬(wàn)小時(shí)專門練這一個(gè)領(lǐng)域。他把所有題都刷了，背熟了所有證明技巧，非常擅長(zhǎng)快速、正確地實(shí)現(xiàn)各種算法，最后果然成了頂尖選手。

學(xué)生B的想法是：「競(jìng)賽編程挺有意思的。」他也練了，但只練了大概100小時(shí)，遠(yuǎn)遠(yuǎn)少于前者，但成績(jī)依然不錯(cuò)。

你覺得這兩個(gè)人中，誰(shuí)未來職業(yè)發(fā)展會(huì)更好？

Dwarkesh Patel

是第二個(gè)。

Ilya Sutskever

對(duì)。我覺得現(xiàn)在模型的狀況，基本就像學(xué)生A——甚至更極端。

因?yàn)槲覀儠?huì)說：「好，我們要讓模型在競(jìng)賽編程上表現(xiàn)出色，那就把所有競(jìng)賽題都喂進(jìn)去。」然后還要做數(shù)據(jù)增強(qiáng)，造出更多變體題，再用這些海量的競(jìng)賽題來訓(xùn)練。結(jié)果就是，你得到了一名非常優(yōu)秀的「競(jìng)賽程序員型模型」。

在這個(gè)類比下，很多事就更直觀了。

當(dāng)你在這個(gè)細(xì)分領(lǐng)域訓(xùn)練得這么極致所有算法、所有證明技巧都隨手可得，你就更容易理解：為什么這樣的訓(xùn)練未必能很好地泛化到其他任務(wù)上。

Dwarkesh Patel

那在人類世界里，第二個(gè)學(xué)生在那100小時(shí)「微調(diào)訓(xùn)練」之前，究竟在做什么，類比到模型上又是什么？

Ilya Sutskever

我覺得那就是所謂的「it」——那個(gè)「那股勁兒」。我本科的時(shí)候就認(rèn)識(shí)過這樣的人，所以我知道這種存在是現(xiàn)實(shí)的。

Dwarkesh Patel

我覺得有趣的一點(diǎn)在于，要區(qū)分這個(gè)「it」和「預(yù)訓(xùn)練到底做了什么」。

理解你剛才關(guān)于預(yù)訓(xùn)練數(shù)據(jù)選擇的一個(gè)方式是：其實(shí)它跟「一萬(wàn)小時(shí)練習(xí)」并沒有那么不同，只是你可以把那一萬(wàn)小時(shí)「免費(fèi)打包」到預(yù)訓(xùn)練里，因?yàn)檫@些內(nèi)容本身就存在于預(yù)訓(xùn)練的數(shù)據(jù)分布中。

但也許你在暗示的是：預(yù)訓(xùn)練其實(shí)并沒有帶來我們想象中的那么多泛化，它只是依賴了海量的數(shù)據(jù)量，但這種泛化未必比RL更強(qiáng)。

Ilya Sutskever

預(yù)訓(xùn)練最大的優(yōu)勢(shì)在于兩點(diǎn)：第一，數(shù)據(jù)量極其龐大；第二，你不用特別糾結(jié)「選哪些數(shù)據(jù)」，因?yàn)橐龅木褪恰?/p>

這些數(shù)據(jù)非常「自然」，里面包含了各種各樣人類的活動(dòng)：人們的想法、經(jīng)驗(yàn)，以及大量關(guān)于世界的特征。可以說，它是「人類把世界投射到文本上的那一層」。預(yù)訓(xùn)練的目標(biāo)就是：用巨量數(shù)據(jù)去捕捉這層投射。

預(yù)訓(xùn)練之所以難以被徹底理解，是因?yàn)槲覀兒茈y弄清楚：模型究竟是以什么方式在利用這堆預(yù)訓(xùn)練數(shù)據(jù)。

每當(dāng)模型犯錯(cuò)時(shí)，你都會(huì)想：「是不是因?yàn)榕銮赡硞€(gè)東西，在預(yù)訓(xùn)練數(shù)據(jù)里支持得不夠？」這里的「被預(yù)訓(xùn)練數(shù)據(jù)支持」，其實(shí)是個(gè)很松散的說法，我也不太確定能不能把它解釋得更好。

我不認(rèn)為人類世界里存在一個(gè)真正對(duì)應(yīng)「預(yù)訓(xùn)練」的類比。

情緒和價(jià)值

Dwarkesh Patel

以下是一些人們提出的關(guān)于人類「前期訓(xùn)練」的類比。我很想聽聽你們的看法，為什么這些類比可能存在問題。

一種類比是思考一個(gè)人生命的前18年、15年或13年，這段時(shí)間他們未必具有經(jīng)濟(jì)生產(chǎn)力，但他們所做的事情讓他們更好地理解世界等等。另一種類比是將進(jìn)化想象成一場(chǎng)持續(xù)30億年的探索，最終形成了人類的一生。

我很好奇你是否認(rèn)為這兩者類似于預(yù)先訓(xùn)練。如果不是預(yù)先訓(xùn)練，你會(huì)如何看待人類終身學(xué)習(xí)？

Ilya Sutskever

我認(rèn)為這兩者與預(yù)訓(xùn)練有一些相似之處，預(yù)訓(xùn)練試圖同時(shí)扮演這兩者的角色。但我認(rèn)為它們之間也存在一些很大的差異。預(yù)訓(xùn)練數(shù)據(jù)的數(shù)量非常非常龐大。

Ilya Sutskever

不知何故，即使人類擁有預(yù)訓(xùn)練數(shù)據(jù)的一小部分，經(jīng)過15年的訓(xùn)練，他們所掌握的知識(shí)仍然遠(yuǎn)不及AI。但無(wú)論他們掌握了什么，他們的理解都更加深刻。到了那個(gè)年紀(jì)，你都不會(huì)犯AI會(huì)犯的錯(cuò)誤。

還有一點(diǎn)。你可能會(huì)問，這會(huì)不會(huì)跟進(jìn)化有關(guān)？答案是也許吧。但就這件事而言，我認(rèn)為進(jìn)化論可能更有優(yōu)勢(shì)。我記得讀過相關(guān)的案例。神經(jīng)科學(xué)家了解大腦的一種方法是研究大腦不同區(qū)域受損的人。有些人會(huì)出現(xiàn)你想象不到的奇怪癥狀。這真的很有意思。

我想到一個(gè)相關(guān)的案例。我讀到過一個(gè)人，他腦部受損，可能是中風(fēng)或意外事故，導(dǎo)致他喪失了情感處理能力。所以他不再能感受到任何情緒。他仍然能言善辯，也能解一些簡(jiǎn)單的謎題，考試成績(jī)也一切正常。

但他感覺不到任何情緒。他不會(huì)感到悲傷，不會(huì)感到憤怒，也不會(huì)感到興奮。不知何故，他變得極其不擅長(zhǎng)做任何決定。他甚至要花幾個(gè)小時(shí)才能決定穿哪雙襪子。他在財(cái)務(wù)方面也會(huì)做出非常糟糕的決定。

這說明我們與生俱來的情感在使我們成為合格的行動(dòng)主體方面扮演著怎樣的角色？說到你提到的預(yù)訓(xùn)練，如果你能充分發(fā)揮預(yù)訓(xùn)練的優(yōu)勢(shì)，或許也能達(dá)到同樣的效果。但這似乎……嗯，預(yù)訓(xùn)練是否真的能達(dá)到這種效果還很難說。

Dwarkesh Patel

「那」是什么？顯然不僅僅是情緒。它似乎是一種類似價(jià)值函數(shù)的東西，告訴你任何決定的最終回報(bào)應(yīng)該是什么。你認(rèn)為這不會(huì)在某種程度上隱含在預(yù)訓(xùn)練中嗎？

Ilya Sutskever

我覺得有可能。我只是說這并非百分之百確定。

Dwarkesh Patel

但那是什么？你如何看待情緒？機(jī)器學(xué)習(xí)中情緒的類比是什么？

Ilya Sutskever

它應(yīng)該是一種價(jià)值函數(shù)之類的東西。但我認(rèn)為目前還沒有很合適的機(jī)器學(xué)習(xí)類比，因?yàn)閮r(jià)值函數(shù)在人們的實(shí)際行為中并沒有扮演非常重要的角色。

目前強(qiáng)化學(xué)習(xí)的訓(xùn)練方法很簡(jiǎn)單，人們是如何訓(xùn)練這些智能體的呢？首先，你需要一個(gè)神經(jīng)網(wǎng)絡(luò)，然后給它一個(gè)問題，并告訴模型「去解決這個(gè)問題」。模型可能需要成千上萬(wàn)次的動(dòng)作、思考或其他操作，最終生成一個(gè)解決方案。然后，這個(gè)解決方案會(huì)被評(píng)分。

然后，這個(gè)分?jǐn)?shù)會(huì)被用來為你的軌跡中的每一個(gè)動(dòng)作提供訓(xùn)練信號(hào)。這意味著，如果你正在執(zhí)行一個(gè)持續(xù)時(shí)間很長(zhǎng)的任務(wù)——如果你正在訓(xùn)練一個(gè)需要很長(zhǎng)時(shí)間才能解決的任務(wù)——那么在你找到建議的解決方案之前，它根本不會(huì)進(jìn)行任何學(xué)習(xí)。這就是強(qiáng)化學(xué)習(xí)的簡(jiǎn)單實(shí)現(xiàn)方式。這就是o1和R1的實(shí)現(xiàn)方式。

價(jià)值函數(shù)表達(dá)的意思類似于：「我或許有時(shí)能告訴你你做得好還是不好。」價(jià)值函數(shù)的概念在某些領(lǐng)域比其他領(lǐng)域更有用。例如，當(dāng)你下棋丟掉一個(gè)棋子時(shí)，我犯了錯(cuò)。你不需要下完整盤棋就能知道我剛才的走法不好，因此之前的任何走法也都不好。

值函數(shù)允許你縮短等待時(shí)間，直到最后才做出決定。假設(shè)你正在進(jìn)行某種數(shù)學(xué)運(yùn)算或編程，并試圖探索某個(gè)特定的解決方案或方向。經(jīng)過大約一千步的思考后，你得出結(jié)論，這個(gè)方向沒有希望。

在你得出這個(gè)結(jié)論的那一刻，你就可以提前一千步收到獎(jiǎng)勵(lì)信號(hào)，也就是在你決定沿著這條路徑前進(jìn)的時(shí)候。也就是說，在你真正想出解決方案之前很久，你就已經(jīng)告訴自己：「下次遇到類似情況，我不應(yīng)該再走這條路了。」

Dwarkesh Patel

這是DeepSeekR1論文中提到的——軌跡空間如此之大，以至于可能很難從中間軌跡和值之間學(xué)習(xí)映射關(guān)系。

此外，例如在編程中，你可能會(huì)有錯(cuò)誤的想法，然后你會(huì)回頭修改，然后再修改一些東西。

Ilya Sutskever

這聽起來像是對(duì)深度學(xué)習(xí)缺乏信心。當(dāng)然，它可能很難，但沒有什么深度學(xué)習(xí)做不到的。

我預(yù)期價(jià)值函數(shù)會(huì)很有用，而且我完全相信它們將來會(huì)被用到，即便現(xiàn)在還沒有。

我之前提到的那個(gè)情感中心受損的人，或許更確切地說，這表明人類的價(jià)值體系在某種程度上受到情感的調(diào)節(jié)，而這種調(diào)節(jié)方式是由進(jìn)化預(yù)先設(shè)定的。也許這對(duì)于人們?cè)谏鐣?huì)上有效運(yùn)作至關(guān)重要。

Dwarkesh Patel

這正是我要問你的問題。關(guān)于價(jià)值函數(shù)中的情感因素，確實(shí)有一點(diǎn)非常有趣，那就是它們既實(shí)用又相當(dāng)容易理解，這一點(diǎn)令人印象深刻。

Ilya Sutskever

我同意，與我們所學(xué)習(xí)和討論的事物，以及我們所討論的AI相比，情感相對(duì)簡(jiǎn)單。它們甚至可能簡(jiǎn)單到可以用人類能夠理解的方式將其描繪出來。我覺得這樣做會(huì)很酷。

但就實(shí)用性而言，我認(rèn)為存在一種復(fù)雜性與穩(wěn)健性之間的權(quán)衡：復(fù)雜的東西可能非常有用，但簡(jiǎn)單的東西在更廣泛的情況下也同樣有用。

我們可以這樣解讀我們所看到的現(xiàn)象：這些情感主要源自我們的哺乳動(dòng)物祖先，然后在我們進(jìn)化成原始人類的過程中略作調(diào)整。

我們確實(shí)擁有相當(dāng)數(shù)量的社會(huì)情感，而哺乳動(dòng)物可能缺乏這些情感。但這些情感并不十分復(fù)雜。

正因?yàn)樗鼈儾⒉粡?fù)雜，所以在這個(gè)與我們過去生活的世界截然不同的世界中，它們才能如此有效地幫助我們。

實(shí)際上，它們也會(huì)犯錯(cuò)。例如，我們的情緒……嗯，其實(shí)我也不知道。饑餓算是一種情緒嗎？這還有待商榷。但我認(rèn)為，在這個(gè)食物豐富的世界里，我們憑直覺感受到的饑餓感并不能正確地引導(dǎo)我們。

我們?cè)跀U(kuò)展什么？

Dwarkesh Patel

人們一直在討論數(shù)據(jù)擴(kuò)展、參數(shù)擴(kuò)展和計(jì)算擴(kuò)展。那么，有沒有更通用的擴(kuò)展思路？還存在其他擴(kuò)展維度嗎？

Ilya Sutskever

我認(rèn)為有一個(gè)可能正確的觀點(diǎn)。過去的機(jī)器學(xué)習(xí)基本依賴于人們不斷嘗試各種方法，看看能否得到有趣的結(jié)果——這是早期的模式。

后來，「規(guī)模化」這個(gè)洞察出現(xiàn)了。規(guī)模化法則、GPT-3……突然之間，所有人都意識(shí)到：我們應(yīng)該去規(guī)模化。這其實(shí)是語(yǔ)言如何影響思維的例子。「規(guī)模化」只是一個(gè)詞，卻非常有力量，因?yàn)樗苯痈嬖V大家應(yīng)該怎么做——「繼續(xù)擴(kuò)大」。

于是問題來了：要擴(kuò)大什么？預(yù)訓(xùn)練，恰恰是最需要規(guī)模化的東西。它是一種非常清晰的「配方」。

預(yù)訓(xùn)練最大的突破，在于它證明了這套配方是可行的：只要你把一定量的數(shù)據(jù)和算力灌進(jìn)一個(gè)規(guī)模足夠大的神經(jīng)網(wǎng)絡(luò)，就會(huì)得到好的結(jié)果。你也自然會(huì)相信：繼續(xù)放大，效果就會(huì)繼續(xù)提升。

這種方法的優(yōu)勢(shì)是，公司愿意為它投入資源——因?yàn)檫@是「低風(fēng)險(xiǎn)投入」。相比之下，把資源投入研究要困難得多。研究意味著：「研究人員請(qǐng)繼續(xù)探索，爭(zhēng)取有所突破」，而不是「再拿點(diǎn)數(shù)據(jù)、再加點(diǎn)算力」。但預(yù)訓(xùn)練幾乎能保證一定的收益，這種確定性非常誘人。

根據(jù)推特上某些討論，Gemini似乎找到了讓預(yù)訓(xùn)練更有效的方法。但預(yù)訓(xùn)練最終會(huì)遇到一個(gè)硬上限：數(shù)據(jù)有限。那之后怎么辦？要么尋找新的「強(qiáng)化預(yù)訓(xùn)練」方式，要么探索強(qiáng)化學(xué)習(xí)，或其他完全不同的路徑。當(dāng)算力巨大到一定程度，我們又會(huì)重新回到「科研時(shí)代」。

如果要?jiǎng)潟r(shí)代：2012—2020是研究時(shí)代；2020—2025是規(guī)模化時(shí)代。

這幾年大家?guī)缀醵荚诤啊咐^續(xù)擴(kuò)大！再擴(kuò)大！」。但當(dāng)規(guī)模已經(jīng)這么大時(shí)，你真的會(huì)相信再擴(kuò)大100倍就能徹底改變一切嗎？

會(huì)有變化，但我不認(rèn)為僅靠更大規(guī)模就能帶來根本性的轉(zhuǎn)折。我們正重新回到研究時(shí)代，只不過這一次，我們手里多的是巨型計(jì)算機(jī)。

Dwarkesh Patel

你剛才說到一個(gè)概念——「配方」。那我們究竟在擴(kuò)展什么？這個(gè)配方到底意味著什么？在預(yù)訓(xùn)練里，數(shù)據(jù)、算力、參數(shù)量、損失函數(shù)之間并不存在一種像物理定律那樣明確的關(guān)系。那我們到底應(yīng)該追求什么？新的配方應(yīng)該怎么構(gòu)思？

Ilya Sutskever

我們已經(jīng)看到了規(guī)模化路徑的遷移：從預(yù)訓(xùn)練轉(zhuǎn)向強(qiáng)化學(xué)習(xí)。

如今大家正在擴(kuò)展的是強(qiáng)化學(xué)習(xí)。從外界討論看，近期RL消耗的計(jì)算量可能已經(jīng)超過了預(yù)訓(xùn)練，因?yàn)镽L天生「燒算力」——它需要極長(zhǎng)的迭代過程，而每次迭代的學(xué)習(xí)增益又很小。結(jié)果就是，它極其耗算力。

我甚至不愿意把它稱為「擴(kuò)展」。我更愿意問的是：「你的做法是最有效率的嗎？你能不能找到更經(jīng)濟(jì)的方式去利用算力？」這就回到之前提到的價(jià)值函數(shù)。如果人們真的掌握價(jià)值函數(shù)，也許資源利用效率能提高很多。

但當(dāng)你提出一個(gè)全新的訓(xùn)練方法時(shí)，又會(huì)產(chǎn)生另一個(gè)問題：「這到底是擴(kuò)展，還是在浪費(fèi)算力？」這兩者之間的界限正變得越來越模糊。從某種意義上說，我們正在回到從前那種科研模式：「試試這個(gè)，再試試那個(gè)……哦，那里有點(diǎn)意思。」我認(rèn)為這種局面會(huì)再次出現(xiàn)。

Dwarkesh Patel

如果我們真的進(jìn)入了新的研究時(shí)代，哪些部分是最值得重新審視的？你提到的價(jià)值函數(shù)現(xiàn)在被廣泛應(yīng)用，大家也把LLM引入為評(píng)判者。但這似乎仍只是在現(xiàn)有流程末端做加法。是不是應(yīng)該重新思考預(yù)訓(xùn)練，而不僅僅是在其后疊更多步驟？

Ilya Sutskever

我認(rèn)為關(guān)于價(jià)值函數(shù)的討論非常有意思。我想強(qiáng)調(diào)的是，價(jià)值函數(shù)確實(shí)能讓強(qiáng)化學(xué)習(xí)更高效，我相信這會(huì)帶來顯著的提升。但我同樣認(rèn)為，只要給足時(shí)間和算力，任何價(jià)值函數(shù)能做到的事情，不用價(jià)值函數(shù)也能做到——只是速度會(huì)慢很多。

最根本的問題是：這些模型的泛化能力遠(yuǎn)遠(yuǎn)不如人類。這是顯而易見的，而且我認(rèn)為它是最核心、最棘手的問題所在。

為什么人類比模型更擅長(zhǎng)概括

Dwarkesh Patel

所以關(guān)鍵就在于泛化能力。這里其實(shí)包含兩個(gè)子問題。

第一個(gè)問題更偏向樣本效率：為什么這些模型需要比人類多得多的數(shù)據(jù)才能學(xué)會(huì)一項(xiàng)能力？

第二個(gè)問題是：即使不談數(shù)據(jù)量，為什么讓模型真正理解「我們想要它做什么」比讓人類理解同一件事要困難得多？

對(duì)人類來說，學(xué)習(xí)并不依賴明確的獎(jiǎng)勵(lì)信號(hào)。比如，你現(xiàn)在可能正在指導(dǎo)一群研究人員，你和他們交流、展示代碼、解釋思考方式，他們就能從中學(xué)會(huì)如何進(jìn)行研究；你并不需要為他們?cè)O(shè)立一個(gè)個(gè)可驗(yàn)證的獎(jiǎng)勵(lì)環(huán)節(jié)，比如：「這是課程下一部分」「這一輪訓(xùn)練不太穩(wěn)定」之類的人工流程。

這兩個(gè)問題或許是相關(guān)的，但我想分別討論：第二個(gè)更像「持續(xù)學(xué)習(xí)」，第一個(gè)更像「樣本效率」本身。

Ilya Sutskever

關(guān)于人類樣本效率，最可能的解釋之一就是進(jìn)化。進(jìn)化在視覺、聽覺、運(yùn)動(dòng)等核心能力上，為我們提供了少量但極其有用的「先驗(yàn)」。

例如，人類的靈巧度遠(yuǎn)超機(jī)器人。即便機(jī)器人在模擬環(huán)境中可以通過大量訓(xùn)練變得靈巧，但要讓機(jī)器人在現(xiàn)實(shí)世界里像人一樣快速掌握一項(xiàng)新技能，幾乎不可能。你可能會(huì)說：「哦，對(duì)，移動(dòng)能力是我們祖先在數(shù)百萬(wàn)年里都極度依賴的能力，所以我們擁有某些不可思議的進(jìn)化先驗(yàn)。」

視覺也類似。YannLeCun曾說，孩子練十個(gè)小時(shí)就能學(xué)會(huì)開車。確實(shí)如此——但那是因?yàn)楹⒆拥囊曈X系統(tǒng)極其強(qiáng)大。我記得自己五歲時(shí)，對(duì)汽車非常著迷。我可以肯定，五歲時(shí)我對(duì)汽車的視覺認(rèn)知已經(jīng)足夠支撐基本的駕駛操作了。但五歲孩子的信息攝取量其實(shí)非常有限，大部分時(shí)間都只在父母身邊。

這說明視覺能力可能深深植根于進(jìn)化，而非后天學(xué)習(xí)。

但當(dāng)我們談到語(yǔ)言、數(shù)學(xué)、編程時(shí)，它們出現(xiàn)得太晚了，不太可能是進(jìn)化帶來的。

Dwarkesh Patel

但即使在這些「近期才出現(xiàn)的能力」上，人類似乎仍然比模型更強(qiáng)。模型雖然在語(yǔ)言、數(shù)學(xué)、編程上已經(jīng)優(yōu)于普通人類，但它們?cè)趯W(xué)習(xí)能力上真的更好嗎？

Ilya Sutskever

是的，當(dāng)然如此。語(yǔ)言、數(shù)學(xué)、編程——尤其是數(shù)學(xué)和編程——表明，人類擅長(zhǎng)學(xué)習(xí)的能力，可能并不是因?yàn)閺?fù)雜的進(jìn)化先驗(yàn)，而是某種更基礎(chǔ)、更普遍的能力。

設(shè)想某項(xiàng)能力，如果它對(duì)我們的祖先在數(shù)百萬(wàn)甚至上億年里都十分重要，那么人類在這方面可靠而穩(wěn)定的表現(xiàn)，很可能來自進(jìn)化層面的先驗(yàn)知識(shí)——某種隱秘編碼在我們神經(jīng)系統(tǒng)里的東西。

但如果人類在一些「近期才被發(fā)明的能力」上——如數(shù)學(xué)、編程——依舊表現(xiàn)出極強(qiáng)的學(xué)習(xí)能力和穩(wěn)健性，那這就更像是人類天生就擁有一種「通用的機(jī)器學(xué)習(xí)能力」。

換句話說：如果連不靠進(jìn)化積累的領(lǐng)域，人類依然能快速學(xué)習(xí)，那真正的關(guān)鍵可能并不是先驗(yàn)知識(shí)，而是人類學(xué)習(xí)機(jī)制本身的效率。

Dwarkesh Patel

那我們?cè)撊绾卫斫膺@種「學(xué)習(xí)能力」？它似乎具有一些很特別的特征，比如：它需要的樣本量很少，更像無(wú)監(jiān)督學(xué)習(xí)。青少年學(xué)開車，并不是通過預(yù)設(shè)獎(jiǎng)勵(lì)體系學(xué)習(xí)，而是通過與環(huán)境的互動(dòng)。

他們的樣本量很低，卻能快速掌握，而且學(xué)習(xí)過程也非常穩(wěn)健。有沒有機(jī)器學(xué)習(xí)的類比？

Ilya Sutskever

你剛才提到青少年司機(jī)如何在沒有外部指導(dǎo)的情況下自我糾正、從經(jīng)驗(yàn)中學(xué)習(xí)。我認(rèn)為答案在于他們擁有自己的價(jià)值體系。

人類有一種極其強(qiáng)大的普遍感知能力。無(wú)論價(jià)值體系是什么——除了少數(shù)被成癮行為破壞的例外——它在絕大多數(shù)情況下都是非常穩(wěn)固的。

所以，對(duì)正在學(xué)車的青少年來說，他們一坐上駕駛座，立刻能感覺到自己駕駛得有多差、哪里不穩(wěn)。他們立即擁有內(nèi)在反饋，于是自然開始改進(jìn)。再加上年輕人本身學(xué)習(xí)速度極快，十個(gè)小時(shí)之后，他們基本就能熟練駕駛了。

Dwarkesh Patel

我好奇的是，他們究竟是怎么做到的？為什么對(duì)我們來說這么自然，而對(duì)模型來說卻如此困難？我們需要怎樣重新構(gòu)思模型訓(xùn)練方式，才能逼近這種能力？

Ilya Sutskever

這是個(gè)非常好的問題，我對(duì)此也有很多想法。但是，很遺憾，我們現(xiàn)在處在一個(gè)并非所有機(jī)器學(xué)習(xí)理念都能公開討論的時(shí)代，而這正是那些無(wú)法輕易公開討論的想法之一。

我相信是有路徑可以做到的。我認(rèn)為這是可以實(shí)現(xiàn)的。而且，人類的這種直覺，本身就暗示了這種方法的可行性。

當(dāng)然，可能還存在另一個(gè)難點(diǎn)：人類神經(jīng)元的計(jì)算能力，可能比我們以為的還要強(qiáng)很多。如果這是事實(shí)，而且對(duì)學(xué)習(xí)過程至關(guān)重要，那么我們要做的事情會(huì)更復(fù)雜。

但無(wú)論如何，我相信這確實(shí)指向某種機(jī)器學(xué)習(xí)的根本原理。只是出于某些原因，我無(wú)法進(jìn)一步詳述。

ASI

Dwarkesh Patel

我很好奇。如果你認(rèn)為我們已經(jīng)重新進(jìn)入「科研時(shí)代」，那么作為當(dāng)初經(jīng)歷過2012–2020那段時(shí)期的人，你覺得現(xiàn)在的科研氛圍會(huì)是什么樣的？

比如，即使在AlexNet之后，人們用于實(shí)驗(yàn)的計(jì)算量仍持續(xù)增長(zhǎng)，前沿系統(tǒng)的規(guī)模也不斷擴(kuò)大。你認(rèn)為如今的科研時(shí)代是否同樣需要龐大的計(jì)算資源？需要重新翻閱舊論文嗎？

你曾在谷歌、OpenAI、斯坦福大學(xué)工作，那里都屬于學(xué)術(shù)氛圍最濃的地方。你覺得未來的研究社區(qū)會(huì)呈現(xiàn)什么景象？

Ilya Sutskever

規(guī)模化時(shí)代的一個(gè)結(jié)果，是規(guī)模本身擠壓了創(chuàng)新空間。由于「擴(kuò)大規(guī)模」被證明有效，所有人都去做同一件事，最后變成「公司數(shù)量遠(yuǎn)遠(yuǎn)超過創(chuàng)意數(shù)量」的局面。

硅谷有句老話：「創(chuàng)意不值錢，執(zhí)行力才重要。」這話有道理。

但后來我在推特上看到一句反諷：「如果創(chuàng)意這么便宜，為什么沒人有創(chuàng)意？」我覺得這同樣準(zhǔn)確。

如果你從「瓶頸」的角度看科研，會(huì)發(fā)現(xiàn)有好幾個(gè)瓶頸：一個(gè)是想法本身，另一個(gè)是把想法變成現(xiàn)實(shí)的能力，而后者往往依賴計(jì)算資源或工程能力。

比如，上世紀(jì)90年代許多研究者其實(shí)有不錯(cuò)的想法，但受限于算力，他們只能做很小規(guī)模的演示，沒法說服任何人。因此當(dāng)時(shí)真正的瓶頸是計(jì)算資源。

在規(guī)模化時(shí)代，算力暴漲，瓶頸就轉(zhuǎn)移了。當(dāng)然，我們?nèi)匀恍枰恍┯?jì)算資源，但并不意味著科研一定要用到極限的規(guī)模。

舉個(gè)例子：AlexNet只用了兩塊GPU。Transformer剛出現(xiàn)時(shí)的實(shí)驗(yàn)規(guī)模，大多在8～64塊GPU范圍內(nèi)。按今天的標(biāo)準(zhǔn)看，那甚至相當(dāng)于幾塊GPU的規(guī)模ResNet也一樣。沒有哪篇論文靠龐大的集群才能完成。

你可以說，如果要構(gòu)建一個(gè)「最強(qiáng)系統(tǒng)」，更多算力一定有幫助——尤其在大家都遵循同一范式的情況下，算力自然會(huì)成為差異化因素之一。但科研本身，其實(shí)不需要無(wú)限制的大規(guī)模計(jì)算。

Dwarkesh Patel

我問這些，是因?yàn)槟惝?dāng)時(shí)就在現(xiàn)場(chǎng)。當(dāng)Transformer剛提出時(shí)，它并沒有馬上爆紅。它成為入門工具，是因?yàn)楹髞碓谠絹碓酱蟮乃懔ι喜粩啾或?yàn)證，模型規(guī)模提升后效果也持續(xù)提升，大家才開始真正基于它進(jìn)行實(shí)驗(yàn)和擴(kuò)展。

那假設(shè)SSI有50個(gè)不同方向的想法，在沒有其他頂尖實(shí)驗(yàn)室那種巨大算力的情況下，你們?cè)趺磁袛嗄膫€(gè)是可能的「下一次變革」，哪個(gè)想法太脆弱？

Ilya Sutskever

這里我可以稍微解釋一下。你提到了SSI——事實(shí)上，我們的研究算力比外界想象的要多。

原因很簡(jiǎn)單：SSI雖然「只有」30億美元，但你要注意，對(duì)大多數(shù)大公司來說，它們巨額的算力預(yù)算主要用于推理。這些錢、貸款、GPU資源，都必須用于產(chǎn)品推理服務(wù)。

其次，如果你要打造面向市場(chǎng)的AI產(chǎn)品，就需要龐大的工程、銷售團(tuán)隊(duì)，需要大量資源去做產(chǎn)品相關(guān)功能。真正能用于純研究的資源，扣掉這些之后，其實(shí)并沒有想象得那么高。

反過來看SSI，我們的資金絕大部分用于研究，因此可用于實(shí)驗(yàn)的算力并不少。

更重要的是：如果你在做「與眾不同」的研究，真的需要極限規(guī)模來證明它嗎？我不這么認(rèn)為。對(duì)于我們要驗(yàn)證的方向，目前的算力完全足夠讓我們說服自己，也說服世界。

Dwarkesh Patel

公開估計(jì)顯示，比如OpenAI這樣的公司，僅在實(shí)驗(yàn)上的年度開銷就有50–60億美元，還不算推理服務(wù)的成本。他們每年在研究實(shí)驗(yàn)上的投入甚至比你們的總經(jīng)費(fèi)還高。

Ilya Sutskever

關(guān)鍵不在于「有多少算力」，而在于「如何使用算力」。

他們的系統(tǒng)規(guī)模巨大，模態(tài)更多，工作流更多，因此算力需求自然龐大且分散。你要做一個(gè)能推理、能多模態(tài)、能產(chǎn)品化的系統(tǒng)，需要在非常多的環(huán)節(jié)投入計(jì)算資源。

但這不代表研究一定需要那種規(guī)模。

Dwarkesh Patel

那SSI未來會(huì)如何盈利？

Ilya Sutskever

目前我們只專注于研究。商業(yè)化問題到時(shí)候自然會(huì)水到渠成，我認(rèn)為會(huì)有很多可能的路徑。

Dwarkesh Patel

SSI的計(jì)劃仍然是直接研發(fā)超級(jí)智能嗎？

Ilya Sutskever

也許吧，這個(gè)方向確實(shí)有意義。避免卷入市場(chǎng)競(jìng)爭(zhēng)是一件好事。但有兩個(gè)原因可能促使我們改變策略：

第一，實(shí)際時(shí)間表可能比預(yù)期更長(zhǎng)；

第二，真正強(qiáng)大的AI造福世界的價(jià)值巨大，我認(rèn)為這是非常重要的事。

Dwarkesh Patel

那為什么默認(rèn)策略要「直接研發(fā)超級(jí)智能」？

OpenAI、Anthropic等公司強(qiáng)調(diào)要逐步增強(qiáng)能力、讓公眾慢慢適應(yīng)。為什么直接沖向超級(jí)智能反而可能更好？

Ilya Sutskever

正反兩方面都有道理。

正方觀點(diǎn)是：參與市場(chǎng)競(jìng)爭(zhēng)會(huì)迫使公司做出艱難權(quán)衡，可能偏離長(zhǎng)期目標(biāo)。完全專注于研發(fā)是極具優(yōu)勢(shì)的。

反方觀點(diǎn)是：讓大眾真正看到強(qiáng)大的AI，本身就是一種價(jià)值。你無(wú)法通過一篇論文或一套理念來「解釋」AI的沖擊力——只有親眼看到它在做什么，人們才會(huì)真正理解。這就是為什么大規(guī)模部署AI會(huì)帶來巨大社會(huì)收益。

Dwarkesh Patel

我同意，不僅是理念，更是讓人真正「接觸AI本身」。另一個(gè)原因在于：幾乎所有工程領(lǐng)域都依靠「現(xiàn)實(shí)世界中的部署」不斷提高安全性。

比如：飛機(jī)的事故率隨每一代機(jī)型不斷下降；Linux漏洞越來越難找到；系統(tǒng)越來越穩(wěn)健。因?yàn)樗鼈儽蝗蚍秶褂茫瑔栴}被發(fā)現(xiàn)，然后被修補(bǔ)。

我不確定AGI或超級(jí)智能為什么應(yīng)該是個(gè)例外。尤其是——超級(jí)智能的風(fēng)險(xiǎn)遠(yuǎn)不止「回形針惡魔」那樣的故事。它太強(qiáng)大了，我們甚至不知道人們會(huì)如何使用它，更不知道它會(huì)如何與人類互動(dòng)。

逐步普及似乎是讓社會(huì)做好準(zhǔn)備的更安全方式。

Ilya Sutskever

我認(rèn)為，即使采取「直接實(shí)施」的路線，也必然是一個(gè)循序漸進(jìn)的過程。任何計(jì)劃都必須分階段推進(jìn)，關(guān)鍵是你最先推出的是什么。

第二點(diǎn)，你比其他人更強(qiáng)調(diào)「持續(xù)學(xué)習(xí)」，我認(rèn)為這非常重要。我想用一個(gè)例子來說明語(yǔ)言如何影響我們的思維。有兩個(gè)詞幾乎定義了整個(gè)行業(yè)的認(rèn)知：一個(gè)是「AGI」，另一個(gè)是「預(yù)訓(xùn)練」。

先說AGI。這個(gè)詞為什么會(huì)出現(xiàn)？它的目的并不是為了描述某種「最終形態(tài)」的智能，而是對(duì)「狹義AI」的一種反應(yīng)。在AI的早期，大家談?wù)摰氖恰柑錋I」、「國(guó)際象棋AI」、「游戲AI」。它們確實(shí)很強(qiáng)，但人們會(huì)說：它們太狹窄了，沒有通用能力。因此，「我們需要通用AI」這個(gè)概念逐漸流行起來。

第二個(gè)詞是「預(yù)訓(xùn)練」。尤其在今天的強(qiáng)化學(xué)習(xí)工作流下，「預(yù)訓(xùn)練」這個(gè)概念可能正在變得模糊。但它曾經(jīng)非常重要：預(yù)訓(xùn)練越充分，模型在各方面的能力都會(huì)提升。換句話說，預(yù)訓(xùn)練促成了「通用AI」這一想法的流行。

問題在于，這兩個(gè)詞——AGI和預(yù)訓(xùn)練——其實(shí)都帶來了某種誤導(dǎo)。如果你仔細(xì)思考，就會(huì)意識(shí)到：在人類身上不存在所謂的「通用AI」。人類確實(shí)在一些基本能力上很強(qiáng)，但真正的知識(shí)儲(chǔ)備極其有限，而我們真正依賴的是「持續(xù)學(xué)習(xí)」。

因此，當(dāng)我們?cè)O(shè)想「創(chuàng)造出一種安全的超級(jí)智能」時(shí)，關(guān)鍵問題并不是它「已經(jīng)掌握了多少技能」，而是：它在持續(xù)學(xué)習(xí)的曲線上處于哪個(gè)階段？

想象一個(gè)非常聰明、求知欲旺盛的15歲少年。他懂得不多，但學(xué)習(xí)能力極強(qiáng)，可以在不同領(lǐng)域持續(xù)擴(kuò)展技能。如果你把這樣一個(gè)系統(tǒng)部署出去，它也會(huì)經(jīng)歷學(xué)習(xí)和試錯(cuò)的過程。這不是一個(gè)「成品」，而是一段學(xué)習(xí)旅程。

Dwarkesh Patel

明白了。你說的「超級(jí)智能」并不是一種已經(jīng)掌握所有技能、能勝任所有工作的成熟系統(tǒng)，而更像是一個(gè)能夠?qū)W習(xí)完成所有工作的「可成長(zhǎng)心智」。它和一些組織對(duì)AGI的定義不同，后者強(qiáng)調(diào)「能做任何人類可以做的工作」，而你強(qiáng)調(diào)的是「能夠?qū)W會(huì)任何工作」。

而只要有了這種學(xué)習(xí)能力，它就能像人類一樣，被部署到世界各地，從事不同工作，并在工作中不斷學(xué)習(xí)。

接下來可能有兩種情況——也可能都不會(huì)發(fā)生。

第一種是：這種學(xué)習(xí)算法強(qiáng)到不可思議，它在研究方面甚至能超過你，隨后不斷提升自身能力。

第二種是：即便沒有出現(xiàn)這種遞歸增強(qiáng)，只要你有一個(gè)統(tǒng)一的大模型，它的不同實(shí)例在全球范圍內(nèi)執(zhí)行不同任務(wù)，不斷學(xué)習(xí)，再把彼此的學(xué)習(xí)成果整合起來——那么你最終也得到了一種「功能性超級(jí)智能」。它幾乎能勝任經(jīng)濟(jì)體系里的所有工作，而且不同于人類，它可以完美共享知識(shí)。

那么，你是否預(yù)期這種模型的廣泛部署會(huì)引發(fā)某種形式的「智能爆炸」？

Ilya Sutskever：

我認(rèn)為我們很有可能看到經(jīng)濟(jì)的快速增長(zhǎng)。關(guān)于廣泛部署的AI，業(yè)內(nèi)有兩種相反的觀點(diǎn)。

一種認(rèn)為：只要AI具備快速學(xué)習(xí)和執(zhí)行任務(wù)的能力，而且數(shù)量足夠多，經(jīng)濟(jì)體系就會(huì)強(qiáng)烈地推動(dòng)它們被部署，除非監(jiān)管阻止它發(fā)生——而監(jiān)管很可能會(huì)出現(xiàn)。

另一種觀點(diǎn)認(rèn)為，即便有監(jiān)管，在足夠大的規(guī)模部署下，經(jīng)濟(jì)都會(huì)在一段時(shí)間內(nèi)進(jìn)入高速增長(zhǎng)。問題只是：增長(zhǎng)能快到什么程度？這一點(diǎn)很難預(yù)測(cè)。世界足夠大，系統(tǒng)復(fù)雜，各行業(yè)的運(yùn)行速度不同，但AI的勞動(dòng)效率極高，因此經(jīng)濟(jì)快速增長(zhǎng)是完全可能的。

我們可能會(huì)看到不同國(guó)家因監(jiān)管尺度不同而出現(xiàn)增長(zhǎng)差異。哪些國(guó)家更早允許部署，哪些國(guó)家的經(jīng)濟(jì)增長(zhǎng)更快——很難提前判斷。

對(duì)齊

Dwarkesh Patel

在我看來，這是一個(gè)極其危險(xiǎn)的局面。從理論上講，它完全可能發(fā)生：如果一個(gè)系統(tǒng)既具備接近人類的學(xué)習(xí)能力，又能以人類無(wú)法做到的方式「融合多個(gè)大腦實(shí)例」，那它的潛力就會(huì)遠(yuǎn)超任何生命形式。人類可以學(xué)習(xí)，計(jì)算機(jī)能擴(kuò)展，而這東西可以同時(shí)具備兩者。

這種智能的威力幾乎難以想象。經(jīng)濟(jì)增長(zhǎng)只是其中一種表現(xiàn)方式——如果它真的強(qiáng)大到能建造戴森球，那將帶來巨大的增長(zhǎng)。而在更現(xiàn)實(shí)的層面，如果SSI雇傭這樣的智能體，它可能在短短六個(gè)月內(nèi)達(dá)到凈生產(chǎn)力。人類學(xué)習(xí)已經(jīng)夠快了，但它會(huì)進(jìn)步得更快。

所以關(guān)鍵問題是：怎樣才能安全地讓它發(fā)生？SSI又憑什么認(rèn)為自己有能力做到這一點(diǎn)？我真正想問的是，你們對(duì)這種局面的計(jì)劃是什么？

Ilya Sutskever

我的思維方式確實(shí)發(fā)生了一些變化，其中一個(gè)重要方面是，我現(xiàn)在更強(qiáng)調(diào)AI的逐步部署與提前規(guī)劃。AI的困難之一在于：我們討論的是尚不存在的系統(tǒng)，很難真正想象它會(huì)是什么樣子。

現(xiàn)實(shí)是，如今我們幾乎無(wú)法在日常實(shí)踐中真實(shí)“感受到”AGI 的存在。我們可以討論它，但想象它的力量，就像讓年輕人體會(huì)衰老的感覺一樣——可以嘗試，但最終發(fā)現(xiàn)根本無(wú)法真正理解。

圍繞 AGI 的很多爭(zhēng)議，本質(zhì)上都來自一種想象力的缺失。未來的AI將與現(xiàn)在截然不同，強(qiáng)大得多。AI和 AGI 的核心問題究竟是什么？就是力量。根本問題就在于它的力量。

那么，當(dāng)這種力量真正出現(xiàn)時(shí)會(huì)發(fā)生什么？過去一年里，我的想法有了變化——這種變化可能會(huì)影響我們公司的計(jì)劃。我的結(jié)論是：如果難以想象，那就必須把它展示出來。

我認(rèn)為，絕大多數(shù)從事AI研究的人也難以想象未來系統(tǒng)的形態(tài)，因?yàn)樗c我們熟悉的東西相距甚遠(yuǎn)。我仍然堅(jiān)持我的預(yù)測(cè)：隨著AI變得越來越強(qiáng)大，人類的行為會(huì)隨之改變。我們會(huì)看到許多前所未有的現(xiàn)象，而這些現(xiàn)象現(xiàn)在尚未發(fā)生。

第一，我認(rèn)為未來無(wú)論好壞，前沿公司與政府都會(huì)在其中扮演極為重要的角色。我們已經(jīng)看到一些跡象：原本的競(jìng)爭(zhēng)對(duì)手開始在 AI 安全上合作，例如 OpenAI 和 Anthropic 的一些動(dòng)作。這在過去是不可想象的。我在三年前的演講中就預(yù)測(cè)過這一幕。我相信，隨著AI力量變得更明顯，政府和公眾也將強(qiáng)烈要求采取行動(dòng)。這是一種關(guān)鍵力量：向世界展示AI的真實(shí)面貌。

第二，隨著AI不斷提升，人們對(duì)它的理解也會(huì)發(fā)生轉(zhuǎn)變。目前許多從業(yè)者之所以覺得AI還不夠強(qiáng)，是因?yàn)槟Ｐ腿詴?huì)出錯(cuò)。但我認(rèn)為，某個(gè)時(shí)刻我們會(huì)真正“感受到”它的力量。

當(dāng)這種感受出現(xiàn)時(shí)，所有 AI 公司的安全觀念都會(huì)發(fā)生巨大轉(zhuǎn)變，變得更為謹(jǐn)慎。這一點(diǎn)我非常確定。因?yàn)樗麄儠?huì)親眼看到AI能力的躍升。而今天的討論之所以看不到這種謹(jǐn)慎，是因?yàn)槿藗冎荒芸吹疆?dāng)下的系統(tǒng)，而難以想象未來版本的樣子。

第三，從更宏觀的角度來看，有一個(gè)問題是：企業(yè)究竟該構(gòu)建什么？

長(zhǎng)期以來，業(yè)界都執(zhí)迷于“能自我改進(jìn)的 AI”。這背后的理由是想法比公司少——換句話說，讓 AI 自己想。但我認(rèn)為，還有更重要、更值得構(gòu)建的東西，而且未來每個(gè)人都會(huì)想要它。

那就是：以關(guān)懷有感知生命為核心的AI。

我認(rèn)為，構(gòu)建一個(gè)關(guān)心所有具備感知能力生命體的AI，比構(gòu)建只關(guān)心“人類生命”的AI更容易。原因在于AI本身也將具備感知能力。

想想鏡像神經(jīng)元，以及人類對(duì)動(dòng)物的同理心——或許這種同理心不夠強(qiáng)烈，但它確實(shí)存在。我們之所以能理解他者，是因?yàn)槲覀冇媚M自身的回路來模擬對(duì)方，這樣最有效。

Dwarkesh Patel

所以，即便你讓AI關(guān)心有感知能力的生物——實(shí)際上，如果你解決了陣營(yíng)問題，我并不確定這是否是你應(yīng)該努力的方向——大多數(shù)有感知能力的生物仍然是AI。

AI的數(shù)量將達(dá)到數(shù)萬(wàn)億，最終甚至達(dá)到千萬(wàn)億。人類在有感知能力的生物中所占的比例將非常小。因此，我不確定如果目標(biāo)是讓人類控制未來的文明，這是否是最佳標(biāo)準(zhǔn)。

Ilya Sutskever

沒錯(cuò)，這可能并不是最佳標(biāo)準(zhǔn)。我想強(qiáng)調(diào)三點(diǎn)。

第一，“關(guān)愛有感知能力的生命”依然非常重要，這一點(diǎn)應(yīng)該被納入考量。

第二，如果能夠提前整理出一份包含多種可選方案、可供公司在關(guān)鍵時(shí)刻參考的建議清單，將會(huì)十分有價(jià)值。

第三，我認(rèn)為，如果能以某種方式對(duì)最強(qiáng)大的超級(jí)智能體施加能力上的限制，會(huì)非常有益，因?yàn)檫@能解決許多潛在問題。

至于如何實(shí)現(xiàn)，目前我還沒有明確答案，但我相信，一旦討論的是“真正強(qiáng)大”的系統(tǒng)，這種限制的重要性將變得更加突出。

Dwarkesh Patel

在我們繼續(xù)討論對(duì)齊問題之前，我想先深入探討一下。

頂層還有多少空間？你如何看待超級(jí)智能？你認(rèn)為，如果運(yùn)用學(xué)習(xí)效率的概念，它是不是只是學(xué)習(xí)新技能或新知識(shí)的速度極快？或者它只是擁有更龐大的策略庫(kù)？是否存在一個(gè)位于中心、更強(qiáng)大或更龐大的單一「它」？

如果是這樣，你認(rèn)為它相對(duì)于人類文明的其他部分會(huì)像神一樣嗎？還是僅僅感覺像是另一個(gè)主體，或者另一個(gè)主體群？

Ilya Sutskever

在這個(gè)領(lǐng)域，每個(gè)人的直覺都不同。我的直覺是：未來的 AI 將會(huì)極其強(qiáng)大。而且最有可能的情形不是某一個(gè)單體率先出現(xiàn)，而是多個(gè)同等級(jí)別的 AI 幾乎同時(shí)被創(chuàng)造出來。

如果計(jì)算集群大到相當(dāng)于一個(gè)“大陸級(jí)規(guī)模”，那樣的系統(tǒng)就會(huì)真正意義上變得極其強(qiáng)大。我只能說，當(dāng)我們談?wù)摰氖钦嬲龔?qiáng)大的 AI 時(shí)，最好能限制它們的能力，或讓它們?cè)谀撤N協(xié)議下運(yùn)行，否則風(fēng)險(xiǎn)顯而易見。

究竟是什么讓“超級(jí)智能”如此令人擔(dān)憂？問題的核心在于：即便你讓它做一件看似合理的事——例如全心全意關(guān)懷所有有感知生命——我們也可能并不會(huì)喜歡它最終采取的方式。這才是真正的癥結(jié)。

或許答案部分在于：你無(wú)法用通常意義上的方式構(gòu)建強(qiáng)化學(xué)習(xí)智能體。幾點(diǎn)原因：

人類本身也是“半強(qiáng)化學(xué)習(xí)智能體”：我們追求獎(jiǎng)勵(lì)，但情緒會(huì)讓我們厭倦并轉(zhuǎn)向新的獎(jiǎng)勵(lì)。

市場(chǎng)是一種短視的智能體。

進(jìn)化也是如此：在某些方面極其聰明，在另一些方面卻極其愚蠢。

政府被設(shè)計(jì)成三個(gè)部門持續(xù)制衡的結(jié)構(gòu)，也會(huì)創(chuàng)造出復(fù)雜且難以預(yù)測(cè)的后果。

這些例子說明：我們熟悉的智能體類型，本身就帶有結(jié)構(gòu)性的限制與偏差。

討論變得困難，還有另一個(gè)原因：我們談?wù)摰氖巧形创嬖诘南到y(tǒng)，也不知道應(yīng)當(dāng)如何構(gòu)建這樣的系統(tǒng)。

在我看來，當(dāng)下所有研究都會(huì)持續(xù)推進(jìn)、不斷改進(jìn)，但永遠(yuǎn)達(dá)不到“最終版本”。我們根本不知道該如何構(gòu)建那種“最終版本的智能體”。

許多關(guān)鍵問題最終都指向一個(gè)核心：我們?nèi)匀徊焕斫庹嬲煽康母爬C(jī)制。

再補(bǔ)充一點(diǎn)。 一致性難以實(shí)現(xiàn)的原因之一，可能在于：

我們學(xué)習(xí)“人類價(jià)值觀”的能力本身非常脆弱，

我們優(yōu)化這些價(jià)值觀的能力也非常脆弱，

而我們恰恰是在學(xué)習(xí)如何“優(yōu)化它們”的過程中逐漸形成的。

于是，這引出一個(gè)更深的問題：

難道這些不是“不可靠的概括”的例子嗎？

為什么人類的概括能力似乎更強(qiáng)？

如果未來的系統(tǒng)擁有異常強(qiáng)大的概括能力，會(huì)怎樣？其影響是什么？

這些問題，目前都無(wú)法回答。

Dwarkesh Patel

如何想象AI發(fā)展順利的樣子？你已經(jīng)展望了AI可能的發(fā)展方向。我們將擁有這類持續(xù)學(xué)習(xí)的智能體。

AI將非常強(qiáng)大。或許會(huì)出現(xiàn)許多不同的AI。你如何看待大量體量堪比大陸的計(jì)算智能體？這有多危險(xiǎn)？我們?nèi)绾谓档瓦@種危險(xiǎn)？我們又該如何做到這一點(diǎn)，才能在可能存在失衡的AI和惡意行為者的情況下，維護(hù)一種平衡？

Ilya Sutskever

這正是我強(qiáng)調(diào)「關(guān)愛有感知生命的AI」這一概念的原因之一。它是否絕對(duì)正確可以討論，但如果最早出現(xiàn)的那批強(qiáng)大系統(tǒng)能真正關(guān)心、保護(hù)人類或其他有感知的生命，那么這點(diǎn)就必須實(shí)現(xiàn)。只要前N個(gè)系統(tǒng)做到這一點(diǎn)，我認(rèn)為至少在相當(dāng)長(zhǎng)的時(shí)間里，局面會(huì)保持良性。

那長(zhǎng)期會(huì)發(fā)生什么？如何實(shí)現(xiàn)一種穩(wěn)定均衡？這個(gè)問題其實(shí)有答案，盡管我本人并不喜歡，但它值得嚴(yán)肅考慮。

從短期看，如果世界中存在強(qiáng)大的AI，幾乎可以預(yù)見的是：全民收入提升，每個(gè)人都過得更好。但佛教有一句話：「唯一不變的是變化本身。」政治結(jié)構(gòu)、政府形態(tài)、社會(huì)秩序都會(huì)不斷變化，它們都有生命周期。新的結(jié)構(gòu)出現(xiàn)，運(yùn)行一段時(shí)間，又會(huì)在某個(gè)階段失效，我們已經(jīng)無(wú)數(shù)次看到這種循環(huán)。

所以從長(zhǎng)期來看，一種可能的模式是：每個(gè)人都擁有一個(gè)屬于自己的AI，它替你賺錢、替你爭(zhēng)取政治利益、替你處理社會(huì)競(jìng)爭(zhēng)，并定期給你提交一份簡(jiǎn)短的報(bào)告：「這是我為你做到的。」而你只需點(diǎn)頭：「很好，繼續(xù)吧。」

問題在于：人類完全退出了參與。這是一種高度危險(xiǎn)的局面。

我并不喜歡下面這個(gè)方案，但它確實(shí)是一種可行路徑：讓人類通過某種類似Neuralink的技術(shù)，成為「半AI」。這樣一來，AI所理解的，我們也能理解；AI所經(jīng)歷的，我們也能參與，因?yàn)檫@種理解會(huì)被完整地傳遞給人類。在這種情況下，AI若處于某個(gè)復(fù)雜情境中，人類可以真正「在場(chǎng)」，而不是旁觀者。

Dwarkesh Patel

我想知道，數(shù)百萬(wàn)年前（甚至在很多情況下是數(shù)十億年前）在完全不同的環(huán)境中形成的情感，是否仍然如此強(qiáng)烈地指導(dǎo)著我們的行為，這是否是協(xié)調(diào)一致的成功例證。

為了更清楚地說明我的意思——我不知道稱之為價(jià)值函數(shù)還是獎(jiǎng)勵(lì)函數(shù)更準(zhǔn)確——腦干有一個(gè)指令，它會(huì)說：「和更成功的人交配。」大腦皮層理解在現(xiàn)代語(yǔ)境下成功的含義。但腦干能夠協(xié)調(diào)大腦皮層，并說：「無(wú)論你如何定義成功——我沒那么聰明，無(wú)法理解那是什么——你仍然要遵循這個(gè)指令。」

Ilya Sutskever

我認(rèn)為這里還有一個(gè)更普遍的觀點(diǎn)。進(jìn)化如何編碼高級(jí)欲望，這其實(shí)非常神秘。我們很容易理解進(jìn)化如何賦予我們對(duì)香味食物的渴望，因?yàn)闅馕妒且环N化學(xué)物質(zhì)，所以我們會(huì)去追求這種化學(xué)物質(zhì)。我們很容易想象進(jìn)化是如何做到這一點(diǎn)的。

但進(jìn)化也賦予了我們所有這些社交欲望。我們非常在意能否被社會(huì)正面看待。我們渴望擁有良好的社會(huì)地位。我強(qiáng)烈地感覺到，我們擁有的所有這些社交直覺都是根深蒂固的。我不知道進(jìn)化是如何做到這一點(diǎn)的，因?yàn)檫@是一種存在于大腦中的高層次概念。

假設(shè)你關(guān)心某種社會(huì)現(xiàn)象，它并非像氣味那樣的低級(jí)信號(hào)，也不是某種有傳感器可以感知的東西。大腦需要進(jìn)行大量處理，才能將眾多信息碎片拼湊起來，理解社會(huì)上正在發(fā)生的事情。進(jìn)化似乎在告訴你：「這才是你應(yīng)該關(guān)心的。」它是如何做到的呢？

而且進(jìn)化速度也很快。所有這些我們所珍視的復(fù)雜社會(huì)現(xiàn)象，我認(rèn)為都是近期才出現(xiàn)的。進(jìn)化輕而易舉地就將這種高層次的欲望寫入了程序。至于進(jìn)化是如何實(shí)現(xiàn)的，我目前還沒有找到一個(gè)合理的解釋。我之前也有一些想法，但都不太令人滿意。

Dwarkesh Patel

尤其令人印象深刻的是，欲望是你后天習(xí)得的，這很合理，因?yàn)槟愕拇竽X很智能。你能習(xí)得智能欲望也合情合理。也許這并非你的重點(diǎn)，但理解這一點(diǎn)的一種方式是，欲望根植于基因組之中，而基因組本身并不智能。但你卻能夠描述這種特性。你甚至不清楚自己是如何定義這種特性的，而且你還能將其構(gòu)建到基因中。

Ilya Sutskever

本質(zhì)上來說，或者我換個(gè)說法。想想基因組可用的工具，它就像在說：「好了，這里有一份構(gòu)建大腦的配方。」你可以說：「這里有一份將多巴胺神經(jīng)元連接到嗅覺感受器的配方。」如果這種氣味是某種令人愉悅的氣味，你就想吃它。

我能想象基因組會(huì)這樣做。但我認(rèn)為更難想象。很難想象基因組會(huì)告訴你，你應(yīng)該關(guān)心你整個(gè)大腦，或者說你大腦的很大一部分，都在進(jìn)行的某些復(fù)雜計(jì)算。這就是我的觀點(diǎn)。我可以推測(cè)一下它是如何實(shí)現(xiàn)的。讓我提出一個(gè)推測(cè)，然后解釋為什么這個(gè)推測(cè)很可能是錯(cuò)誤的。

所以大腦有不同的腦區(qū)。我們有大腦皮層，它包含了所有這些腦區(qū)。大腦皮層本身是均勻的，但腦區(qū)以及皮層中的神經(jīng)元主要與其鄰近的神經(jīng)元進(jìn)行交流。這就解釋了為什么會(huì)有腦區(qū)。因?yàn)槿绻阆脒M(jìn)行某種語(yǔ)音處理，所有負(fù)責(zé)語(yǔ)音處理的神經(jīng)元都需要相互溝通。而由于神經(jīng)元只能與其附近的神經(jīng)元交流，所以大多數(shù)情況下，它們必須位于同一個(gè)腦區(qū)內(nèi)。

每個(gè)人大腦中這些區(qū)域的位置基本相同。所以，或許進(jìn)化在大腦中硬編碼了一個(gè)特定的位置。它就像在說：「哦，當(dāng)大腦的某個(gè)特定區(qū)域（比如某個(gè)神經(jīng)元）的GPS坐標(biāo)被激活時(shí)，你就應(yīng)該關(guān)注這個(gè)區(qū)域。」這或許就是進(jìn)化的運(yùn)作方式，因?yàn)檫@符合進(jìn)化的邏輯。

Dwarkesh Patel

是的，雖然也有一些例子，比如先天失明的人，他們大腦皮層的失明區(qū)域會(huì)被其他感官所取代。我不知道，但如果大腦皮層的不同區(qū)域被其他感官所取代，那些需要視覺信號(hào)的欲望或獎(jiǎng)勵(lì)功能是否會(huì)失效，我會(huì)感到驚訝。

例如，如果你失去了視力，你還能感受到你想讓周圍的人喜歡你等等這種感覺嗎？通常情況下，這些感覺也會(huì)有視覺線索。

Ilya Sutskever

我完全同意。我認(rèn)為這個(gè)理論還有更強(qiáng)有力的反駁論點(diǎn)。有些人童年時(shí)期切除了半個(gè)大腦，但他們?nèi)匀槐Ａ糁械拇竽X區(qū)域。然而，這些區(qū)域卻都以某種方式集中到了大腦的一側(cè)半球，這表明大腦區(qū)域的位置并非固定不變，因此這個(gè)理論是不成立的。

如果這是真的就好了，可惜不是。所以我覺得這真是個(gè)謎。不過，這的確是個(gè)有趣的謎。事實(shí)是，進(jìn)化不知怎么地賦予了我們非常可靠地關(guān)注社會(huì)事務(wù)的能力。即使是那些患有各種奇怪精神疾病、缺陷和情緒問題的人，也往往很關(guān)心這些。

SSI

Dwarkesh Patel

SSI有什么與眾不同的計(jì)劃？你們顯然希望站在時(shí)代前沿。創(chuàng)辦SSI的初衷，或許正是因?yàn)槟阏J(rèn)為自己掌握一種能夠安全推進(jìn)這項(xiàng)工作的方式，而其他公司沒有。那么，這種不同究竟在哪里？

Ilya Sutskever

在我看來，我只是有一些值得探索的想法，想驗(yàn)證它們是否真正有效。就是這樣。這是一場(chǎng)嘗試。如果這些關(guān)于「理解與概括」的思路最終被證明是正確的，那我們就能有所收獲。

我們正在調(diào)查、驗(yàn)證這些想法。我們是一家真正意義上的「研究型公司」。過去一年取得了不錯(cuò)的進(jìn)展，但還需要繼續(xù)推進(jìn)。我認(rèn)為這本質(zhì)上就是一種嘗試，一種讓自己發(fā)出聲音、參與其中的方式。

Dwarkesh Patel

你們的聯(lián)合創(chuàng)始人兼前CEO最近去了Meta。有人認(rèn)為，如果公司當(dāng)時(shí)取得了很多突破，這種離開似乎不太可能發(fā)生。你怎么看？

Ilya Sutskever

我只想簡(jiǎn)單回顧一些可能被忽視的事實(shí)。當(dāng)時(shí)我們正以320億美元估值進(jìn)行融資，其后Meta提出了收購(gòu)，我拒絕了，但前聯(lián)合創(chuàng)始人某種程度上同意了。結(jié)果是，他獲得了大量短期流動(dòng)資金，而且他是SSI唯一加入Meta的人。

Dwarkesh Patel

聽起來SSI的計(jì)劃，是希望在人類邁入超人類智能時(shí)代的關(guān)鍵節(jié)點(diǎn)處于前沿位置。你們對(duì)如何有效利用超人類智能有自己的思路，但其他公司也在嘗試不同想法。SSI的獨(dú)特之處是什么？

Ilya Sutskever

我們的主要特點(diǎn)在于技術(shù)路徑。我們采用了一種我認(rèn)為有價(jià)值且行之有效的方法，并正努力推進(jìn)。

我覺得最終各種策略會(huì)趨于一致。隨著AI變得足夠強(qiáng)大，大家大概都會(huì)意識(shí)到應(yīng)該采取怎樣的路線。原則上，就是找到一種可靠的溝通方式，并確保第一個(gè)真正意義上的超級(jí)智能能夠以協(xié)調(diào)、關(guān)懷、有益的方式行事——關(guān)心有感知能力的生命、關(guān)心人類，尊重民主理念，或多者兼具。

我認(rèn)為這是所有公司都應(yīng)該追求的目標(biāo)，也是我們正在追求的目標(biāo)。甚至如果其他公司現(xiàn)在還沒意識(shí)到，我相信它們最終也會(huì)朝著同一方向前進(jìn)。隨著智能增強(qiáng)，世界將發(fā)生巨變，人們的行為方式也會(huì)隨之徹底改變。

Dwarkesh Patel

你對(duì)這種系統(tǒng)的時(shí)間預(yù)測(cè)是什么？一種能像人類一樣學(xué)習(xí)，并最終達(dá)到人類水平的系統(tǒng)。

Ilya Sutskever

大概5到20年。

Dwarkesh Patel

你認(rèn)為未來幾年會(huì)發(fā)生什么？如果其他公司繼續(xù)沿用現(xiàn)有做法，最終會(huì)「停滯」？這里的「停滯」具體意味著什么？營(yíng)收停留在幾千億美元？

Ilya Sutskever

停滯的情形可能是各家公司的狀況會(huì)非常相似。我并不確定，但即使「停滯」，他們?nèi)钥赡塬@得驚人的收入。也許利潤(rùn)不高，因?yàn)楸舜诵枰Σ町惢杖氩粫?huì)低。

Dwarkesh Patel

但你似乎暗示，一旦出現(xiàn)正確的方法，各家公司最終都會(huì)趨同。為什么這么認(rèn)為？

Ilya Sutskever

我主要指戰(zhàn)略協(xié)調(diào)上的趨同。技術(shù)路徑最終可能也趨同，但我指的是戰(zhàn)略層面：大家會(huì)逐漸清晰地意識(shí)到應(yīng)該采取怎樣的做法。

Dwarkesh Patel

現(xiàn)在許多公司采用不同思路，你期待他們繼續(xù)創(chuàng)造收入，但達(dá)不到類人學(xué)習(xí)。未來或許只有少數(shù)公司找到正確方法，一旦發(fā)布，其他人就會(huì)明白應(yīng)該怎么做？

Ilya Sutskever

確切的做法目前不明朗，但另一種可能性是：信息會(huì)被研究、被破解，人們會(huì)試圖弄清其原理。不過，隨著能力不斷提升，我認(rèn)為某些方面會(huì)發(fā)生根本性的變化，只是現(xiàn)在還無(wú)法具體描述。

Dwarkesh Patel

按理說，率先建立持續(xù)學(xué)習(xí)循環(huán)的公司會(huì)獲得所有收益。為何這些收益會(huì)被廣泛分享，而不是集中在頭部企業(yè)？

Ilya Sutskever

如果回顧AI的歷史模式，會(huì)發(fā)現(xiàn)通常是一家公司率先突破，隨后其他公司迅速跟進(jìn)，推出類似產(chǎn)品，在市場(chǎng)上競(jìng)爭(zhēng)、壓低價(jià)格。我認(rèn)為未來也會(huì)如此。

此外，在理想情況下，你也可以將超級(jí)智能限定在非常具體的窄領(lǐng)域，使其既強(qiáng)大又專業(yè)化。市場(chǎng)中本來就偏好多樣化、細(xì)分化。

因此，一家公司可能在某個(gè)復(fù)雜經(jīng)濟(jì)活動(dòng)領(lǐng)域表現(xiàn)突出，而另一家公司擅長(zhǎng)另一個(gè)領(lǐng)域，還有公司可能專門在訴訟方面極具優(yōu)勢(shì)。

Dwarkesh Patel

但這與類人學(xué)習(xí)的含義似乎矛盾。類人學(xué)習(xí)意味著能學(xué)任何事情。

Ilya Sutskever

確實(shí)可以。但你已經(jīng)為特定領(lǐng)域投入大量計(jì)算、資源和經(jīng)驗(yàn)，積累了深厚知識(shí)，達(dá)到了極高水準(zhǔn)。別人可能會(huì)說：「我沒必要重復(fù)你已經(jīng)學(xué)過的一切。」

Dwarkesh Patel

要實(shí)現(xiàn)這種分化，前提是多家公司同時(shí)訓(xùn)練類人學(xué)習(xí)智能體，在不同分支上展開搜索。如果只有一家率先獲得這樣的學(xué)習(xí)器，它也可以讓一個(gè)實(shí)例學(xué)習(xí)所有崗位。

Ilya Sutskever

這確實(shí)是一個(gè)合理的論點(diǎn)。但我的強(qiáng)烈直覺告訴我，事情不會(huì)這樣發(fā)展。理論上似乎是這樣，但實(shí)踐中未必如此。這就是理論與現(xiàn)實(shí)不一致的典型例子。

Dwarkesh Patel

很多遞歸自我改進(jìn)模型認(rèn)為，服務(wù)器里會(huì)有上百萬(wàn)個(gè)「伊利亞」，不斷探索不同想法，從而導(dǎo)致超級(jí)智能迅速出現(xiàn)。你對(duì)并行化的收益有什么直覺？復(fù)制「你」有什么意義？

Ilya Sutskever

我不確定。我傾向認(rèn)為會(huì)出現(xiàn)收益遞減，因?yàn)檎嬲枰氖恰杆季S方式不同的人」，而不是成千上萬(wàn)個(gè)思維方式相同的復(fù)制體。只復(fù)制我一個(gè)人，我不認(rèn)為價(jià)值會(huì)提升多少。你需要的是多樣化的思考方式。

多智能體

Dwarkesh Patel

為什么即使查看完全不同公司發(fā)布、用可能不重疊的數(shù)據(jù)集訓(xùn)練出來的模型，LLM之間的相似度仍然高得驚人？

Ilya Sutskever

也許這些數(shù)據(jù)集并不像表面上看起來那樣完全不重疊。

Dwarkesh Patel

但從某種意義上說，即便單個(gè)人類的生產(chǎn)力遠(yuǎn)不如未來的AI，人類團(tuán)隊(duì)的多樣性或許仍比AI團(tuán)隊(duì)更高。我們?cè)撊绾卧贏I中實(shí)現(xiàn)這種意義上的「多樣性」？

我認(rèn)為僅僅提高溫度只會(huì)讓模型胡言亂語(yǔ)。我們真正需要的，是類似不同科學(xué)家擁有不同偏見、不同想法的那種結(jié)構(gòu)性差異。那么，怎樣才能在AI代理中產(chǎn)生這種多樣性？

Ilya Sutskever

我認(rèn)為缺乏多樣性主要來自預(yù)訓(xùn)練。所有預(yù)訓(xùn)練模型最終都非常相似，因?yàn)樗鼈兌紒碜灶愃频臄?shù)據(jù)。而差異更多出現(xiàn)在強(qiáng)化學(xué)習(xí)和后訓(xùn)練階段，因?yàn)椴煌瑘F(tuán)隊(duì)會(huì)采用不同的RL訓(xùn)練方法。

Dwarkesh Patel

我之前聽你提過，自博弈也許是一種獲取數(shù)據(jù)，或讓智能體與同等智能體匹配以啟動(dòng)學(xué)習(xí)的方式。那么，我們應(yīng)該如何理解那些當(dāng)前還未公開、試圖將自博弈應(yīng)用到LLM生命周期學(xué)習(xí)中的提案？

Ilya Sutskever

我想強(qiáng)調(diào)兩點(diǎn)。

第一，自博弈之所以有趣，是因?yàn)樗峁┝艘环N僅依靠計(jì)算而非數(shù)據(jù)來創(chuàng)建模型的方法。如果你認(rèn)為數(shù)據(jù)最終是瓶頸，那能只靠算力推進(jìn)，就非常值得關(guān)注。

第二，問題在于傳統(tǒng)形式的自博弈——讓不同個(gè)體彼此競(jìng)爭(zhēng)——其實(shí)只能培養(yǎng)少數(shù)特定技能。它的適用范圍過于狹窄，只對(duì)談判、沖突處理、社交互動(dòng)、策略制定之類的能力有幫助。如果你看重這些技能，自博弈當(dāng)然有價(jià)值。

實(shí)際上，我認(rèn)為自博弈已經(jīng)找到了新的歸宿，只是形式不同。例如辯論機(jī)制、證明者–驗(yàn)證者機(jī)制，它們都包含某種「由LLM擔(dān)任裁判」的結(jié)構(gòu)，裁判的目標(biāo)是發(fā)現(xiàn)你的錯(cuò)誤。雖然這未必是嚴(yán)格意義上的自博弈，但確實(shí)是一種相關(guān)的對(duì)抗式機(jī)制。

更一般地說，自博弈其實(shí)是主體之間更廣泛競(jìng)爭(zhēng)的一種特例。在競(jìng)爭(zhēng)環(huán)境里，自然的反應(yīng)就是追求差異化。

如果你把多個(gè)主體放在一起，讓他們都嘗試解決同一個(gè)問題，并觀察彼此的做法，他們會(huì)產(chǎn)生這樣的想法：「其他主體都在用這種方法；我是否有必要換一種完全不同的方式？」

因此，我認(rèn)為類似的機(jī)制也能激勵(lì)主體發(fā)展出多樣化的方法。

研究品味

Dwarkesh Patel

最后一個(gè)問題：什么是「研究品味」？你被廣泛認(rèn)為是AI領(lǐng)域品味極高的研究者，曾參與過AlexNet、GPT-3等深刻影響歷史的成果。你的研究品味是什么？你是如何產(chǎn)生那些想法的？

Ilya Sutskever

我可以分享一些自己的看法。不同研究者的方法各不相同，而對(duì)我而言，一個(gè)始終指引我的原則是：AI應(yīng)當(dāng)具有怎樣的「美學(xué)特征」。

這意味著要思考人類本質(zhì)，但要以一種正確的方式思考。我們很容易誤解什么是「人類本質(zhì)」，那么什么才是「正確理解」呢？

舉幾個(gè)例子。人工神經(jīng)元的概念直接源自大腦，而且這是一個(gè)極好的想法。為什么？大腦有很多結(jié)構(gòu)，比如褶皺，但那些可能并不關(guān)鍵；真正重要的是神經(jīng)元數(shù)量龐大。

因此我們也需要大量神經(jīng)元，需要某種局部學(xué)習(xí)規(guī)則去更新連接，因?yàn)榇竽X似乎也是這樣運(yùn)作的。

再比如分布式表征。大腦會(huì)根據(jù)經(jīng)驗(yàn)改變自身，因此神經(jīng)網(wǎng)絡(luò)也應(yīng)該從經(jīng)驗(yàn)中學(xué)習(xí)。這不只是模擬，而是要追問：這些特征究竟是本質(zhì)性的，還是偶然的？它們是否反映了「智能的根基」？

正是這種追問，在很大程度上指導(dǎo)了我的研究。

我傾向于從多個(gè)角度尋找「純粹的美」——美、簡(jiǎn)潔、優(yōu)雅，以及來自大腦的正確靈感。丑陋的東西沒有容身之處。如果缺乏這些元素，我就不會(huì)感到踏實(shí)；這些元素越齊全，我越能建立自上而下的信念。

這種自上而下的信念，是當(dāng)實(shí)驗(yàn)結(jié)果與你的直覺相矛盾時(shí)支撐你的力量。如果總是完全依賴數(shù)據(jù)，你可能會(huì)在正確的方向上因?yàn)橐粋€(gè)未知漏洞而被絆倒，卻不知道應(yīng)該堅(jiān)持還是放棄。

那么你如何判斷？如何知道是繼續(xù)調(diào)試，還是該換方向？這時(shí)候，自上而下的信念就變得至關(guān)重要。

它告訴你：「事情應(yīng)該是這樣的。這樣的路徑必須能奏效，我們必須堅(jiān)持。」這種信念來自你對(duì)大腦的理解、對(duì)美和簡(jiǎn)潔的偏好、來自多方面的直覺與靈感。

它會(huì)在真正關(guān)鍵的時(shí)刻起作用。