Pine 蕭簫 金磊 發(fā)自 凹非寺

量子位 | 公眾號(hào) QbitAI

“AI確實(shí)可能殺死人類?！?/p>

(相關(guān)資料圖)

這話并非危言聳聽，而是OpenAI CEO奧特曼的最新觀點(diǎn)。

而這番觀點(diǎn)，是奧特曼在與MIT研究科學(xué)家Lex Fridman長達(dá)2小時(shí)的對(duì)話中透露。

不僅如此，奧特曼談及了近期圍繞ChatGPT產(chǎn)生的諸多問題，坦承就連OpenAI團(tuán)隊(duì)，也根本沒搞懂它是如何“進(jìn)化”的：

從ChatGPT開始，AI出現(xiàn)了推理能力。但沒人能解讀這種能力出現(xiàn)的原因。

唯一的途徑是向ChatGPT提問，從它的回答中摸索它的思路。

針對(duì)馬斯克在推特上的“危險(xiǎn)論”，他直言：

馬斯克在我心中是英雄，我支持也理解他的擔(dān)憂。

雖然他在推特上挺混蛋的，但希望馬斯克能看到我們?cè)诮鉀QAGI安全問題上付出了多大的努力。

除此之外，在這場(chǎng)對(duì)話過程中，奧特曼還提到了不少刁鉆的話題，例如：

ChatGPT、GPT-4開發(fā)的內(nèi)幕

GPT-4是人類迄今所實(shí)現(xiàn)的最復(fù)雜的軟件

如何看待大家拿ChatGPT越獄

……

在看過這場(chǎng)對(duì)話之后，網(wǎng)友直呼：

兩位AI大佬用大家都能理解的方式聊AI，多來點(diǎn)這樣的訪談。

那么接下來，我們就來一同看下他們這場(chǎng)深度對(duì)話。

GPT-4內(nèi)幕大曝光

GPT-4是這場(chǎng)對(duì)話中最受關(guān)注的部分。

它是如何訓(xùn)練的？如何在訓(xùn)練模型時(shí)避免浪費(fèi)算力？如何解決AI回答不同價(jià)值觀的人的問題？

首先是訓(xùn)練過程，依舊是預(yù)訓(xùn)練+RLHF，不過透露了一點(diǎn)具體細(xì)節(jié)。

GPT-4早在去年夏天就已經(jīng)訓(xùn)練完成，后面一直在進(jìn)行對(duì)齊工作，讓它表現(xiàn)得更符合人類需求。

相比預(yù)訓(xùn)練數(shù)據(jù)集，RLHF所用的數(shù)據(jù)非常少，但效果是決定性的。

對(duì)此，奧特曼透露了一點(diǎn)數(shù)據(jù)來源，包含一些開源數(shù)據(jù)集、以及合作商提供的部分?jǐn)?shù)據(jù)集。

當(dāng)然，數(shù)據(jù)集中也有一點(diǎn)Reddit論壇上出現(xiàn)的迷因梗（meme），但不是很多。對(duì)此奧特曼遺憾表示：

如果再多點(diǎn)，它的回答可能會(huì)更有趣。

即便如此，團(tuán)隊(duì)甚至奧特曼自己依舊不能完全解讀GPT-4。

目前對(duì)它的解讀方式，依舊是通過不斷問它問題，通過它的回答來判斷它的“思路”。

而就在不斷測(cè)試中，OpenAI發(fā)現(xiàn)從ChatGPT開始，GPT系列出現(xiàn)了推理能力。

雖然ChatGPT絕大部分時(shí)候都被當(dāng)做數(shù)據(jù)庫使用，但它確實(shí)也出現(xiàn)了一定的推理能力，至于這種能力具體如何出現(xiàn)的，目前卻無人能回答。

但大模型的訓(xùn)練往往意味著大量算力需求。對(duì)此奧特曼再次提到了OpenAI獨(dú)特的訓(xùn)練預(yù)測(cè)方法：

即便模型很大，團(tuán)隊(duì)目前也有辦法只通過部分訓(xùn)練，預(yù)測(cè)整個(gè)模型的性能，就像是預(yù)測(cè)一名1歲的嬰兒能否通過SAT考試一樣。

關(guān)于這一點(diǎn)，在GPT-4論文和官方博客中也有更詳細(xì)介紹。

最后奧特曼承認(rèn)，GPT-4確實(shí)存在應(yīng)對(duì)不同價(jià)值觀的人的問題。

臨時(shí)解決辦法就是把更改系統(tǒng)消息（system message）的權(quán)限開放給用戶，也就是ChatGPT中經(jīng)常見到的那段“我只是一個(gè)語言模型……”。

通過改變系統(tǒng)消息，GPT-4會(huì)更容易扮演其中規(guī)定的角色，比在對(duì)話中提出要求的重視程度更高，如規(guī)定GPT-4像蘇格拉底一樣說話，或者只用JSON格式回答問題。

所以，對(duì)于GPT系列來說，誰最可能載入人工智能史冊(cè)？奧特曼倒不認(rèn)為是GPT-4：

從可用性和RLHF來看，ChatGPT無疑是最具里程碑的那一個(gè)，背后的模型沒有產(chǎn)品的實(shí)用性重要。

最會(huì)打太極的CEO

GPT-4論文中沒有透露參數(shù)規(guī)模、訓(xùn)練數(shù)據(jù)集大小等更多細(xì)節(jié)，還被外界吐槽越來越不Open了。

在這次訪談中，面對(duì)主持人步步追問，奧特曼依舊守口如瓶。

GPT-4預(yù)訓(xùn)練數(shù)據(jù)集有多大？奧特曼只是很籠統(tǒng)的介紹了有公開數(shù)據(jù)集、有來自合作伙伴的內(nèi)容（如GitHub提供的代碼）還有來自網(wǎng)絡(luò)的內(nèi)容。

活像ChatGPT也能寫出來的那種賽博八股文，只有在談到Reddit的時(shí)候透露了網(wǎng)絡(luò)梗圖在訓(xùn)練數(shù)據(jù)中占比不大，“不然ChatGPT可能更有趣一些”。

GPT-4模型參數(shù)量有多大？奧特曼只是說之前瘋傳的100萬億參數(shù)是謠言，然后又糊弄過去了。

我認(rèn)為人們被參數(shù)競(jìng)賽所吸引，就像過去被CPU的主頻競(jìng)賽所吸引一樣。現(xiàn)在人們不再關(guān)心手機(jī)處理器有多少赫茲了，關(guān)心的是這東西能為你做什么。

不過奧特曼對(duì)于一種說法是持有肯定態(tài)度——“GPT-4是人類迄今所實(shí)現(xiàn)的最復(fù)雜的軟件”。

但在主持人Lex突然拋出一些時(shí)下針對(duì)GPT-4的尖銳觀點(diǎn)時(shí)，奧特曼的應(yīng)對(duì)也堪稱“AI般淡定”（狗頭）。

例如，關(guān)于前段時(shí)間鬧得沸沸揚(yáng)揚(yáng)的GPT-4越獄問題。

一名斯坦福教授僅僅用30分鐘，就誘導(dǎo)GPT-4制定出了越獄計(jì)劃，并全部展示了出來。

對(duì)此奧特曼表示，就如同當(dāng)年iPhone也面臨被“黑”或者說越獄的問題（如當(dāng)年免費(fèi)的越獄版App Store）一樣，這并非不能解決的事情。

奧特曼甚至坦承，他當(dāng)年就把自己的第一臺(tái)蘋果手機(jī)越獄了——甚至當(dāng)時(shí)覺得這是個(gè)很酷的事情。

但現(xiàn)在已經(jīng)沒有多少人去干蘋果越獄的事情了，因?yàn)椴辉姜z也足夠好用了。

奧特曼表示，OpenAI的應(yīng)對(duì)思路同樣如此，即把功能做的足夠強(qiáng)，他甚至表示，愿意在這方面給用戶開更多權(quán)限，以便了解他們到底想要什么。

除此之外，Lex還提到了馬斯克對(duì)于奧特曼的批評(píng)。

奧特曼雖然是當(dāng)年被馬斯克一手提拔的人才，但如今馬斯克不僅退出了他們聯(lián)手創(chuàng)辦的OpenAI，還對(duì)OpenAI現(xiàn)狀十分不滿，經(jīng)常在推特上陰陽怪氣這家公司。

我捐1億美金成立的非營利組織怎么就變成一個(gè)300億市值的營利性公司了呢？如果這是合法的，為什么其他人不這樣做？

作為OpenAI現(xiàn)任CEO，奧特曼并未直接回應(yīng)此事，而是調(diào)侃了一下馬斯克在航天領(lǐng)域也經(jīng)常被“老前輩”們批評(píng)的事情。

這一系列采訪問答，不禁讓人想到在ChatGPT發(fā)布后，奧特曼對(duì)于記者“將ChatGPT整合進(jìn)微軟必應(yīng)和Office”問題的回應(yīng)方式：

你知道我不能對(duì)此發(fā)表評(píng)論。我知道你知道我不能對(duì)此發(fā)表評(píng)論。你知道我知道你知道我不能對(duì)此發(fā)表評(píng)論。

既然如此，為什么你還要問它呢？

GPT的“偏見”不會(huì)消失

GPT在迭代過程中“偏見”必然存在，它不可能保持完全中立。

在主持人提到關(guān)于ChatGPT以及GPT-4種存在的偏見問題時(shí)，奧特曼這樣回應(yīng)道。

ChatGPT在推出之初，就不是一個(gè)成熟的產(chǎn)品，它需要不斷迭代，而在迭代的過程中，僅僅依靠內(nèi)部的力量是無法完成的。

“提前”推出ChatGPT技術(shù)，是要借助外部世界的集體智慧和能力，同時(shí)也能讓全世界參與進(jìn)“塑造AI”的過程中。

而不同人對(duì)于問題的看法也各不相同，所以在這個(gè)過程中，“偏見”問題就不可避免。

甚至奧特曼在話里話外也透露著：在GPT中，“偏見”永遠(yuǎn)不會(huì)消失。

他將外部參與建設(shè)GPT比作“公開領(lǐng)域建設(shè)的權(quán)衡”。

GPT生成答案是個(gè)性化控制的結(jié)果，迭代的過程則是更精準(zhǔn)地控制“個(gè)性化”的過程。

有趣的是，期間奧特曼還暗戳戳“背刺”起了馬斯克的推特：

推特摧毀掉的多元性，我們正在將其找回來。

（嗯，奧特曼是懂一些話術(shù)的）

當(dāng)然，談到ChatGPT，總繞不開其背后的公司OpenAI，在成立之初，它就立下了兩個(gè)Flag：

1、非營利性

2、通用人工智能（AGI）

如今，已經(jīng)過去八年之久，這兩個(gè)Flag也是發(fā)生了巨大的變化：AGI的大旗還在高舉，而非營利性這面旗則已經(jīng)搖搖欲墜。

對(duì)此，奧特曼也是分別作出了回應(yīng)。

對(duì)于OpenAI“非營利性質(zhì)”的逐漸削弱，奧特曼直言：很久之前，就已經(jīng)意識(shí)到非營利性不是長久之計(jì)。

僅僅依靠非營利籌集到的資金對(duì)OpenAI的研究來說遠(yuǎn)遠(yuǎn)不夠，商業(yè)化是必然選擇。

但在之后奧特曼也試圖“找補(bǔ)”回一些，稱目前的商業(yè)化的程度僅止于滿足投資者與員工的固定回報(bào)，剩余資金還是會(huì)流向非營利性組織。

提到AGI，一開始在OpenAI聲稱要做通用人工智能時(shí)，還有一堆人在嘲諷，如今做出GPT-4這樣的產(chǎn)品，回過頭來再看，嘲諷的聲音已經(jīng)越來越少了。

而面對(duì)外界詢問“GPT-4是AGI嗎”這樣的問題時(shí)，奧特曼則是直接給出了自己理解中的AGI：

AGI所掌握的知識(shí)應(yīng)該是要超過人類科學(xué)知識(shí)總和的，并且具有創(chuàng)造性，能夠推動(dòng)基礎(chǔ)科學(xué)的發(fā)展；

而目前所有GPT并不能做到這些，想要達(dá)到AGI還需要在目前GPT的范式上進(jìn)行拓展，至于如何拓展，正是目前所缺乏的。

值得一提的是，談到AGI時(shí)，是奧特曼在訪談中鮮有的“兩眼放光”的時(shí)刻。

他拋出了一句極具“科研分子理想情懷”的金句：

也許AGI是永遠(yuǎn)抵達(dá)不了的烏托邦，但這個(gè)過程會(huì)讓人類越來越強(qiáng)大。

但奧特曼并不否認(rèn)過分強(qiáng)大的AGI“可能殺死人類”這一觀點(diǎn)：

我必須承認(rèn)，（AI殺死人類）有一定可能性。

很多關(guān)于AI安全和挑戰(zhàn)的預(yù)測(cè)被證明是錯(cuò)誤的，我們必須正視這一點(diǎn)，并盡早嘗試找到解決問題的方法。

One More Thing

在談話最后，Lex Fridman還試圖讓奧特曼講一些給年輕人們的建議，奧特曼直接來了個(gè)“反雞湯文學(xué)”：

網(wǎng)絡(luò)上的“成功學(xué)”帖子太誘人，建議不要聽太多建議。

我就是無視建議做到現(xiàn)在這樣的。

關(guān)鍵詞：