·“像ChatGPT，它確實(shí)沒(méi)有什么學(xué)術(shù)價(jià)值，但它就是有實(shí)際的應(yīng)用價(jià)值。以前我們過(guò)于本末倒置了，總覺(jué)得AI跟做研究等同。其實(shí)研究是服務(wù)于AI，研究是個(gè)手段，不是目的，AI才是目的。”

·“原本以為我們只是差頂尖做理論研究、原創(chuàng)性研究的大師，但忽視了在?年研究者跟工程師之間，還有一層是用工程能力做模型的一群人，而我接下來(lái)也想在中國(guó)將這層的能力補(bǔ)齊?！?/span>

ChatGPT出來(lái)以后，張家興意識(shí)到，自然語(yǔ)言處理（NLP）大模型的范式變化了。

(資料圖片僅供參考)

作為粵港澳大灣區(qū)數(shù)字經(jīng)濟(jì)研究院（IDEA研究院）的認(rèn)知計(jì)算與自然語(yǔ)言研究中心講席科學(xué)家，張家興帶領(lǐng)團(tuán)隊(duì)創(chuàng)建了中文最大的開(kāi)源預(yù)訓(xùn)練模型體系“封神榜”。2022年10月， IDEA封神榜團(tuán)隊(duì)因提出解決零樣本分類問(wèn)題的新方案——僅利用億級(jí)參數(shù)量的模型就戰(zhàn)勝了千億參數(shù)模型的效果，而廣受討論。

“封神榜預(yù)訓(xùn)練模型體系還擁有世界上最先進(jìn)的信息抽取億級(jí)參數(shù)模型，其非常復(fù)雜的結(jié)構(gòu)，可以在沒(méi)有任何訓(xùn)練樣本的情況下，用一句話就能進(jìn)行任何信息的抽取，效果非常好。”張家興對(duì)澎湃科技表示。

然而，當(dāng)ChatGPT出現(xiàn)后，其通用性表現(xiàn)比封神榜體系的模型強(qiáng)很多。“我們就知道范式變化了?！睆埣遗d說(shuō)，“這就意味著在NLP領(lǐng)域，將不再需要為每類任務(wù)都專?做一個(gè)很復(fù)雜的模型結(jié)構(gòu)，而通過(guò)像GPT這樣的通用模型，使用一些更先進(jìn)的訓(xùn)練方法就能讓其具備很強(qiáng)的能力?！?/p>

中國(guó)的AI發(fā)展缺了一層

在ChatGPT出現(xiàn)后的很?時(shí)間內(nèi)，國(guó)內(nèi)的反思多集中在一個(gè)問(wèn)題上——為什么中國(guó)沒(méi)有出現(xiàn)OpenAI這樣的公司?

“其實(shí)在大家討論這個(gè)話題之前，如果我們稍微往前回想5年、10年，上一個(gè)話題就是中國(guó)為什么出不了Geoff Hinton、Yann LeCun這樣的（人工智能界）大師。以前我們焦慮于自己只是在做AI最上面的應(yīng)用，而別人在提供最基礎(chǔ)的理論?！睆埣遗d說(shuō)，“隨著我們逐漸追趕，現(xiàn)在世界上AI領(lǐng)域的論文，幾乎一半都有中國(guó)人參與。從量變到質(zhì)變積累，其實(shí)相信再過(guò)十年、幾十年中國(guó)也會(huì)出現(xiàn)這樣的大師。但還沒(méi)等走到這一步，我們突然發(fā)現(xiàn)AI這個(gè)領(lǐng)域變天了?！?/p>

張家興指的是以O(shè)penAI為代表的這類公司出現(xiàn)，聚集了一批更年輕的人，不是發(fā)明一些方法寫(xiě)一篇論文占據(jù)學(xué)術(shù)研究的位置，而是集大家的力量把AI工程化。通過(guò)積累預(yù)訓(xùn)練模型，不斷沉淀打磨，從塔底掀翻了整個(gè)AI產(chǎn)業(yè)的金字塔。

談到這一點(diǎn)，張家興感嘆道，“這看起來(lái)似乎是中國(guó)更擅?的路徑。中國(guó)在兩層特別強(qiáng)，一層是上面說(shuō)的第二梯隊(duì)的?年研究者；另一層是工程師，無(wú)論在國(guó)內(nèi)還是硅谷，華人工程師都非常多。原本以為我們只是差頂尖做理論研究、原創(chuàng)性研究的大師，但忽視了在?年研究者跟工程師之間，還有一層是用工程能力做模型的一群人，而我接下來(lái)也想在中國(guó)將這層的能力補(bǔ)齊?！?/p>

“像ChatGPT，它確實(shí)沒(méi)有什么學(xué)術(shù)價(jià)值，但它就是有實(shí)際的應(yīng)用價(jià)值。以前我們過(guò)于本末倒置了，總覺(jué)得AI跟做研究等同。其實(shí)研究是服務(wù)于AI，研究是個(gè)手段，不是目的，AI才是目的?！睆埣遗d說(shuō)。

應(yīng)站在OpenAI的位置思考AI的未來(lái)

ChatGPT引起的AI熱潮并非是表面錦繡。

“我想最重要的是讓我們看到了通用人工智能(AGI，Artificial General Intelligence)路線的可能性?！盇GI更具體而言，他指的是“一個(gè)聚集了各種AI能力，甚至包括自主學(xué)習(xí)能力的智能體”。

2月24日，OpenAI發(fā)布AGI路線圖。短期內(nèi)，OpenAI要為AGI做好三項(xiàng)準(zhǔn)備:

第一，通過(guò)快速部署AGI以積累相應(yīng)應(yīng)用經(jīng)驗(yàn)，大眾需要親身體驗(yàn)這項(xiàng)技術(shù)的優(yōu)缺點(diǎn)，公司和機(jī)構(gòu)也需要考慮如何限制惡意行為者、避免對(duì)社會(huì)和經(jīng)濟(jì)造成不良影響等問(wèn)題。

第二，努力創(chuàng)建更加一致和可控的模型，從GPT-3到InstructGPT和ChatGPT的轉(zhuǎn)變就是例子，社會(huì)確定使用人工智能的廣泛界限，在界限內(nèi)，個(gè)人用戶擁有自由裁量權(quán)。

第三，希望就三個(gè)關(guān)鍵問(wèn)題展開(kāi)全球?qū)υ?如何治理這些系統(tǒng)，如何公平分配它們產(chǎn)生的收益，以及如何公平共享訪問(wèn)權(quán)限。

長(zhǎng)期而言，OpenAI認(rèn)為，第一個(gè)AGI只是人工智能持續(xù)發(fā)展中的一個(gè)小節(jié)點(diǎn)。AI的發(fā)展可能會(huì)在很?一段時(shí)間內(nèi)，保持我們?cè)谶^(guò)去十年中看到的進(jìn)展速度。如果這是真的，世界可能會(huì)變得與今天截然不同，?險(xiǎn)可能會(huì)非常大?！俺晒^(guò)渡到一個(gè)擁有超級(jí)智能的世界可能是人類歷史上最重要、最有希望，但也最可怕的項(xiàng)目。”O(jiān)penAI在文章的最后寫(xiě)道。

最近，新的故事開(kāi)始被講述，多家科技公司稱要做中國(guó)的OpenAI，類ChatGPT大模型的研發(fā)被提上重要日程。但其實(shí)，每個(gè)人都清楚，這并非一日之功。

OpenAI在GPT-3的論文中寫(xiě)道，GPT-3訓(xùn)練一次的費(fèi)用是460萬(wàn)美元，訓(xùn)練時(shí)間為355個(gè)GPU年（一塊GPU運(yùn)行355年的運(yùn)算量），總成本據(jù)悉達(dá)到1200萬(wàn)美元。由于代價(jià)高昂，論文稱出現(xiàn)BUG時(shí)無(wú)法再重新進(jìn)行訓(xùn)練。

據(jù)英偉達(dá)估算，如果用8張V100顯卡訓(xùn)練GPT-3，訓(xùn)練時(shí)?預(yù)計(jì)要36年;用512張V100需要將近7個(gè)月;如果擁有1024張80GB的A100，那么完整訓(xùn)練GPT-3的時(shí)?可以縮減到1個(gè)月。

對(duì)這樣一波浪潮該如何反應(yīng)?

在張家興看來(lái)，要追趕，更好的做法可能不是看別人做了什么去復(fù)現(xiàn)，而是把心態(tài)先擺平，在相同的位置去思考AI的未來(lái)在哪，尤其是要想明白AI跟研究誰(shuí)是手段，誰(shuí)是目的。

“如果僅以ChatGPT為目標(biāo)，跟在后面復(fù)制，那也不叫超越而是跟隨。只有你站在OpenAI相同的位置思考未來(lái)，才有超越的可能性，我們拼的是下一次AGI的突破。”張家興說(shuō)。

關(guān)鍵詞： chatgpt 人工智能