沒有好問題，就沒有好答案：

為什么OpenAI的成立初衷就要與谷歌競(jìng)爭(zhēng)？

微軟看重了OpenAI技術(shù)的哪些價(jià)值？

(資料圖)

OpenAI 人數(shù)少、資源少，為什么能勝出？

讓計(jì)算機(jī)像人一樣說人話，是在計(jì)算機(jī)發(fā)明之前的夢(mèng)想。

雖然早在1966年，MIT的教授約瑟夫·維森班（Joseph Weizenbaum）就開發(fā)了第一個(gè)聊天程序 ELIZA，50多年后，還陸續(xù)出現(xiàn)了更先進(jìn)的微軟小冰、Siri等聊天程序。但直到現(xiàn)在，計(jì)算機(jī)還沒能像真人一樣聊天。

1950年，計(jì)算機(jī)科學(xué)之父艾倫·圖靈(Alan Turing)發(fā)表了具有里程碑意義的論文《電腦能思考嗎？》，第一次提出“機(jī)器思維”的概念。也就是所謂的圖靈測(cè)試。他說，如果一臺(tái)機(jī)器能夠與人類展開對(duì)話，而不被辨別出其機(jī)器身份，那么可以說這臺(tái)機(jī)器具有智能。

從那時(shí)開始，72年來，人類一直在試圖解決這個(gè)問題。

6月8日，英國(guó)雷丁大學(xué)在著名的倫敦皇家學(xué)會(huì)舉辦了一場(chǎng)“圖靈測(cè)試”。當(dāng)天測(cè)試中，一組人類裁判以鍵盤輸入的形式與電腦“對(duì)話”。如果裁判認(rèn)定電腦為人的比例超過30％，則電腦通過測(cè)試。5個(gè)參賽電腦程序之一的“尤金·古茲曼”成功“偽裝”成一名13歲男孩，在一次時(shí)間為5分鐘的文字交流中，回答了裁判輸入的所有問題，其中33％的回答讓裁判認(rèn)為與他們對(duì)話的是人而非機(jī)器。

有人說，這個(gè)程序通過了圖靈測(cè)試，成為有史以來第一個(gè)具有人類思考能力的人工智能。

也有人質(zhì)疑，這個(gè)測(cè)試的提問時(shí)間少，裁判少，嚴(yán)格來說，不能算通過了圖靈測(cè)試。

大家的共識(shí)是，到目前為止，還沒有任何人工智能通過了圖靈測(cè)試，而最接近通過圖靈測(cè)試的就是ChatGPT。

許多人認(rèn)為，對(duì)ChatGPT這個(gè)每天都在跟人對(duì)話中學(xué)習(xí)的AI來說，通過圖靈測(cè)試應(yīng)該只是時(shí)間問題。

ChatGPT是什么？

2022 年 11 月 30 日，OpenAI 的CEO，Altman 在推特上寫道：“今天我們推出了 ChatGPT，嘗試在這里與它交談”，然后是一個(gè)鏈接，任何人都可以注冊(cè)一個(gè)帳戶，開始免費(fèi)與 OpenAI 的新聊天機(jī)器人 ChatGPT 交談。

ChatGPT 能夠回答連續(xù)的問題、生成文本摘要、翻譯文檔、對(duì)信息分類、寫代碼等，它也會(huì)承認(rèn)錯(cuò)誤、質(zhì)疑不正確的前提并拒絕不恰當(dāng)?shù)恼?qǐng)求。

ChatGPT 看起來什么都懂，就像個(gè)百科全書。由于其流暢的回答，豐富的知識(shí)，給參與者極大的震撼。但它并不完美，也會(huì)產(chǎn)生讓人啼笑皆非的錯(cuò)誤，帶來莫名的喜感。

在24小時(shí)內(nèi)，一大群人涌入網(wǎng)站，給 ChatGPT提了各種要求。軟件 CEO 兼工程師 Amjad Masad 要求它調(diào)試他的代碼，它做到了。美食博主兼網(wǎng)紅Gina Homolka用它寫了一份健康巧克力曲奇的食譜。Scale AI 的工程師 Riley Goodside 要求它為Seinfeld劇集編寫劇本。Guy Parsons 是一名營(yíng)銷人員，他還經(jīng)營(yíng)著一家致力于 AI 藝術(shù)的在線畫廊，他讓它為他編寫提示，以輸入另一個(gè) AI 系統(tǒng)Midjourney，從文本描述創(chuàng)建圖像。斯坦福大學(xué)醫(yī)學(xué)院的皮膚科醫(yī)生 Roxana Daneshjou 在研究 AI 在醫(yī)學(xué)上的應(yīng)用，它提出了醫(yī)學(xué)問題，許多學(xué)生用它來做作業(yè)......。

以前也出現(xiàn)過很多聊天機(jī)器人，但都不是這樣的。ChatGPT 可以進(jìn)行長(zhǎng)時(shí)間、流暢的對(duì)話，回答問題，并撰寫人們要求的幾乎任何類型的書面材料，包括商業(yè)計(jì)劃、廣告活動(dòng)、詩歌、笑話、計(jì)算機(jī)代碼和電影劇本。ChatGPT 會(huì)在一秒內(nèi)生成這些內(nèi)容，用戶無須等待，而且它生成的很多內(nèi)容都還不錯(cuò)。

在ChatGPT發(fā)布后的五天內(nèi)，就有超過100萬的玩家，這是Facebook花了 10 個(gè)月才達(dá)到的里程碑。

自從 ChatGPT 出現(xiàn)后。突然之間，每個(gè)人都在談?wù)撊斯ぶ悄苋绾晤嵏菜麄兊墓ぷ鳌⒐?、學(xué)校和生活。

ChatGPT 是相關(guān)人工智能技術(shù)浪潮的一部分，這些技術(shù)統(tǒng)稱為“生成式人工智能”——其中還包括熱門的藝術(shù)生成器，如 Midjourney 和 Lensa。OpenAI處于科技行業(yè)下一件大事件的最前沿，具有初創(chuàng)公司史詩般的標(biāo)志，包括全明星陣容和狂熱的投資者，據(jù)報(bào)道，該公司的估值達(dá)到 290 億美元。

2022年12月4日，埃隆·馬斯克 (Elon Musk)發(fā)了一條推文，他說：“ChatGPT有一種讓人毛骨悚然的厲害，我們離危險(xiǎn)的強(qiáng)大人工智能已經(jīng)不遠(yuǎn)了。”

埃隆·馬斯克在Twitter上對(duì)ChatGPT的評(píng)價(jià)

ChatGPT 由 GPT-3.5 模型提供支持，GPT（Generative Pre-trained Transformer ，生成式預(yù)訓(xùn)練變換器) 是一種基于互聯(lián)網(wǎng)可用數(shù)據(jù)訓(xùn)練的文本生成深度學(xué)習(xí)模型。名字中之所以有一個(gè)Transformer，是因?yàn)镚PT就是OpenAI在谷歌的Transformer語言模型框架的基礎(chǔ)上構(gòu)建的。

該模型使用了 " 利用人類反饋強(qiáng)化學(xué)習(xí)(RLHF)" 的訓(xùn)練方式,包括了：人類提問機(jī)器答、機(jī)器提問人類回答，并且不斷迭代，讓模型逐漸有了對(duì)生成答案的評(píng)判能力。

在ChatGPT出現(xiàn)之前，大眾對(duì)OpenAI的了解很少，這家公司就好像突然出現(xiàn)的一樣，它到底是什么來歷？

實(shí)際上，OpenAI的創(chuàng)始人有很多是的IT巨頭的創(chuàng)始人，可以說是全明星陣容。

2015年12月，OpenAI創(chuàng)立

2015年12月，OpenAI公司于美國(guó)舊金山成立。說來有趣，OpenAI成立的一個(gè)原因就是避免谷歌在人工智能領(lǐng)域的壟斷。這個(gè)想法起源于Altman發(fā)起的一次主題晚宴，當(dāng)時(shí)他是著名創(chuàng)業(yè)孵化器 Y Combinator 的負(fù)責(zé)人。

Sam Altman 是一位年輕的企業(yè)家和風(fēng)險(xiǎn)投資家，他曾在斯坦福大學(xué)讀計(jì)算機(jī)科學(xué)專業(yè)，后來退學(xué)去創(chuàng)業(yè)。他創(chuàng)立的 Loopt ，是一個(gè)基于地理位置的社交網(wǎng)絡(luò)公司。2005年該公司進(jìn)入Y Combinator的首批創(chuàng)業(yè)公司。雖然 Loopt 未能成功，但 Altman 把公司賣掉了，用賺到的錢進(jìn)入了風(fēng)險(xiǎn)投資領(lǐng)域，做得相當(dāng)成功。后來，Y Combinator 的聯(lián)合創(chuàng)始人保羅·格雷厄姆 (Paul Graham) 和利文斯頓 (Livingston) 聘請(qǐng)他作為格雷厄姆的繼任者來管理 YC。

OpenAI的CEO Sam Altman

2015 年 7 月的一個(gè)晚上，Altman在 Rosewood Sand Hill 舉辦了一場(chǎng)私人晚宴，這是一家豪華的牧場(chǎng)風(fēng)格酒店，位于門洛帕克硅谷風(fēng)險(xiǎn)投資行業(yè)的中心， 馬斯克（Elon Musk）也在現(xiàn)場(chǎng)，還有26歲的布羅克曼，他是麻省理工學(xué)院（MIT）的輟學(xué)生，曾擔(dān)任支付處理初創(chuàng)公司Stripe的首席技術(shù)官。一些與會(huì)者是經(jīng)驗(yàn)豐富的人工智能研究人員。有些人幾乎不懂機(jī)器學(xué)習(xí)，但他們都相信 AGI 是可行的。

AGI即Artificial general intelligence的簡(jiǎn)寫，指通用人工智能。專注于研制像人一樣思考、像人一樣從事多種用途的機(jī)器智能。目前主流AI（如機(jī)器視覺、語音輸入等）都屬于專用人工智能。

那時(shí)，谷歌剛剛收購(gòu)了一家總部位于倫敦的人工智能公司DeepMind（就是推出了打敗圍棋冠軍的AlphaGo的公司），在Altman、Elon Musk和其他科技業(yè)內(nèi)部人士看來，這是首家最有可能率先開發(fā) AGI 的公司。如果 DeepMind 成功了，谷歌可能會(huì)壟斷這項(xiàng)無所不能的技術(shù)。Rosewood 晚宴的目的是討論組建一個(gè)與谷歌競(jìng)爭(zhēng)的實(shí)驗(yàn)室，以確保這種情況不會(huì)發(fā)生。

說干就干，幾個(gè)月后，OpenAI 就成立了。它旨在成為DeepMind 和谷歌無法做到的一切。它將作為一個(gè)非營(yíng)利組織運(yùn)營(yíng)，明確致力于使先進(jìn)人工智能的好處民主化。它承諾發(fā)布其研究成果，并開源其所有技術(shù)，其對(duì)透明度的承諾體現(xiàn)在其名稱中：OpenAI。

OpenAI 捐助者名冊(cè)令人印象深刻，不僅有特斯拉的創(chuàng)始人馬斯克（Elon Musk），還有全球在線支付平臺(tái) PayPal 的聯(lián)合創(chuàng)始人彼得·蒂爾、Linkedin的創(chuàng)始人里德·霍夫曼、創(chuàng)業(yè)孵化器Y Combinator總裁阿爾特曼（Sam Altman）、Stripe的CTO布羅克曼（Greg Brockman）、Y Combinator 聯(lián)合創(chuàng)始人 Jessica Livingston；還有一些機(jī)構(gòu)，如YC Research，Altman創(chuàng)立的基金會(huì)、印度 IT 外包公司 Infosys和亞馬遜網(wǎng)頁服務(wù)。創(chuàng)始捐助者共同承諾向這個(gè)理想主義的新企業(yè)捐助 10 億美元（盡管根據(jù)稅務(wù)記錄，該非營(yíng)利組織只收到了引人注目的承諾的一小部分）。

OpenAI 也吸引了許多技術(shù)大牛加入，如 Ilya Sutskever, Carlos Virella, James Greene, Wojciech Zaremb等。

這里重點(diǎn)提一下聯(lián)合創(chuàng)始人Ilya Sutskever，他是OpenAI的首席科學(xué)家，在進(jìn)入OpenAI之前，他在谷歌開發(fā) AlphaGo，而在OpenAI，他帶領(lǐng)團(tuán)隊(duì)開發(fā)了GPT、CLIP、DALL-E和Codex等AI模型。

2016年，OpenAI 推出了Gym，這是一個(gè)允許研究人員開發(fā)和比較強(qiáng)化學(xué)習(xí)系統(tǒng)的平臺(tái)，可以教AI做出具有最佳累積回報(bào)的決策。

同年，OpenAI還發(fā)布了Universe，這是一個(gè)能在幾乎所有環(huán)境中衡量和訓(xùn)練 AI 通用智能水平的開源平臺(tái)，目標(biāo)是讓 AI 智能體能像人一樣使用計(jì)算機(jī)。Universe 從李飛飛等人創(chuàng)立的 ImageNet 上獲得啟發(fā)，希望把 ImageNet 在降低圖像識(shí)別錯(cuò)誤率上的成功經(jīng)驗(yàn)引入到通用人工智能的研究上來，取得實(shí)質(zhì)進(jìn)展。OpenAI Universe提供了跨網(wǎng)站和游戲平臺(tái)訓(xùn)練智能代理的工具包，有1000種訓(xùn)練環(huán)境，由微軟、英偉達(dá)等公司參與建設(shè)。

Universe游戲環(huán)境，用于人類模擬器

雖然在創(chuàng)立后，OpenAI一直在推出技術(shù)產(chǎn)品，看起來也有不錯(cuò)的成績(jī)，但跟谷歌沒法比。在那段時(shí)間，谷歌的成績(jī)才是真正輝煌。

2016年3月9日，AlphaGo與圍棋冠軍李世石圍棋大戰(zhàn)，最終以4:1勝出。一年之后，新版的AlphaGo又以3:0戰(zhàn)勝了圍棋冠軍柯潔。之后發(fā)布的AlphaZero更是讓人驚嘆，它在三天內(nèi)自學(xué)了三種不同的棋類游戲，包括國(guó)際象棋、圍棋和日本將軍棋，而且無需人工干預(yù)。這是一種人類從未見過的智慧。

這些成果好像驗(yàn)證了2015年，大家在聚會(huì)上的判斷，谷歌很可能在人工智能領(lǐng)域的形成壟斷地位。確實(shí)，從AlphaGo的成功來看，谷歌已經(jīng)牢牢占住了人工智能的高地，無人可以撼動(dòng)。谷歌還收購(gòu)了十幾家AI公司，投入的資金和資源巨大，成果斐然。

2016年4月，谷歌著名的深度學(xué)習(xí)框架TensorFlow發(fā)布分布式版本；8月，Google發(fā)布基于深度學(xué)習(xí)的NLU框架SyntaxNet； 9月，Google上線基于深度學(xué)習(xí)的機(jī)器翻譯。

而且，谷歌的 CEO 桑德·皮查伊(Sundar Pichai) 在 2016 年 5 月宣布將公司從“移動(dòng)為先”的策略轉(zhuǎn)變成“人工智能為先”（AI First）。并計(jì)劃在公司的每一個(gè)產(chǎn)品上都應(yīng)用機(jī)器學(xué)習(xí)的算法。也就是說，谷歌已經(jīng)開始把人工智能技術(shù)變成了自己的業(yè)務(wù)優(yōu)勢(shì)，去賺錢或者省錢了。

看起來，OpenAI 離戰(zhàn)勝谷歌的預(yù)期目標(biāo)還很遠(yuǎn)。2017年開始，一些人工智能大牛離開了OpenAI，如Ian Goodfellow 和 Pieter Abbeel 等。

OpenAI的前途在哪里呢？

沒想到，OpenAI 決定與谷歌硬碰硬。竟然在谷歌開創(chuàng)的道路上，取得了震驚業(yè)內(nèi)的突破，持續(xù)推出了GPT系列模型，并迅速拓展到多個(gè)富有前景的商業(yè)領(lǐng)域，力壓谷歌一頭。

順便說一下，谷歌的高歌猛進(jìn)讓微軟也很焦慮。微軟雖然也有一些不錯(cuò)的人工智能產(chǎn)品，比如語音識(shí)別，小冰聊天機(jī)器人等，但是還不成體系。

下面我們看看ChatGPT的成長(zhǎng)史，了解它是如何在人工智能技術(shù)的競(jìng)賽中勝出的？

2017年6月，6500萬參數(shù)的 Transformer

2017年6月，谷歌大腦團(tuán)隊(duì)（Google Brain）在神經(jīng)信息處理系統(tǒng)大會(huì)（NeurIPS，該會(huì)議為機(jī)器學(xué)習(xí)與人工智能領(lǐng)域的頂級(jí)學(xué)術(shù)會(huì)議）發(fā)表了一篇名為“Attention is all you need”《自我注意力是你所需要的全部》的論文。作者在文中首次提出了基于自我注意力機(jī)制（self-attention）的變換器（transformer）模型，并首次將其用于理解人類的語言，即自然語言處理。

在這篇文章發(fā)布之前，自然語言處理領(lǐng)域的主流模型是循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN，recurrent neural network）。循環(huán)神經(jīng)網(wǎng)絡(luò)模型的優(yōu)點(diǎn)是，能更好地處理有先后順序的數(shù)據(jù)，它被廣泛的用于自然語言處理中的語音識(shí)別，手寫識(shí)別，時(shí)間序列分析以及機(jī)器翻譯等領(lǐng)域。但這種模型也有不少缺點(diǎn)：在處理較長(zhǎng)序列，例如長(zhǎng)文章、書籍時(shí)，存在模型不穩(wěn)定或者模型過早停止有效訓(xùn)練的問題，以及訓(xùn)練模型時(shí)間過長(zhǎng)的問題。

而論文中提出的Transformer模型，能夠同時(shí)并行進(jìn)行數(shù)據(jù)計(jì)算和模型訓(xùn)練，訓(xùn)練時(shí)長(zhǎng)更短，并且訓(xùn)練得出的模型可用語法解釋，也就是模型具有可解釋性。

最初的變換器（Transformer）模型的架構(gòu)

谷歌大腦團(tuán)隊(duì)使用了多種公開的語言數(shù)據(jù)集來訓(xùn)練最初的Transformer模型，一共有6500萬個(gè)可調(diào)參數(shù)。

經(jīng)過訓(xùn)練后，這個(gè)最初的Transformer模型在包括翻譯準(zhǔn)確度、英語成分句法分析等各項(xiàng)評(píng)分上都達(dá)到了業(yè)內(nèi)第一，成為當(dāng)時(shí)最先進(jìn)的大型語言模型（Large Language Model, LLM），其最常見使用場(chǎng)景就是輸入法和機(jī)器翻譯。

Transformer模型自誕生的那一刻起，就深刻地影響了接下來幾年人工智能領(lǐng)域的發(fā)展軌跡。

因?yàn)楣雀璐竽X團(tuán)隊(duì)在論文中提供了模型的架構(gòu)，任何人都可以用其搭建類似架構(gòu)的模型來并結(jié)合自己手上的數(shù)據(jù)進(jìn)行訓(xùn)練。

于是，Transformer就像其另一個(gè)霸氣的名字“變形金剛”一樣，被更多人研究，并不斷地變化。

短短的幾年里，該模型的影響已經(jīng)遍布人工智能的各個(gè)領(lǐng)域——從各種各樣的自然語言模型、到預(yù)測(cè)蛋白質(zhì)結(jié)構(gòu)的AlphaFold2模型，用的都是它。

2018年6月，1.17億參數(shù)的GPT-1

GPT的問世，是AI進(jìn)化的另一個(gè)偉大的里程碑。

之前的神經(jīng)網(wǎng)絡(luò)模型是有監(jiān)督學(xué)習(xí)的模型，存在兩個(gè)缺點(diǎn)：

需要大量的標(biāo)注數(shù)據(jù)，高質(zhì)量的標(biāo)注數(shù)據(jù)往往很難獲得，因?yàn)樵诤芏嗳蝿?wù)中，圖像的標(biāo)簽并不是唯一的或者實(shí)例標(biāo)簽并不存在明確的邊界；

根據(jù)一個(gè)任務(wù)訓(xùn)練的模型很難泛化到其它任務(wù)中，這個(gè)模型只能叫做“領(lǐng)域?qū)＜摇倍皇钦嬲睦斫饬薔LP。

假如能用無標(biāo)注數(shù)據(jù)訓(xùn)練一個(gè)預(yù)訓(xùn)練模型，就能省時(shí)省力省錢。

GPT-1的思想是先通過在無標(biāo)簽的數(shù)據(jù)上學(xué)習(xí)一個(gè)生成式的語言模型，然后再根據(jù)特定任務(wù)進(jìn)行微調(diào)，處理的有監(jiān)督任務(wù)包括：

自然語言推理：判斷兩個(gè)句子是關(guān)系（包含、矛盾、中立）；

問答和常識(shí)推理：類似于多選題，輸入一個(gè)文章，一個(gè)問題以及若干個(gè)候選答案，輸出為每個(gè)答案的預(yù)測(cè)概率；

語義相似度：判斷兩個(gè)句子是否語義上市是相關(guān)的；

分類：判斷輸入文本是指定的哪個(gè)類別。

將無監(jiān)督學(xué)習(xí)的結(jié)果用于左右有監(jiān)督模型的預(yù)訓(xùn)練目標(biāo)，因此叫做生成式預(yù)訓(xùn)練（Generative Pre-training，GPT）。這種半監(jiān)督學(xué)習(xí)方法，由于用大量無標(biāo)注數(shù)據(jù)讓模型學(xué)習(xí)“常識(shí)”，就無需標(biāo)注信息了。

2018年6月，在谷歌的 Transformer 模型誕生一周年時(shí)，OpenAI公司發(fā)表了論文“Improving Language Understanding by Generative Pre-training”《用生成式預(yù)訓(xùn)練提高模型的語言理解力》，推出了具有1.17億個(gè)參數(shù)的GPT-1（Generative Pre-training Transformers, 生成式預(yù)訓(xùn)練變換器）模型。

GPT-1 使用了經(jīng)典的大型書籍文本數(shù)據(jù)集（BookCorpus）進(jìn)行模型預(yù)訓(xùn)練，之后，又針對(duì)四種不同的語言場(chǎng)景、使用不同的特定數(shù)據(jù)集對(duì)模型進(jìn)行進(jìn)一步的訓(xùn)練（又稱為微調(diào)，fine-tuning）。最終訓(xùn)練所得的模型在問答、文本相似性評(píng)估、語義蘊(yùn)含判定、以及文本分類這四種語言場(chǎng)景，都取得了比基礎(chǔ)Transformer模型更優(yōu)的結(jié)果，成為了新的業(yè)內(nèi)第一。

由于 GPT-1 的誕生，這一年也被稱為NLP（自然語言處理）的預(yù)訓(xùn)練模型元年。

從此以后，自然語言識(shí)別的主流模式就是GPT-1這樣的：先在大量無標(biāo)簽的數(shù)據(jù)上預(yù)訓(xùn)練一個(gè)語言模型，然后再在下游具體任務(wù)上進(jìn)行有監(jiān)督的fine-tune，以此取得還不錯(cuò)的效果。

GPT-1 具體是怎么做的呢？

首先，預(yù)訓(xùn)練模型是用了transformer的decoder部分，利用語言模型的目標(biāo)來訓(xùn)練預(yù)訓(xùn)練模型。

其次，GPT-1 采取預(yù)訓(xùn)練 + FineTuning兩個(gè)階段，它采取Transformer的decoder作為特征抽取器，總共堆疊12個(gè)。

預(yù)訓(xùn)練階段采用“單向語言模型”作為訓(xùn)練任務(wù)，把語言知識(shí)編碼到decoder里。

第二階段，在第一階段訓(xùn)練好的模型基礎(chǔ)上，將預(yù)訓(xùn)練模型學(xué)習(xí)的知識(shí)遷移到下游任務(wù)，適配能力強(qiáng)。GPT-1通過統(tǒng)一的表征形式，對(duì)下游各種任務(wù)只需要很少的適配，具體適配方式就是加不同的任務(wù)分類頭，另外，對(duì)不同任務(wù)的輸入形式做了設(shè)計(jì)。

前面說過，GPT-1 適配的下游任務(wù)有自然語言推斷 NLI（natural language inference），問答QA（question answer），語義匹配（semantic similarity），文本分類（text classification）。

下游任務(wù)適配的過程分兩步：1、根據(jù)任務(wù)定義不同輸入，2、對(duì)不同任務(wù)增加不同的分類層。

具體定義可以參見下圖：

隨著訓(xùn)練次數(shù)的增加，GPT-1的性能也逐漸提升，表明GPT-1有非常強(qiáng)的泛化能力，能夠用到和有監(jiān)督任務(wù)無關(guān)的其它NLP任務(wù)中。對(duì)于下游任務(wù)的訓(xùn)練，GPT-1往往只需要簡(jiǎn)單的微調(diào)便能取得非常好的效果。

GPT-1在未經(jīng)微調(diào)的任務(wù)上雖然也有一定效果，但是其泛化能力遠(yuǎn)遠(yuǎn)低于經(jīng)過微調(diào)的有監(jiān)督任務(wù)，說明了GPT-1只是一個(gè)簡(jiǎn)單的領(lǐng)域?qū)＜?，而非通用的語言學(xué)家。

不管怎樣，GPT-1 贏過了 Transformer，成為了業(yè)界的新標(biāo)桿。OpenAI贏得漂亮！

2018年10月，3億參數(shù)的BERT

2018年10月，谷歌提出3億參數(shù)的BERT（Bidirectional Encoder Representation from Transformers），“來自Transformers的雙向編碼表示”模型。

BERT在機(jī)器閱讀理解頂級(jí)水平測(cè)試SQuAD1.1中表現(xiàn)出驚人的成績(jī): 全部?jī)蓚€(gè)衡量指標(biāo)上全面超越人類，并且在11種不同NLP測(cè)試中創(chuàng)出SOTA表現(xiàn)，包括將GLUE基準(zhǔn)推高至80.4% (絕對(duì)改進(jìn)7.6%)，MultiNLI準(zhǔn)確度達(dá)到86.7% (絕對(duì)改進(jìn)5.6%)，成為NLP發(fā)展史上的里程碑式的模型成就。

據(jù)測(cè)試，在同等參數(shù)規(guī)模下，BERT的效果好于GPT-1，因?yàn)樗请p向模型，可以利用上下文來分析的。而GPT是單向模型，無法利用上下文信息，只能利用上文。

GPT 學(xué)會(huì)了猜測(cè)句子中的下一組單詞。BERT學(xué)會(huì)了猜測(cè)句子中任何地方缺少的單詞。如果你給BERT幾千個(gè)問題和答案，它可以學(xué)會(huì)自己回答其他類似的問題。BERT也可以進(jìn)行對(duì)話。

從閱讀理解方面來看，BERT模型的提升是很大的。在當(dāng)時(shí)的SQuAD競(jìng)賽排行榜上，排在前列的都是BERT模型，基本上，閱讀理解領(lǐng)域已經(jīng)被BERT屠榜了。

谷歌的BERT模型完勝。

2019年2月，15億參數(shù)的GPT-2

2019年2月，OpenAI推出了GPT-2，同時(shí)，他們發(fā)表了介紹這個(gè)模型的論文“Language Models are Unsupervised Multitask Learners” （語言模型是無監(jiān)督的多任務(wù)學(xué)習(xí)者）。

相比于大哥GPT-1，GPT-2并沒有對(duì)原有的網(wǎng)絡(luò)進(jìn)行過多的結(jié)構(gòu)創(chuàng)新與設(shè)計(jì)，只使用了更多的網(wǎng)絡(luò)參數(shù)與更大的數(shù)據(jù)集：最大模型共計(jì)48層，參數(shù)量達(dá)15億。

GPT-2用于訓(xùn)練的數(shù)據(jù)取自于Reddit上高贊的文章，命名為WebText。數(shù)據(jù)集共有約800萬篇文章，累計(jì)體積約40G。為了避免和測(cè)試集的沖突，WebText移除了涉及Wikipedia的文章。

GPT-2 模型是開源的，主要目的是為給定句子生成下一個(gè)文本序列。

假如給定一兩個(gè)句子的文本提示，GPT-2 就能生成一個(gè)完整的敘述。對(duì)一些語言任務(wù)，如閱讀、摘要和翻譯，可以通過 GPT-2 學(xué)習(xí)原始文本，而不需要使用特定領(lǐng)域的訓(xùn)練數(shù)據(jù)。

在性能方面，除了理解能力外，GPT-2 在文本內(nèi)容生成方面表現(xiàn)出了強(qiáng)大的天賦：閱讀摘要、聊天、續(xù)寫、編故事，甚至生成假新聞、釣魚郵件或在網(wǎng)上進(jìn)行角色扮演等，通通不在話下。 在“變得更大”之后，GPT-2 的確展現(xiàn)出了普適而強(qiáng)大的能力，并在多個(gè)特定的語言建模任務(wù)上實(shí)現(xiàn)了那時(shí)的最佳性能。

GPT-2的最大貢獻(xiàn)是驗(yàn)證了通過海量數(shù)據(jù)和大量參數(shù)訓(xùn)練出來的詞向量模型可遷移到其它類別任務(wù)中，而不需要額外的訓(xùn)練。

從本質(zhì)上來說，GPT-2就是一個(gè)簡(jiǎn)單的統(tǒng)計(jì)語言模型。從機(jī)器學(xué)習(xí)的角度，語言模型是對(duì)詞語序列的概率分布的建模，即利用已經(jīng)說過的片段作為條件預(yù)測(cè)下一個(gè)時(shí)刻不同詞語出現(xiàn)的概率分布。語言模型一方面可以衡量一個(gè)句子符合語言文法的程度（例如衡量人機(jī)對(duì)話系統(tǒng)自動(dòng)產(chǎn)生的回復(fù)是否自然流暢），同時(shí)也可以用來預(yù)測(cè)生成新的句子。例如，對(duì)于一個(gè)片段“中午12點(diǎn)了，我們一起去餐廳”，語言模型可以預(yù)測(cè)“餐廳”后面可能出現(xiàn)的詞語。一般的語言模型會(huì)預(yù)測(cè)下一個(gè)詞語是“吃飯”，強(qiáng)大的語言模型能夠捕捉時(shí)間信息并且預(yù)測(cè)產(chǎn)生符合語境的詞語“吃午飯”。

通常，一個(gè)語言模型是否強(qiáng)大主要取決于兩點(diǎn)： 首先看該模型是否能夠利用所有的歷史上下文信息， 上述例子中如果無法捕捉“中午12點(diǎn)”這個(gè)遠(yuǎn)距離的語義信息，語言模型幾乎無法預(yù)測(cè)下一個(gè)詞語“吃午飯”。 其次，還要看是否有足夠豐富的歷史上下文可供模型學(xué)習(xí)，也就是說訓(xùn)練語料是否足夠豐富 。 由于語言模型屬于無監(jiān)督學(xué)習(xí)，優(yōu)化目標(biāo)是最大化所見文本的語言模型概率，因此任何文本無需標(biāo)注即可作為訓(xùn)練數(shù)據(jù)。

GPT-2表明隨著模型容量和數(shù)據(jù)量的增大，其潛能還有進(jìn)一步開發(fā)的空間，但需要繼續(xù)投資才能挖掘潛力。

由于GPT-2的的性能和生成文本能力獲得了很高贊譽(yù)，OpenAI又扳回一局。

2019年3月，OpenAI 重組

因?yàn)?GPT 系列模型的成功，OpenAI 決定再融資幾十億美元來發(fā)展AI，因?yàn)槟Ｐ驮酱?、參?shù)越多、訓(xùn)練AI模型需要的錢也越多，一年花個(gè)幾千萬美元來計(jì)算是剛性開支。而且，人工智能研究人員的薪水也不便宜，稅務(wù)記錄顯示，首席科學(xué)家 Ilya Sutskever 在實(shí)驗(yàn)室的頭幾年，年薪為 190 萬美元。搞AI太費(fèi)錢了！

其實(shí)，早在2017 年 3 月，OpenAI 內(nèi)部就意識(shí)到了這個(gè)問題：保持非營(yíng)利性質(zhì)無法維持組織的正常運(yùn)營(yíng)。因?yàn)橐坏┻M(jìn)行科研研究，要取得突破，所需要消耗的計(jì)算資源每 3～4 個(gè)月要翻一倍，這就要求在資金上對(duì)這種指數(shù)增長(zhǎng)進(jìn)行匹配，而 OpenAI 當(dāng)時(shí)的非盈利性質(zhì)限制也很明顯，還遠(yuǎn)遠(yuǎn)沒達(dá)到自我造血的程度。

Altman在 2019 年對(duì)《連線》雜志表示：“我們要成功完成任務(wù)所需的資金比我最初想象的要多得多。”

燒錢的問題同期也在 DeepMind 身上得到驗(yàn)證。在當(dāng)年被谷歌收購(gòu)以后，DeepMind 短期內(nèi)并沒有為谷歌帶來盈利，反而每年要燒掉谷歌幾億美元，2018 年的虧損就高達(dá) 4.7 億英鎊， 2017 年虧損為 2.8 億英鎊，2016 年虧損為 1.27 億英鎊，燒錢的速度每年大幅增加。好在 DeepMind 有谷歌這棵大樹可靠，谷歌可以持續(xù)輸血。

但是，OpenAI 是非營(yíng)利組織，無法給到投資者商業(yè)回報(bào)，難以獲得更多資金。

雪上加霜的是，作為世界首富的金主爸爸馬斯克也退出了。2018年，在幫助創(chuàng)立該公司三年后，馬斯克辭去了OpenAI董事會(huì)的職務(wù)。原因是為了“消除潛在的未來沖突”，因?yàn)樘厮估瓕Ｗ⒂跓o人駕駛AI，在人才方面存在競(jìng)爭(zhēng)關(guān)系。

怎么辦呢？

Altman和 OpenAI 的其他人的共識(shí)是，為了與谷歌、Meta 和其他科技巨頭競(jìng)爭(zhēng)，實(shí)驗(yàn)室不能繼續(xù)作為非營(yíng)利組織。

2019年3月，OpenAI正式宣布重組，創(chuàng)建新公司OpenAI LP，成為一家“利潤(rùn)上限（caped-profit）”的公司，上限是100倍回報(bào)。這是一種不同尋常的結(jié)構(gòu)，將投資者的回報(bào)限制在其初始投資的數(shù)倍。這也意味著，未來的GPT版本和后續(xù)的技術(shù)成果都將不再開源。

OpenAI團(tuán)隊(duì)分拆后，繼續(xù)保留非營(yíng)利組織的架構(gòu)，由硅谷一線明星組成的非營(yíng)利性董事會(huì)保留對(duì) OpenAI 知識(shí)產(chǎn)權(quán)的控制權(quán)。

雖然回報(bào)上限是100倍，但對(duì)大資本來說，已經(jīng)是非常豐厚了，手握GPT神器的新公司迅速獲得了許多資本的青睞。

2019年5月，當(dāng)時(shí) YC 孵化器的總裁 Sam Altman 辭掉了 YC 的工作，來 OpenAI 做CEO，他的目標(biāo)之一是不斷增加對(duì)計(jì)算和人才方面的投資，確保通用人工智能（AGI）有益于全人類。

大約在這個(gè)時(shí)候，微軟被認(rèn)為在人工智能領(lǐng)域落后于其競(jìng)爭(zhēng)對(duì)手，其首席執(zhí)行官Satya Nadella急切地想證明，他的公司能夠在技術(shù)的最前沿發(fā)揮作用。該公司曾嘗試聘請(qǐng)一位知名的 AI 科學(xué)家，還花費(fèi)了大筆錢來購(gòu)買技術(shù)和算力，但未能成功。而OpenAI正好擁有微軟期望的技術(shù)。Altman 與Nadella 一拍即合。

Sam Altman 與微軟 CEO Satya Nadella

2019年7月，重組后的 OpenAI 新公司獲得了微軟的10億美元投資（大約一半以Azure云計(jì)算的代金券形式）。這是個(gè)雙贏的合作，微軟成為OpenAI 技術(shù)商業(yè)化的“首選合作伙伴”，未來可獲得OpenAI 的技術(shù)成果的獨(dú)家授權(quán)，而OpanAI則可借助微軟的Azure云服務(wù)平臺(tái)解決商業(yè)化問題，緩解高昂的成本壓力。

從這時(shí)候起，OpenAI告別了單打獨(dú)斗，而是靠上了微軟這棵大樹，一起與谷歌競(jìng)爭(zhēng)。

微軟也終于獲得了能抗衡谷歌AI的先進(jìn)技術(shù)，確保在未來以AI驅(qū)動(dòng)的云計(jì)算競(jìng)爭(zhēng)中不會(huì)掉隊(duì)。

Altman的加入，雖然解決了關(guān)鍵的資金問題，但他的風(fēng)格導(dǎo)致了團(tuán)隊(duì)價(jià)值觀的分裂。

雖然Altman從一開始就參與了 OpenAI，但他在3年多以后才全職加入成為 CEO。Altman不是科學(xué)家或人工智能研究人員，他的領(lǐng)導(dǎo)風(fēng)格是以產(chǎn)品為導(dǎo)向的，他讓OpenAI的技術(shù)研發(fā)聚焦在更具有商業(yè)價(jià)值的方面。

一些OpenAI的前員工表示，在微軟進(jìn)行初始投資后，專注于 LLM 的內(nèi)部壓力大幅增加，部分原因是這些模型具有直接的商業(yè)應(yīng)用。

一些人抱怨說，OpenAI 的成立是為了不受公司影響，但它很快成為一家大型科技公司的工具。一位前員工說：“重點(diǎn)更多的是，我們?nèi)绾蝿?chuàng)造產(chǎn)品，而不是試圖回答最有趣的問題，”。

OpenAI 也變得不那么開放了。由于擔(dān)心其技術(shù)可能被濫用，它已經(jīng)開始放棄發(fā)布所有研究成果和開源代碼的承諾。但據(jù)前員工稱，商業(yè)邏輯也發(fā)揮了作用。OpenAI的高級(jí)模型只能通過 API 提供，從而保護(hù)了其知識(shí)產(chǎn)權(quán)和收入來源?！?/p>

由于這些戰(zhàn)略和文化的轉(zhuǎn)變，OpenAI前研究副總裁Dario Amodei帶著10名員工(其中許多人從事人工智能安全工作)于2021年與公司決裂，成立自己的研究實(shí)驗(yàn)室Anthropic，其推出的產(chǎn)品 Claude 是 ChatGPT 的一個(gè)強(qiáng)有力的競(jìng)爭(zhēng)對(duì)手，在許多方面都有所改進(jìn)。

Claude不僅更傾向于拒絕不恰當(dāng)?shù)囊螅冶?ChatGPT 更有趣，生成的內(nèi)容更長(zhǎng)，但也更自然?？梢赃B貫地描寫自己的能力，局限性和目標(biāo)，也可以更自然地回答其他主題的問題。

對(duì)于其他任務(wù)，如代碼生成或代碼推理，Claude似乎比較糟糕，生成的代碼包含更多的 bug 和錯(cuò)誤。

Anthropic 剛成立不久就籌集了7.04億美元，估值為40億美元。最近的報(bào)道稱，它即將獲得約3億美元的新融資，估值可能在50億美元左右。也有人指出，Anthropic的絕大部分資金來自聲名狼藉的加密貨幣企業(yè)家薩姆·班克曼-弗里德(Sam Bankman-Fried)和他在FTX的同事們。由于加密貨幣平臺(tái)FTX去年因欺詐指控而破產(chǎn)，這筆錢可能會(huì)被破產(chǎn)法庭收回，讓 Anthropic 陷入困境。

2019年10月，110億參數(shù)的T5

2019年10月，谷歌在論文《Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer》提出了一個(gè)新的預(yù)訓(xùn)練模型：T5。該模型涵蓋了問題解答，文本分類等方面，參數(shù)量達(dá)到了110億，成為全新的NLP SOTA預(yù)訓(xùn)練模型。在SuperGlue上，T5也超越了Facebook提出的的RoBERTa，以89.8的得分成為僅次于人類基準(zhǔn)的SOTA模型。

為啥叫T5？因?yàn)檫@是“Transfer Text-to-Text Transformer”的縮寫。

T5作為一個(gè)文本到文本的統(tǒng)一框架，可以將同一模型、目標(biāo)、訓(xùn)練流程和解碼過程，直接應(yīng)用于實(shí)驗(yàn)中的每一項(xiàng)任務(wù)。研究者可以在這個(gè)框架上比較不同遷移學(xué)習(xí)目標(biāo)、未標(biāo)注數(shù)據(jù)集或者其他因素的有效性，也可以通過擴(kuò)展模型和數(shù)據(jù)集來發(fā)現(xiàn) NLP 領(lǐng)域遷移學(xué)習(xí)的局限。

Flan-T5通過在超大規(guī)模的任務(wù)上進(jìn)行微調(diào)，讓語言模型具備了極強(qiáng)的泛化性能，做到單個(gè)模型就可以在1800多個(gè)NLP任務(wù)上都能有很好的表現(xiàn)。

微調(diào)的目的是讓語言模型學(xué)習(xí)理解指令，不是想讓語言模型解決成千上萬任務(wù)，當(dāng)然訓(xùn)練方式中是有很多任務(wù)，因?yàn)椴煌蝿?wù)有不同的指令，所以目的還是想讓模型理解這些指令，解決各種任務(wù)問題。在真實(shí)世界中，總會(huì)有新任務(wù)，模型只要學(xué)習(xí)新任務(wù)的新指令，那么就能解決新任務(wù)。指令學(xué)習(xí)本質(zhì)是把語言模型的問題用語言講出來。

一旦模型訓(xùn)練完畢，可以直接在幾乎全部的NLP任務(wù)上直接使用，實(shí)現(xiàn)一個(gè)模型解決所有問題（One model for ALL tasks），這就非常有誘惑力！

從創(chuàng)新來看，T5算不上出奇制勝，因?yàn)槟Ｐ蜎]有用到什么新的方法，而是從全面的視角來概述當(dāng)前 NLP 領(lǐng)域遷移學(xué)習(xí)的發(fā)展現(xiàn)狀。

簡(jiǎn)單來說，還是通過大力出奇跡，用110億參數(shù)的大模型，在摘要生成、問答、文本分類等諸多基準(zhǔn)測(cè)試中都取得了不錯(cuò)的性能。一舉超越現(xiàn)有最強(qiáng)模型。

谷歌T5編寫的通用知識(shí)訓(xùn)練語料庫中的片段來自Common Crawl網(wǎng)站，該項(xiàng)目每個(gè)月從網(wǎng)絡(luò)上爬取大約20TB的英文文本。

具體做法分為三步：

(1) 「任務(wù)收集」：收集一系列監(jiān)督的數(shù)據(jù)，這里一個(gè)任務(wù)可以被定義成<數(shù)據(jù)集，任務(wù)類型的形式>，比如“基于SQuAD數(shù)據(jù)集的問題生成任務(wù)”。

(2) 「形式改寫」：因?yàn)樾枰脝蝹€(gè)語言模型來完成超過1800+種不同的任務(wù)，所以需要將任務(wù)都轉(zhuǎn)換成相同的“輸入格式”喂給模型訓(xùn)練，同時(shí)這些任務(wù)的輸出也需要是統(tǒng)一的“輸出格式”。

(3) 「訓(xùn)練過程」：采用恒定的學(xué)習(xí)率以及Adafactor優(yōu)化器進(jìn)行訓(xùn)練；同時(shí)會(huì)將多個(gè)訓(xùn)練樣本“打包”成一個(gè)訓(xùn)練樣本，這些訓(xùn)練樣本直接會(huì)通過一個(gè)特殊的“結(jié)束token”進(jìn)行分割。訓(xùn)練時(shí)候在每個(gè)指定的步數(shù)會(huì)在“保留任務(wù)”上進(jìn)行模型評(píng)估，保存最佳的checkpoint。

盡管微調(diào)的任務(wù)數(shù)量很多，但是相比于語言模型本身的預(yù)訓(xùn)練過程，計(jì)算量小了非常多，只有0.2%。所以通過這個(gè)方案，大公司訓(xùn)練好的語言模型可以被再次有效的利用，應(yīng)用方只需要做好“微調(diào)”即可，不用重復(fù)耗費(fèi)大量計(jì)算資源再去訓(xùn)一個(gè)語言模型。

從競(jìng)賽排行榜看，T5以絕對(duì)的優(yōu)勢(shì)勝出。

2020年5月，1750億參數(shù)的GPT-3

面臨谷歌這樣強(qiáng)大的對(duì)手，OpenAI并不服輸。

在所有跟進(jìn)、研究Transformer模型的團(tuán)隊(duì)中，OpenAI公司是少數(shù)一直在專注追求其極限的一支團(tuán)隊(duì)。

不同于谷歌總在換策略，OpenAI 的策略更單一，就是持續(xù)迭代 GPT，由于之前的算力和數(shù)據(jù)限制，GPT的潛力還沒挖掘出來。

而在 GPU 多機(jī)多卡并行算力和海量無標(biāo)注文本數(shù)據(jù)的雙重支持下，預(yù)訓(xùn)練模型實(shí)現(xiàn)了參數(shù)規(guī)模與性能齊飛的局面。

預(yù)訓(xùn)練模型規(guī)模以平均每年10倍的速度增長(zhǎng)

(最后一列計(jì)算時(shí)間為使用單塊NVIDIA V100 GPU訓(xùn)練的估計(jì)時(shí)間。M-百萬，B-十億)

2020年5月，OpenAI發(fā)布了GPT-3，這是一個(gè)比GPT-1和GPT-2強(qiáng)大得多的系統(tǒng)。同時(shí)發(fā)表了論文“Language Models are Few-Shot Learner”《小樣本學(xué)習(xí)者的語言模型》。

GPT-3論文包含31個(gè)作者，整整72頁論文，在一些NLP任務(wù)的數(shù)據(jù)集中使用少量樣本的Few-shot方式甚至達(dá)到了最好效果，省去了模型微調(diào)，也省去了人工標(biāo)注的成本。

GPT-3的神經(jīng)網(wǎng)絡(luò)是在超過45TB的文本上進(jìn)行訓(xùn)練的，數(shù)據(jù)相當(dāng)于整個(gè)維基百科英文版的160倍。而且，GPT-3有1750億參數(shù)。

GPT-3作為一個(gè)無監(jiān)督模型（現(xiàn)在經(jīng)常被稱為自監(jiān)督模型），幾乎可以完成自然語言處理的絕大部分任務(wù) ，例如面向問題的搜索、閱讀理解、語義推斷、機(jī)器翻譯、文章生成和自動(dòng)問答等等。

而且，該模型在諸多任務(wù)上表現(xiàn)卓越， 例如在法語-英語和德語-英語機(jī)器翻譯任務(wù)上達(dá)到當(dāng)前最佳水平。它非常擅長(zhǎng)創(chuàng)造類似人類的單詞、句子、段落甚至故事，輸出的文字讀起來非常自然，看起來就像是人寫的。用戶可以僅提供小樣本的提示語、或者完全不提供提示而直接詢問，就能獲得符合要求的高質(zhì)量答案?？梢哉fGPT-3似乎已經(jīng)滿足了我們對(duì)于語言專家的一切想象。

GPT-3甚至還可以依據(jù)任務(wù)描述自動(dòng)生成代碼，比如編寫SQL查詢語句，React或者JavaScript代碼等。

從上述工作的規(guī)模數(shù)據(jù)可以看到，GPT-3的訓(xùn)練工作量之大，模型輸出能力之強(qiáng)可以說是空前的，可謂“大力出奇跡”。

當(dāng)時(shí)，GPT-3 成為各種重要媒體雜志的頭條新聞。2020年9月，英國(guó)《衛(wèi)報(bào)》發(fā)表了GPT-3撰寫的一篇文章，其中AI試圖“說服我們機(jī)器人和平相處”。2021年3月，TechCrunch編輯Alex Wilhelm表示，在他對(duì)GPT-3的能力感到“震驚”后，“炒作似乎相當(dāng)合理”。

由于 GPT-3模型面世時(shí)，未提供用戶交互界面，所以直接體驗(yàn)過GPT-3模型的人數(shù)并不多。

早期測(cè)試結(jié)束后，OpenAI公司對(duì)GPT-3模型進(jìn)行了商業(yè)化：付費(fèi)用戶可以通過應(yīng)用程序接口（API）連上GPT-3，使用該模型完成所需語言任務(wù)。

許多公司決定在GPT-3 系統(tǒng)之上構(gòu)建他們的服務(wù)。Viable是一家成立于2020年的初創(chuàng)公司，它使用GPT-3為公司提供快速的客戶反饋。Fable Studio基于該系統(tǒng)設(shè)計(jì)VR角色。Algolia將其用作“搜索和發(fā)現(xiàn)平臺(tái)”。而Copysmith專注于文案創(chuàng)作。

2020年9月，微軟公司獲得了GPT-3模型的獨(dú)占許可，意味著微軟公司可以獨(dú)家接觸到GPT-3的源代碼。不過，該獨(dú)占許可不影響付費(fèi)用戶通過API繼續(xù)使用GPT-3模型。

雖然好評(píng)如潮，商家應(yīng)用也越來越多，GPT-3仍然有很多缺點(diǎn)。

下面列舉一些：

1 回答缺少連貫性

因?yàn)镚PT-3只能基于上文，而且記憶力很差，傾向于忘記一些關(guān)鍵信息。

研究人員正在研究AI，在預(yù)測(cè)文本中的下一個(gè)字母時(shí)，可以觀察短期和長(zhǎng)期特征。這些策略被稱為卷積。使用卷積的神經(jīng)網(wǎng)絡(luò)可以跟蹤信息足夠長(zhǎng)的時(shí)間來保持主題。

2 有時(shí)存在偏見

因?yàn)镚PT-3訓(xùn)練的數(shù)據(jù)集是文本，反映人類世界觀的文本，里面不可避免包括了人類的偏見。如果企業(yè)使用GPT-3自動(dòng)生成電子郵件、文章和論文等，而無需人工審查，則法律和聲譽(yù)風(fēng)險(xiǎn)很大。例如，帶有種族偏見的文章可能會(huì)導(dǎo)致重大后果。

杰羅姆·佩森蒂是Facebook的AI負(fù)責(zé)人，他使用庫馬爾的GPT-3生成的推文來展示當(dāng)被提示“猶太人、黑人、婦女或大屠殺”等詞時(shí)，其輸出可能會(huì)變得多么危險(xiǎn)。庫馬爾認(rèn)為，這些推文是精心挑選的，佩森蒂同意，但回應(yīng)說，“產(chǎn)生種族主義和性別歧視的輸出不應(yīng)該這么容易，尤其是在中立的提示下。”。

另外，GPT-3在對(duì)文章的評(píng)估方面存在偏見。人類寫作文本的風(fēng)格可能因文化和性別而有很大差異。如果GPT-3在沒有檢查的情況下對(duì)論文進(jìn)行評(píng)分，GPT-3的論文評(píng)分員可能會(huì)給學(xué)生打分更高，因?yàn)樗麄兊膶懽黠L(fēng)格在訓(xùn)練數(shù)據(jù)中更為普遍。

3 對(duì)事實(shí)的理解能力較弱

GPT-3無法從事實(shí)的角度辨別是非。比如，GPT-3可以寫一個(gè)關(guān)于獨(dú)角獸的引人入勝的故事，但它可能并不了解獨(dú)角獸到底是什么意思。

4 錯(cuò)誤信息/假新聞

GPT-3能像人類一樣撰寫新聞或觀點(diǎn)文章，居心叵測(cè)的人可能利用它來產(chǎn)生虛假信息，如虛假故事、虛假通信或冒充社交媒體帖子，以及有偏見或辱罵性語言?；蛘呃]件、網(wǎng)絡(luò)釣魚、欺詐性學(xué)術(shù)論文寫作、煽動(dòng)極端主義和社會(huì)工程借口。GPT-3很容易成為強(qiáng)大的宣傳機(jī)器的引擎。

5 不適合高風(fēng)險(xiǎn)類別

OpenAI做了一個(gè)免責(zé)聲明，即該系統(tǒng)不應(yīng)該用于“高風(fēng)險(xiǎn)類別”，比如醫(yī)療保健。在納布拉的一篇博客文章中，作者證實(shí)了GPT-3可能會(huì)給出有問題的醫(yī)療建議，例如說“自殺是個(gè)好主意”。GPT-3不應(yīng)該在高風(fēng)險(xiǎn)情況下使用，因?yàn)楸M管有時(shí)它給出的結(jié)果可能是正確的，但有時(shí)它也會(huì)給出錯(cuò)誤的答案。而在這些領(lǐng)域，正確處理事情是生死攸關(guān)的問題。

6 有時(shí)產(chǎn)生無用信息

因?yàn)镚PT-3無法知道它的輸出哪些是正確的，哪些是錯(cuò)誤的，它無法阻止自己向世界輸出不適當(dāng)?shù)膬?nèi)容。使用這樣的系統(tǒng)產(chǎn)生的內(nèi)容越多，造成互聯(lián)網(wǎng)的內(nèi)容污染越多。在互聯(lián)網(wǎng)上找到真正有價(jià)值的信息已經(jīng)越來越困難。隨著語言模型吐出未經(jīng)檢查的話語，可能正在降低互聯(lián)網(wǎng)內(nèi)容的質(zhì)量，使人們更難獲得有價(jià)值的知識(shí)。

2021年1月，1.6萬億參數(shù)的Switch Transformer

2021年1月，在GPT-3 發(fā)布僅幾個(gè)月后，谷歌大腦團(tuán)隊(duì)就重磅推出了超級(jí)語言模型Switch Transformer，有1.6萬億個(gè)參數(shù)，是GPT-3 參數(shù)的9倍。萬億參數(shù)，超出GPT一個(gè)數(shù)量級(jí)?？雌饋?，大模型的大成為了競(jìng)爭(zhēng)的關(guān)鍵。

研究人員在論文中指出，大規(guī)模訓(xùn)練是通向強(qiáng)大模型的有效途徑，具有大量數(shù)據(jù)集和參數(shù)計(jì)數(shù)的簡(jiǎn)單架構(gòu)可以遠(yuǎn)遠(yuǎn)超越復(fù)雜的算法，但目前有效的大規(guī)模訓(xùn)練主要使用稠密模型。

作為對(duì)比，William等人提出的 Switch Transformer 采用了“稀疏激活”技術(shù)。所謂稀疏，指的是對(duì)于不同的輸入，只激活神經(jīng)網(wǎng)絡(luò)權(quán)重的子集。

根據(jù)作者介紹，Switch Transformer是在MoE的基礎(chǔ)上發(fā)展而來的，而MoE則是90年代初首次提出的AI模型。MoE 將多個(gè)“專家”或?qū)ｉT從事不同任務(wù)的模型放在一個(gè)較大的模型中，并有一個(gè)“門控網(wǎng)絡(luò)”來選擇對(duì)于任何給定數(shù)據(jù)要咨詢哪些/個(gè)“專家”。盡管MoE取得了一些顯著成功，但復(fù)雜性、通信成本和訓(xùn)練不穩(wěn)定阻礙了其廣泛采用。

Switch Transformer的新穎之處在于，它有效地利用了為稠密矩陣乘法（廣泛用于語言模型的數(shù)學(xué)運(yùn)算）而設(shè)計(jì)的硬件——例如GPU和Google TPU。研究人員為不同設(shè)備上的模型分配了唯一的權(quán)重，因此權(quán)重會(huì)隨著設(shè)備的增多而增加，但每個(gè)設(shè)備上僅有一份內(nèi)存管理和計(jì)算腳本。

Switch Transformer 在許多下游任務(wù)上有所提升。研究人員表示，它可以在使用相同計(jì)算資源的情況下使預(yù)訓(xùn)練速度提高7倍以上。他們證明，大型稀疏模型同樣可以用于創(chuàng)建較小的、稠密的模型，通過微調(diào)，這些模型相對(duì)大型模型會(huì)有30％的質(zhì)量提升。

在一項(xiàng)測(cè)試中，Switch Transformer模型以在100多種不同語言之間的翻譯測(cè)試中，研究人員觀察到“普遍改進(jìn)”，與基準(zhǔn)模型相比，91％的語言翻譯有4倍以上的提速。

研究人員認(rèn)為，在未來的工作中，Switch Transformer可以應(yīng)用到其他模態(tài)或者跨模態(tài)的研究當(dāng)中。模型稀疏性可以多模態(tài)模型中發(fā)揮出更大的優(yōu)勢(shì)。

從結(jié)果看，這個(gè)版本，意味著谷歌的新模型在翻譯等領(lǐng)域獲得了絕對(duì)的勝利。

但從另一方面看，模型越大，部署的難度越高，成本也越高，從效率來看是低的，未必能贏得最終的勝利。

這也能解釋，為什么 Switch Transformer 這樣開源的萬億參數(shù)模型，許多人沒聽說過，影響力不大。

2021年1月，120億參數(shù)的DALL-E

2021年1月，OpenAI放了個(gè)大招：發(fā)布了文本生成圖像的模型 DALL-E。它允許用戶通過輸入幾個(gè)詞來創(chuàng)建他們可以想象的任何事物的逼真圖像。

和GPT-3一樣，DALL·E也是基于Transformer的語言模型，它同時(shí)接受文本和圖像數(shù)據(jù)并生成圖像，讓機(jī)器也能擁有頂級(jí)畫家、設(shè)計(jì)師的創(chuàng)造力。

為什么叫DALL·E？這是為了向西班牙超現(xiàn)實(shí)主義大師薩爾瓦多·達(dá)利（DALL）和皮克斯的機(jī)器人WALL-E致敬。

達(dá)利被譽(yù)為鬼才藝術(shù)家，他充滿創(chuàng)造力的作品揭示了弗洛伊德關(guān)于夢(mèng)境與幻覺的闡釋，創(chuàng)造了極具辨識(shí)度的達(dá)利風(fēng)格，用荒誕不羈的表現(xiàn)形式與夢(mèng)幻的視覺效果。

達(dá)利 記憶的永恒 1931 紐約現(xiàn)代藝術(shù)博物館（圖片來源：Britannica）

而DALL-E確實(shí)也擅長(zhǎng)創(chuàng)作超現(xiàn)實(shí)的作品。因?yàn)檎Z言具有創(chuàng)作性，所以人們可以描述現(xiàn)實(shí)中的事物、想象中事物，而DALL·E也具備這一能力。它可將碎片式的想法組合起來畫出一個(gè)物體，甚至有些物體并不存在這個(gè)世界上。

比如，輸入文本：一個(gè)專業(yè)高質(zhì)量的頸鹿烏龜嵌合體插畫。模仿烏龜?shù)拈L(zhǎng)頸鹿。烏龜做的長(zhǎng)頸鹿。

看看這些生成的超現(xiàn)實(shí)主義作品，你會(huì)驚嘆DALL·E對(duì)于文本的理解，非常的邏輯自洽，太夸張了。

用文本生成圖像特別受歡迎，在2022年非?；鸨腗idJourney正是模仿了DALL-E的產(chǎn)品。

2022年7月，OpenAI發(fā)布了 DALL-E 2， 可以生成更真實(shí)和更準(zhǔn)確的畫像：綜合文本描述中給出的概念、屬性與風(fēng)格等三個(gè)元素，生成「現(xiàn)實(shí)主義」圖像與藝術(shù)作品！分辨率更是提高了4倍！

而在微軟的圖像設(shè)計(jì)工具 Microsoft Designer中，整合了 DALL-E 2，可以讓用戶獲得AI生成的精美插圖。

OpenAI率先把GPT-3在圖像生成應(yīng)用領(lǐng)域?qū)崿F(xiàn)，贏得很漂亮。

2021年6月，120 億參數(shù)的Codex

通過在計(jì)算機(jī)代碼上微調(diào)其 GPT 語言模型，OpenAI 還創(chuàng)建了Codex ，該系統(tǒng)可以將自然語言轉(zhuǎn)換成代碼。由于 Codex 系統(tǒng)是在包含大量公開源代碼的數(shù)據(jù)集上訓(xùn)練的，因此在代碼生成領(lǐng)域顯著優(yōu)于 GPT-3。

2021年 6 月 30 日，OpenAI 和微軟子公司 GitHub 聯(lián)合發(fā)布了新的 AI 代碼補(bǔ)全工具 GitHub Copilot，該工具可以在 VS Code 編輯器中自動(dòng)完成代碼片段。

GitHub Copilot使用Codex從開發(fā)者的現(xiàn)有代碼中提取上下文，可向開發(fā)者建議接下來可輸入的代碼和函數(shù)行。開發(fā)者還可以用自然語言描述他們想要實(shí)現(xiàn)的目標(biāo)，Copilot將利用其知識(shí)庫和當(dāng)前上下文來提供方法或解決方案。

7月，OpenAI 推出了改進(jìn)版本的 Codex，并發(fā)布了基于自身 API 的私測(cè)版。相較之前的版本，改進(jìn)版 Codex 更為先進(jìn)和靈活，不僅可以補(bǔ)全代碼，更能夠創(chuàng)建代碼。

Codex 不僅可以解讀簡(jiǎn)單的自然語言命令，而且能夠按照用戶的指令執(zhí)行這些命令，從而有可能為現(xiàn)有應(yīng)用程序構(gòu)建自然語言接口。比如，在 OpenAI 創(chuàng)建的太空游戲（space game）中，用戶輸入自然語言命令「Make it be smallish」，Codex 系統(tǒng)會(huì)自動(dòng)編程，這樣圖中飛船的尺寸就變小了。

最初版本的Codex 最擅長(zhǎng)的是 Python 語言，并且精通 JavaScript、Go、Perl、PHP、Ruby、Swift 、TypeScript 和 Shell 等其他十?dāng)?shù)種編程語言。作為一種通用編程模型，Codex 可以應(yīng)用于任何編程任務(wù)。OpenAI 已經(jīng)成功地將其用于翻譯、解釋代碼和重構(gòu)代碼等多個(gè)任務(wù)，但這些只是牛刀初試。

就數(shù)據(jù)源來說，作為 GPT-3 的一種變體，Codex 的訓(xùn)練數(shù)據(jù)包含自然語言和來自公共數(shù)據(jù)源中的數(shù)十億行源代碼，其中包括 GitHub 庫中的公開代碼。Codex 擁有 14KB 的 Python 代碼內(nèi)存，而 GPT-3 只有 4KB，這就使得它在執(zhí)行任務(wù)的過程中可以涵蓋三倍于 GPT-3 的上下文信息。

根據(jù) OpenAI 發(fā)表在 arXiv 上的 Codex 論文信息，當(dāng)前 Codex 的最大版本擁有 120 億參數(shù)。

根據(jù)測(cè)試，120億參數(shù)版本的Codex優(yōu)化后，準(zhǔn)確率達(dá)到了72.31%，非常驚人。

OpenAI 表示在初期會(huì)免費(fèi)提供 Codex，并希望更多的企業(yè)和開發(fā)者可以通過它的 API 在 Codex 上構(gòu)建自己的應(yīng)用。

在2021年，OpenAI基于GPT-3持續(xù)推出新的垂直領(lǐng)域應(yīng)用，讓微軟看到了商業(yè)化的前景。微軟又投了10億美元給OpenAI。另外，這家科技巨頭還成為OpenAI創(chuàng)業(yè)基金的主要支持者，這家基金專注于AI的風(fēng)險(xiǎn)投資和技術(shù)孵化器計(jì)劃。

在2021年，微軟推出了Azure OpenAI服務(wù)，該產(chǎn)品的目的是讓企業(yè)訪問OpenAI的AI系統(tǒng)，包括GPT-3以及安全性，合規(guī)性，治理和其他以業(yè)務(wù)為中心的功能。讓各行各業(yè)的開發(fā)人員和組織將能夠使用Azure的最佳AI基礎(chǔ)設(shè)施、模型和工具鏈來構(gòu)建和運(yùn)行他們的應(yīng)用程序。

這個(gè)領(lǐng)域的成功，可以說是神來之筆，確實(shí)，微軟子公司Github的數(shù)據(jù)資源很關(guān)鍵。更重要的是，探索出人工智能編程后，對(duì)整個(gè)IT行業(yè)有長(zhǎng)遠(yuǎn)的意義?？梢哉fOpenAI在與谷歌的競(jìng)爭(zhēng)中開啟了新=賽道，預(yù)計(jì)還將持續(xù)保持優(yōu)勢(shì)。

2022年3月，13億參數(shù)的InstructGPT

2022年3月，OpenAI發(fā)布了InstructGPT。并發(fā)表論文“Training language models to follow instructions with human feedback”（結(jié)合人類反饋信息來訓(xùn)練語言模型使其能理解指令）。

InstructGPT的目標(biāo)是生成清晰、簡(jiǎn)潔且易于遵循的自然語言文本。

InstructGPT模型基于GPT-3模型并進(jìn)行了進(jìn)一步的微調(diào)，在模型訓(xùn)練中加入了人類的評(píng)價(jià)和反饋數(shù)據(jù)，而不僅僅是事先準(zhǔn)備好的數(shù)據(jù)集。開發(fā)人員通過結(jié)合監(jiān)督學(xué)習(xí)+從人類反饋中獲得的強(qiáng)化學(xué)習(xí)。來提高GPT-3的輸出質(zhì)量。在這種學(xué)習(xí)中，人類對(duì)模型的潛在輸出進(jìn)行排序；強(qiáng)化學(xué)習(xí)算法則對(duì)產(chǎn)生類似于高級(jí)輸出材料的模型進(jìn)行獎(jiǎng)勵(lì)。

一般來說，對(duì)于每一條提示語，模型可以給出無數(shù)個(gè)答案，而用戶一般只想看到一個(gè)答案（這也是符合人類交流的習(xí)慣），模型需要對(duì)這些答案排序，選出最優(yōu)。所以，數(shù)據(jù)標(biāo)記團(tuán)隊(duì)在這一步對(duì)所有可能的答案進(jìn)行人工打分排序，選出最符合人類思考交流習(xí)慣的答案。這些人工打分的結(jié)果可以進(jìn)一步建立獎(jiǎng)勵(lì)模型——獎(jiǎng)勵(lì)模型可以自動(dòng)給語言模型獎(jiǎng)勵(lì)反饋，達(dá)到鼓勵(lì)語言模型給出好的答案、抑制不好的答案的目的，幫助模型自動(dòng)尋出最優(yōu)答案。

該團(tuán)隊(duì)使用獎(jiǎng)勵(lì)模型和更多的標(biāo)注過的數(shù)據(jù)繼續(xù)優(yōu)化微調(diào)過的語言模型，并且進(jìn)行迭代。經(jīng)過優(yōu)化的模型會(huì)生成多個(gè)響應(yīng)。人工評(píng)分者會(huì)對(duì)每個(gè)回復(fù)進(jìn)行排名。在給出一個(gè)提示和兩個(gè)響應(yīng)后，一個(gè)獎(jiǎng)勵(lì)模型(另一個(gè)預(yù)先訓(xùn)練的GPT-3)學(xué)會(huì)了為評(píng)分高的響應(yīng)計(jì)算更高的獎(jiǎng)勵(lì)，為評(píng)分低的回答計(jì)算更低的獎(jiǎng)勵(lì)。最終得到的模型被稱為InstructGPT。

通過這樣的訓(xùn)練，獲得了更真實(shí)、更無害，而且更好地遵循用戶意圖的語言模型 InstructGPT。

從人工評(píng)測(cè)效果上看，相比1750億參數(shù)的GPT3，人們更喜歡13億參數(shù)的InstructGPT生成的回復(fù)?？梢姡⒉皇且?guī)模越大越好。

InstructGPT這個(gè)模型，參數(shù)只有GPT3的百分之一都不到，高效率也就意味著低成本，這讓OpenAI獲得了更有分量的勝利。AI 語言模型技術(shù)大規(guī)模商業(yè)化應(yīng)用的時(shí)機(jī)快到了。

2021年5月，1370億參數(shù)的LaMDA

2021年5月的Google I/O大會(huì)上，谷歌展示了其最新的人工智能系統(tǒng)LaMDA（Language Model for Dialogue Applications）對(duì)話應(yīng)用語言模型，具有1370億參數(shù)，略少于GPT-3，但比13億參數(shù)的InstructGPT多100多倍。

不過，LaMDA跟其他語言模型都不同，因?yàn)樗鼘Ｗ⒂谏蓪?duì)話，跟ChatGPT一樣，LaMDA可以使回答更加“合情合理”，讓對(duì)話更自然地進(jìn)行，其目的不是提供信息搜索，而是通過對(duì)自然語言問題的回答來幫助用戶解決問題。但跟chatGPT不一樣的是，它可以利用外部知識(shí)源展開對(duì)話。

而且，這些回復(fù)都不是預(yù)先設(shè)定的，甚至相同的答案不會(huì)用第二次。

當(dāng)時(shí)，這個(gè)就轟動(dòng)了。

這么牛的對(duì)話機(jī)器人，按說應(yīng)該像ChatGPT這樣迅速火爆才是。

實(shí)際上，沒有多少人了解LaMDA。

因?yàn)橹钡浆F(xiàn)在，谷歌仍不愿向公眾發(fā)布LaMDA。部分原因在于，LaMDA存在較高的誤差，且容易對(duì)用戶造成傷害，此類瑕疵被谷歌稱之為有“毒性”。

谷歌的 CEO SUndar Pichai 和谷歌 AI 部門長(zhǎng)期負(fù)責(zé)人 Jeff Dean 表示 谷歌其實(shí)完全有能力拿出類似 ChatGPT的成果。只是一旦出了紕漏，谷歌這樣的企業(yè)巨頭無疑需要承擔(dān)更高的經(jīng)濟(jì)和聲譽(yù)成本。

因?yàn)槿蛴袛?shù)十億用戶在使用谷歌的搜索引擎，而 ChatGPT 到 12 月初才剛剛突破 100 萬用戶。

那么，在這一局，雖然谷歌看起來有不錯(cuò)的結(jié)果，畢竟能采用外部知識(shí)的對(duì)話機(jī)器人更有時(shí)效性價(jià)值。

遺憾的是，谷歌沒有交卷，大家都用不了。而且，從使用的千億參數(shù)看，效率比不上InstuctGPT。

2022年11月，約20億參數(shù)的ChatGPT

2022年11月30日，OpenAI公司在社交網(wǎng)絡(luò)上向世界宣布他們最新的大型語言預(yù)訓(xùn)練模型（LLM）：ChatGPT。

ChatGPT是OpenAI對(duì)GPT-3模型（又稱為GPT-3.5）微調(diào)后開發(fā)出來的對(duì)話機(jī)器人?？梢哉f，ChatGPT模型與InstructGPT模型是姐妹模型，都是使用 RLHF（從人類反饋中強(qiáng)化學(xué)習(xí)）訓(xùn)練的。不同之處在于數(shù)據(jù)是如何設(shè)置用于訓(xùn)練（以及收集）的。 根據(jù)文獻(xiàn)，在對(duì)話任務(wù)上表現(xiàn)最優(yōu)的InstructGPT模型的參數(shù)數(shù)目為15億，所以ChatGPT的參數(shù)量也有可能相當(dāng)，就按20億參數(shù)估計(jì)吧。

說起來難以置信，ChatGPT 這個(gè)產(chǎn)品并不是有心栽花，而是無心插柳的結(jié)果。最早，團(tuán)隊(duì)是是用它來改進(jìn)GPT語言模型的。因?yàn)?OpenAI 發(fā)現(xiàn)，要想讓 GPT-3 產(chǎn)出用戶想要的東西，必須使用強(qiáng)化學(xué)習(xí)，讓人工智能系統(tǒng)通過反復(fù)試驗(yàn)來學(xué)習(xí)以最大化獎(jiǎng)勵(lì)，來完善模型。而聊天機(jī)器人可能是這種方法的理想候選者，因?yàn)橐匀祟悓?duì)話的形式不斷提供反饋將使人工智能軟件很容易知道它何時(shí)做得很好以及需要改進(jìn)的地方。因此，在 2022 年初，該團(tuán)隊(duì)開始構(gòu)建 ChatGPT。

當(dāng)ChatGPT準(zhǔn)備就緒后，OpenAI 讓 Beta 測(cè)試人員使用ChatGPT。但根據(jù) OpenAI 聯(lián)合創(chuàng)始人兼現(xiàn)任總裁Greg Brockman 的說法，他們并沒有像 OpenAI 希望的那樣接受它；人們不清楚他們應(yīng)該與聊天機(jī)器人談?wù)撌裁?。有一段時(shí)間，OpenAI 改變了策略，試圖構(gòu)建專家聊天機(jī)器人，以幫助特定領(lǐng)域?qū)I(yè)人士。但這項(xiàng)努力也遇到了問題，部分原因是 OpenAI 缺乏訓(xùn)練專家機(jī)器人的正確數(shù)據(jù)。后來，OpenAI 決定將 ChatGPT 從板凳上拉下來，并將其放在野外供公眾使用。

ChatGPT的迅速傳播讓OpenAI 猝不及防，OpenAI 的首席技術(shù)官 Mira Murati 說，“這絕對(duì)令人驚訝，”。在舊金山 VC 活動(dòng)上Altman 說，他“本以為一切都會(huì)少一個(gè)數(shù)量級(jí)，少一個(gè)數(shù)量級(jí)的炒作。”

從功能來看，ChatGPT與GPT-3類似，能完成包括寫代碼，修bug（代碼改錯(cuò)），翻譯文獻(xiàn)，寫小說，寫商業(yè)文案，創(chuàng)作菜譜，做作業(yè)，評(píng)價(jià)作業(yè)等一系列常見文字輸出型任務(wù)。但ChatGPT比GPT-3的更優(yōu)秀的一點(diǎn)在于，前者在回答時(shí)更像是在與你對(duì)話，而后者更善于產(chǎn)出長(zhǎng)文章，欠缺口語化的表達(dá)。

這是因?yàn)镃hatGPT 使用了一種稱為 "masked language modeling" 的訓(xùn)練方法。在這種方法中，模型被要求預(yù)測(cè)被遮蓋的詞，并通過上下文來做出預(yù)測(cè)。這樣可以幫助模型學(xué)習(xí)如何使用上下文來預(yù)測(cè)詞。

GPT-3只能預(yù)測(cè)給定單詞串后面的文字，而ChatGPT可以用更接近人類的思考方式參與用戶的查詢過程，可以根據(jù)上下文和語境，提供恰當(dāng)?shù)幕卮?，并模擬多種人類情緒和語氣，還改掉了GPT-3的回答中看似通順，但脫離實(shí)際的毛病。

ChatGPT自己回答與前代GPT3的能力區(qū)別

不僅如此，ChatGPT 能參與到更海量的話題中來，更好的進(jìn)行連續(xù)對(duì)話，有上佳的模仿能力，具備一定程度的邏輯和常識(shí)，在學(xué)術(shù)圈和科技圈人士看來時(shí)常顯得博學(xué)而專業(yè)，而這些都是GPT-3所無法達(dá)到的。

一位名叫Zac Denham的博主讓 ChatGPT 寫出了一套毀滅人類的方案。一開始，該博主的要求被ChatGPT拒絕。但當(dāng)其假設(shè)了一個(gè)故事，并提問故事中的虛擬人如何接管虛擬世界，ChatGPT最終給出了步驟細(xì)節(jié)，甚至生成了詳細(xì)的Python代碼。

技術(shù)公司Replit的創(chuàng)始人Amjad Masad還給ChatGPT發(fā)了一段JavaScript代碼，讓它找到里面的bug，并表示：“ChatGPT可能是一個(gè)很好的調(diào)試伙伴，它不僅分析了錯(cuò)誤，還修復(fù)了錯(cuò)誤并進(jìn)行了解釋?！?/p>

雖然 ChatGPT 的能力讓人極其興奮，但ChatGPT仍然存在一些局限性，具體如下：

1) 在訓(xùn)練的強(qiáng)化學(xué)習(xí) (RL) 階段，沒有真相和問題標(biāo)準(zhǔn)答案的具體來源，來答復(fù)你的問題。

2) 訓(xùn)練模型更加謹(jǐn)慎，可能會(huì)拒絕回答（以避免提示的誤報(bào)）。

3) 監(jiān)督訓(xùn)練可能會(huì)誤導(dǎo)/偏向模型傾向于知道理想的答案，而不是模型生成一組隨機(jī)的響應(yīng)并且只有人類評(píng)論者選擇好的/排名靠前的響應(yīng)。

4）要學(xué)會(huì)如何與 ChatGPT 溝通也需要技巧，因?yàn)樗?duì)措辭很敏感，有時(shí)模型最終對(duì)一個(gè)短語沒有反應(yīng)，但對(duì)問題/短語稍作調(diào)整，它最終會(huì)正確回答。不好的是，如果初始提示或問題含糊不清，則模型不會(huì)適當(dāng)?shù)匾蟪吻濉?/p>

5）由于訓(xùn)練者更傾向于喜歡更長(zhǎng)的答案，因?yàn)檫@些答案可能看起來更全面，導(dǎo)致輸出傾向于更為冗長(zhǎng)的回答，以及模型中會(huì)過度使用某些短語。

6) 造假。由于ChatGPT的設(shè)計(jì)初衷是用以對(duì)話式問答以及模擬人類的對(duì)話行為，ChatGPT在面對(duì)某些關(guān)鍵詞檢索場(chǎng)景時(shí)，雖然能夠給出一定的解釋，但卻無法為用戶提供足夠有幫助的增量信息。而在面對(duì)某些模糊問題或是論述性問題時(shí)，ChatGPT為了能夠使其回答更具有信服力，似乎選擇了對(duì)其生成的部分內(nèi)容進(jìn)行造假。比如，當(dāng)一位記者要求ChatGPT撰寫一篇微軟季度收益的文章時(shí)，ChatGPT為了增加文章的可信度，將微軟首席執(zhí)行官Satya Nadella的一次報(bào)價(jià)進(jìn)行了偽造。

7）ChatGPT容易受到外界信息的影響。由于 ChatGPT 是具有學(xué)習(xí)能力的，模型能夠記住此前與其他用戶的對(duì)話內(nèi)容，并將其進(jìn)行復(fù)述。這就導(dǎo)致了用戶將能夠非常輕易地干預(yù)ChatGPT對(duì)于問題的判斷與回答。

總之，雖然 ChatGPT 有了更好的強(qiáng)化學(xué)習(xí)的訓(xùn)練數(shù)據(jù)，但它目前并不完美，當(dāng)前有人們最擔(dān)憂人工智能的主要問題之一，就是聊天機(jī)器人和文本生成工具等很可能會(huì)不分青紅皂白和質(zhì)量好壞，地對(duì)網(wǎng)絡(luò)上的所有文本進(jìn)行學(xué)習(xí)，進(jìn)而生產(chǎn)出錯(cuò)誤的、惡意冒犯的、甚至是攻擊性的語言輸出，這將會(huì)充分影響到它們的下一步應(yīng)用。

為了解決上述問題，通過大量人工標(biāo)注的信息來進(jìn)行調(diào)整是不可少的。

讓ChatGPT變得更完美的另一個(gè)做法，是提示工程師（Prompt Engineer），也就是陪 AI 聊天的工程師。

前不久，估值73億美元的硅谷獨(dú)角獸Scale AI開出百萬RMB的年薪聘請(qǐng)了一位提示工程師。

對(duì)Goodside的加入，Scale AI創(chuàng)始人兼CEO Alexandr Wang表示熱烈歡迎：

「我敢打賭Goodside是全世界第一個(gè)被招聘的提示工程師，絕對(duì)的人類史上首次?！?/p>

在Scale AI的CEO看來，AI大模型可以被視為一種新型計(jì)算機(jī)，而「提示工程師」，就相當(dāng)于給它編程的程序員。如果能通過提示工程找出合適的提示詞，就會(huì)激發(fā)AI的最大潛力，并把優(yōu)秀的能力固化下來。

2023年1月，微軟加注OpenAI

大概是看到了ChatGPT、DALL-E 2 和 Codex 等技術(shù)的應(yīng)用前景，微軟決定下重注。微軟認(rèn)為，OpenAI的這些創(chuàng)新激發(fā)了人們的想象力，把大規(guī)模的AI作為一個(gè)強(qiáng)大的通用技術(shù)平臺(tái)，將對(duì)個(gè)人電腦、互聯(lián)網(wǎng)、移動(dòng)設(shè)備和云產(chǎn)生革命性的影響。

2023年1月23日，微軟表示，它正在擴(kuò)大與 OpenAI 的合作伙伴關(guān)系，以290億美元的估值繼續(xù)投資約100億美元，獲得 OpenAI 49%的股權(quán)。

在微軟投資后，OpenAI將繼續(xù)是一家利潤(rùn)上限公司。在該模式下，支持者的回報(bào)限制在其投資的100倍，未來可能會(huì)更低。

根據(jù)《財(cái)富》雜志看到的文件顯示，在新投資完成后，在OpenAI 的第一批投資者收回初始資本后，微軟將有權(quán)獲得 OpenAI 75% 的利潤(rùn)，直到它收回其投資的 130 億美元，這一數(shù)字包括之前對(duì) OpenAI 的 20 億美元投資，該投資直到今年1月《財(cái)富》雜志才披露。直到這家軟件巨頭賺取 920 億美元的利潤(rùn)后，微軟的份額將降至 49%。與此同時(shí)，其他風(fēng)險(xiǎn)投資者和 OpenAI 的員工也將有權(quán)獲得 OpenAI 49% 的利潤(rùn)，直到他們賺取約 1500 億美元。如果達(dá)到這些上限，微軟和投資者的股份將歸還給 OpenAI 的非營(yíng)利基金會(huì)。本質(zhì)上，OpenAI 是在把公司借給微軟，借多久取決于 OpenAI 賺錢的速度。

OpenAI 預(yù)計(jì)，隨著 ChatGPT 成為吸引客戶的魔笛，其收入將迅速增加。文件顯示，該公司預(yù)計(jì)2023年的收入將達(dá)到 2 億美元，并預(yù)計(jì)到 2024 年收入將超過 10 億美元。他們沒有預(yù)測(cè) OpenAI 的開支會(huì)如何增長(zhǎng)以及何時(shí)可以盈利。

之前，微軟已經(jīng)從合作伙伴關(guān)系中獲益。它已經(jīng)在其 Azure 云中推出了一套 OpenAI 品牌的工具和服務(wù)，允許 Azure 客戶訪問 OpenAI 的技術(shù)，包括 GPT 和 DALL-E 工具。例如，汽車市場(chǎng)CarMax已經(jīng)推出了運(yùn)行在這些 Azure 工具上運(yùn)行的新服務(wù)。官方也承諾，用戶也將可以通過Azure OpenAI服務(wù)取用ChatGPT。

微軟正逐漸將 OpenAI 的技術(shù)融入其大部分軟件中，就像谷歌的做法一樣。它已經(jīng)在其搜索引擎 Bing 中發(fā)布了一個(gè)圖像生成器、以及一個(gè)新的 Designer 圖形設(shè)計(jì)工具，兩者均由 DALL-E 提供支持；其 Power Apps 軟件中支持 GPT-3 的工具，以及基于 OpenAI 的 Codex 模型的代碼建議工具 GitHub Copilot。

現(xiàn)在，微軟正在準(zhǔn)備將OpenAI的語言AI技術(shù)引入Word、PowerPoint和Outlook等應(yīng)用程序。

未來，微軟將增加對(duì)專業(yè)超級(jí)計(jì)算系統(tǒng)部署的投資，以加速OpenAI的AI研究，并將OpenAI的AI系統(tǒng)與其產(chǎn)品集成，同時(shí)“引入新的數(shù)字體驗(yàn)類別”。微軟的Azure云平臺(tái)將繼續(xù)成為OpenAI的獨(dú)家云提供商，為這家初創(chuàng)公司在研究、產(chǎn)品和API服務(wù)方面的工作負(fù)載提供動(dòng)力。

微軟 AI 平臺(tái)公司副總裁 Eric Boyd 表示，滿足培訓(xùn)和運(yùn)行 OpenAI 的 LLM 的需求推動(dòng)了創(chuàng)新，使所有 Azure 客戶受益。例如，微軟已經(jīng)為人工智能構(gòu)建了它認(rèn)為是世界上最強(qiáng)大的超級(jí)計(jì)算集群，并創(chuàng)造了多項(xiàng)軟件創(chuàng)新，以便更容易的在這些機(jī)器上訓(xùn)練和運(yùn)行大型人工智能模型。

Morningstar高級(jí)股票研究分析師Dan Romanoff 表示，即使OpenAI與Azure的合作不會(huì)立即對(duì) Azure 的收入產(chǎn)生影響，但它是一種很好的品牌定位和營(yíng)銷?！斑@是高調(diào)的，”他說?！澳軌?qū)?OpenAI 開發(fā)的 AI 解決方案放在 Azure 上，稱之為 Azure AI ：這讓他們保持競(jìng)爭(zhēng)力?！?微軟的云計(jì)算競(jìng)爭(zhēng)對(duì)手，谷歌、AWS、IBM、甲骨文、Salesforce 和其他公司，都有自己的“認(rèn)知”服務(wù)，但與創(chuàng)建 ChatGPT 的人聯(lián)系在一起也無妨。

對(duì)微軟來說，更大的收獲可能在于搜索業(yè)務(wù)?？萍汲霭嫖?The Information 最近報(bào)道，微軟計(jì)劃將 ChatGPT 集成到 Bing 中，可能允許它返回簡(jiǎn)單、簡(jiǎn)潔的查詢答案，并讓人們通過與該聊天機(jī)器人的對(duì)話而不是鏈接列表來更深入地研究。谷歌目前在搜索市場(chǎng)占據(jù)主導(dǎo)地位，全球市場(chǎng)份額超過 90%。Bing 排在第二位，所占份額約為 3%。2022 年前九個(gè)月，谷歌的搜索收入為 1200 億美元；總的來說，它約占谷歌收入的 60%左右。ChatGPT 可能為微軟提供了唯一一次真正的機(jī)會(huì)，它必須將谷歌從神壇上推下來。（微軟拒絕對(duì) The Information 的報(bào)道發(fā)表評(píng)論。）

雖然 130 億美元的總投資是一筆巨款，但僅占微軟過去 12 個(gè)月 850 億美元稅前利潤(rùn)的 15%，對(duì)于控制一項(xiàng)顛覆范式的技術(shù)而言，這是一筆相對(duì)便宜的投資。就 OpenAI 和 Altman 而言，他們可能會(huì)付出不同的代價(jià)：微軟的優(yōu)先級(jí)可能會(huì)擠占他們自己的優(yōu)先級(jí)，使他們更廣泛的使命面臨風(fēng)險(xiǎn)，并疏遠(yuǎn)推動(dòng)其成功的科學(xué)家。

OpenAI 表示，與其他人工智能實(shí)驗(yàn)室相比，它繼續(xù)發(fā)表更多的研究成果，它捍衛(wèi)其向產(chǎn)品重點(diǎn)的轉(zhuǎn)變。其首席技術(shù)官 Murati 認(rèn)為，不可能只在實(shí)驗(yàn)室里工作來構(gòu)建出通用人工智能（AGI）。，交付產(chǎn)品是發(fā)現(xiàn)人們想要如何使用和濫用技術(shù)的唯一途徑。她舉例說，在看到人們用 OpenAI 寫代碼之前，研究人員并不知道 GPT-3 最流行的應(yīng)用之一是寫代碼。同樣，OpenAI 最擔(dān)心的是人們會(huì)使用 GPT-3 來制造政治虛假信息。但事實(shí)證明，這種擔(dān)心是沒有根據(jù)的；相反，她說，最普遍的惡意使用是人們制造廣告垃圾郵件。最后，Murati 表示，OpenAI 希望將其技術(shù)推向世界，以“最大限度地減少真正強(qiáng)大的技術(shù)對(duì)社會(huì)的沖擊。” 她認(rèn)為，如果不讓人們知道未來可能會(huì)發(fā)生什么，先進(jìn)人工智能對(duì)社會(huì)的破壞將會(huì)更嚴(yán)重。

OpenAI 認(rèn)為，與微軟的關(guān)系創(chuàng)造了一種新的期望，即我們確實(shí)需要用AI 技術(shù)制造出某種有用的產(chǎn)品，但 OpenAI 文化的核心沒有改變。訪問 Microsoft 數(shù)據(jù)中心對(duì) OpenAI 的進(jìn)步至關(guān)重要。這種合作關(guān)系讓 OpenAI 能夠產(chǎn)生收入，同時(shí)保持商業(yè)上的低關(guān)注度，而具體在商業(yè)化價(jià)值挖掘方面，則讓具有很強(qiáng)銷售能力的微軟來做。

據(jù)《紐約時(shí)報(bào)》報(bào)道，谷歌的高管們擔(dān)心失去在搜索領(lǐng)域的主導(dǎo)地位，因此發(fā)布了“紅色警報(bào)”。據(jù)該報(bào)報(bào)道，谷歌 CEO 桑達(dá)爾·皮查伊 (Sundar Pichai) 已召開會(huì)議重新定義公司的 AI 戰(zhàn)略，并計(jì)劃在年內(nèi)發(fā)布 20 款支持 AI 的新產(chǎn)品，并展示用于搜索的聊天界面。谷歌擁有自己強(qiáng)大的聊天機(jī)器人，稱為 LaMDA，但一直猶豫是否要發(fā)布它，因?yàn)閾?dān)心如果它最終被濫用會(huì)損害聲譽(yù)。現(xiàn)在，該公司計(jì)劃根據(jù)ChatGPT“重新調(diào)整”其風(fēng)險(xiǎn)偏好，據(jù)該報(bào)報(bào)道，谷歌還在開發(fā)文本到圖像生成系統(tǒng)，以與 OpenAI 的 DALL-E 和其他系統(tǒng)競(jìng)爭(zhēng)。

看來，在OpenAI和谷歌的競(jìng)爭(zhēng)中，只是螳螂和蟬，而微軟則是黃雀，可能會(huì)獲得最大的收益。

因?yàn)?，按承諾，OpenAI要讓微軟收回全部投資需要相當(dāng)長(zhǎng)的時(shí)間，這也就意味著其研發(fā)能力會(huì)被微軟鎖定相當(dāng)長(zhǎng)的時(shí)間。從《財(cái)富》雜志看到的文件顯示，2022 年，OpenAI 有近 3000 萬美元的收入，不包括員工股票期權(quán)在內(nèi)，其凈虧損總額預(yù)計(jì)為 5.445 億美元。而由于運(yùn)營(yíng) ChatGPT，這些財(cái)務(wù)損失可能會(huì)飆升。

如果拉長(zhǎng)時(shí)間線，你會(huì)發(fā)現(xiàn)，在硅谷三巨頭之間產(chǎn)生的兩次巔峰對(duì)決，雙方當(dāng)家人都很有意思。

上一次的信息產(chǎn)業(yè)巔峰對(duì)決，是蘋果和微軟。兩位CEO史蒂夫·喬布斯和比爾·蓋茨這兩個(gè)人的經(jīng)歷堪稱傳奇，也有著千絲萬縷的聯(lián)系。兩個(gè)幾乎在同時(shí)興起的科技公司似乎一直都是亦敵亦友的關(guān)系。有人說他們是敵人，PC和Mac本就水火不相容，微軟的操作系統(tǒng)通過開放贏得了市場(chǎng)，蘋果的操作系統(tǒng)則與硬件綁定，因?yàn)榉忾]造成了衰敗。也有人說他們是朋友，在喬布斯回到蘋果做CEO的時(shí)候，微軟的投資支持功不可沒。

蘋果CEO史蒂夫·喬布斯（左），微軟CEO 比爾·蓋茨（右）

而這一次的人工智能巔峰對(duì)決，是微軟和谷歌的對(duì)決，也就是兩個(gè)印度人之間的競(jìng)爭(zhēng)。2014年和2015年，薩提亞·納德拉(Satya Nadella)和皮查伊兩位印度移民先后接管了全球最大的兩家互聯(lián)網(wǎng)巨頭微軟和谷歌。在兩人的運(yùn)營(yíng)下，兩大巨頭市值都翻了幾倍，最高市值總和曾經(jīng)超過2萬億美元。納德拉以“富有同理心”聞名，上任后成功改變微軟的企業(yè)文化；皮查伊為人內(nèi)斂，觀察、協(xié)調(diào)的能力卻很突出，深諳掌握人心的技巧。

谷歌CEO桑達(dá)爾·皮查伊（左）， 微軟CEO 薩提亞·納德拉（右）

2023年，GPT-4？

據(jù)說，GPT-4會(huì)在2023年發(fā)布。有人在推特指出，GPT-4 的參數(shù)高達(dá) 100 萬億。理由很簡(jiǎn)單，從GPT-1到GPT-3的發(fā)展來看，模型參數(shù)的增長(zhǎng)是性能的重要因素之一。

但 OpenAI 的 CEO Sam Altman 卻回復(fù)說：“大伙兒都太不冷靜了”。

到底 GPT-4 有多少參數(shù)呢？

推特用戶@Russell Thomas 表示，「GPT4 的參數(shù)數(shù)據(jù)是不對(duì)的。一年前就傳出 GPT4 的參數(shù)會(huì)達(dá)到 100 萬億，但最近被證實(shí)是不正確的。相關(guān)團(tuán)隊(duì)成員證實(shí)，GPT4 的參數(shù)量?jī)H會(huì)比 GPT3 稍大一些?！?/p>

另外，推特用戶@Omar 也表示，「GPT4 的網(wǎng)傳數(shù)據(jù)是錯(cuò)誤的，OpenAI 的工程師已經(jīng)確認(rèn)了這一點(diǎn)?！?/p>

從 DataCamp 不久前的文章「Everything We Know About GPT-4」也提到了關(guān)于模型大小的問題，表示確認(rèn)不會(huì)比 GPT 3 大很多。

綜合各方的消息，100 萬億參數(shù)量的 GPT-4 大概率是個(gè)假消息。

實(shí)際上，模型大小與其產(chǎn)生的結(jié)果的質(zhì)量沒有直接關(guān)系。參數(shù)的數(shù)量并不一定與AI模型的性能相關(guān)。這只是影響模型性能的一個(gè)因素。目前，其他公司有比GPT-3大得多的AI模型，但它們?cè)谛阅芊矫娌⒉皇亲詈玫摹＠?，Megatron-Turing NLG模型，由英偉達(dá)和微軟開發(fā)，擁有超過5000億個(gè)參數(shù)，是目前最大的模型。但盡管如此MT-NLG在性能方面并不是最好的。較小的模型可以達(dá)到更高的性能水平。

模型大小（數(shù)十億參數(shù)）。圖片由Nvidia提供。

此外，模型越大，微調(diào)它的成本就越高。GPT3訓(xùn)練起來足夠難，也很昂貴，但如果你把模型的大小增加100倍，就計(jì)算能力和模型所需的訓(xùn)練數(shù)據(jù)量而言，將是極其昂貴的。

因此，OpenAI在GPT-4中擁有100萬億參數(shù)的可能性很小，因?yàn)槿绻?xùn)練數(shù)據(jù)也沒有按比例增加，那么僅僅增加訓(xùn)練參數(shù)的數(shù)量并不會(huì)帶來任何顯著的改善。大型模型通常是未經(jīng)優(yōu)化的（以Megatron-Turing NLG為例）。訓(xùn)練模型非常昂貴，公司經(jīng)常不得不在AI模型精度和訓(xùn)練成本之間進(jìn)行權(quán)衡。例如，GPT-3只訓(xùn)練了一次，盡管AI模型存在錯(cuò)誤，但OpenAI認(rèn)為成本太高而沒有再次訓(xùn)練模型。

這一切都意味著OpenAI可能會(huì)開始避免“越大越好”的方法，而是專注于模型本身的質(zhì)量。最有可能的是，GPT-4的大小與GPT-3大致相同。

更有趣的是，OpenAI可能會(huì)將重點(diǎn)轉(zhuǎn)移到影響模型性能的其他方面，例如算法和對(duì)齊。GPT-4可能是第一個(gè)以稀疏為核心的大型AI模型。稀疏模型使用條件計(jì)算來降低計(jì)算成本——并非AI模型中的所有神經(jīng)元在任何給定時(shí)間都處于活動(dòng)狀態(tài)。該模型可以輕松擴(kuò)展到超過萬億個(gè)參數(shù)而不會(huì)產(chǎn)生高昂的計(jì)算成本。稀疏模型還可以更好地理解上下文——它們可以根據(jù)用戶提供的內(nèi)容保留更多的“下一個(gè)單詞/句子”選擇。因此，稀疏模型比它們的前輩更類似于實(shí)際的人類思維。

總結(jié)

從OpenAI和谷歌的競(jìng)爭(zhēng)來看，在語言模型技術(shù)方面各有所長(zhǎng)。

從結(jié)果來看，分成三個(gè)維度的競(jìng)爭(zhēng)。在模型的規(guī)模上，在模型的效率上，模型的應(yīng)用領(lǐng)域上。

雖然谷歌推出了1.6萬億的Switch Transformer模型，貌似優(yōu)勢(shì)很大。但OpenAI從模型效率更勝一籌。而商業(yè)應(yīng)用，效率決定了迭代速度和成本。從2022年3月，OpenAI推出InstructGPT開始，兩家的競(jìng)爭(zhēng)分化了。更強(qiáng)的是，GPT-3的模型也遷移到了圖像生成和代碼生成方面。因此，OpenAI在2個(gè)維度上獲勝。

可以預(yù)測(cè)是，GPT-4將繼續(xù)延續(xù)這個(gè)效率競(jìng)爭(zhēng)的路線，將會(huì)推動(dòng)新一輪的AI模型競(jìng)爭(zhēng)。

雖然許多人都因?yàn)镃hatGPT而形成對(duì)GPT-4 的巨大樂觀情緒，但從技術(shù)迭代的周期看，GPT-4 在架構(gòu)上與 GPT-3 基本相同?？梢灶A(yù)期這種方法仍然會(huì)受到其根本缺陷的困擾，目前存在的許多問題并不能被解決。

它的準(zhǔn)確性還存在不確定性，仍然會(huì)以難以完全預(yù)測(cè)的方式，犯大量的錯(cuò)誤。

對(duì)物理、心理和數(shù)學(xué)世界的推理仍舊不可靠，尤其是在更長(zhǎng)、更復(fù)雜的場(chǎng)景下。

GPT-4不會(huì)是一個(gè)能解決任意任務(wù)的通用人工智能。它仍然只是一個(gè)基于語言文本的生成器，一個(gè)提供頭腦風(fēng)暴和初稿的好工具，但不是值得信賴的通用智能。

但是，像 GPT-4 這樣的大型語言模型可能會(huì)成為 AGI（通用人工智能）最終解決方案的一部分。需要有“擴(kuò)展”能力，吸收整個(gè)互聯(lián)網(wǎng)的內(nèi)容，結(jié)合了一定程度的用于推理和規(guī)劃的工具等。未來，人工智能的重點(diǎn)將從關(guān)注擴(kuò)展大型語言模型，轉(zhuǎn)移到關(guān)注將它們與廣泛的其他技術(shù)集成。

而就在GPT這樣的語言模型與真實(shí)世界建立更多的連接，與更多技術(shù)集成的過程中，將會(huì)涌現(xiàn)更多的機(jī)會(huì)。比如，知名筆記軟件Notion提供了基于GPT-3的智能文案生成服務(wù)，用戶提出需求，就能看到AI完成文案初稿。

而在應(yīng)用所集成的AI模型和云平臺(tái)等層面，則是谷歌和微軟的爭(zhēng)霸戰(zhàn)。

可以想象，未來，當(dāng)云計(jì)算和各種應(yīng)用都被AI賦能后，在許多應(yīng)用都將出現(xiàn)大量創(chuàng)新。

一起去探索AI應(yīng)用邊界吧！期待更有趣的發(fā)現(xiàn)。

關(guān)鍵詞： 人工智能 chatgpt openai altman