我經(jīng)常對OpenAI自與Microsoft開始合作以來所走的道路敲響警鐘。我認(rèn)為人工智能實(shí)驗(yàn)室已經(jīng)逐漸從追求科學(xué)轉(zhuǎn)向?yàn)槠渲饕鹑谥С终邉?chuàng)造有利可圖的產(chǎn)品。

本周，OpenAI首席執(zhí)行官山姆奧特曼(Sam Altman)在一篇博文中打消了我的一些疑慮，他在博文中闡述了實(shí)驗(yàn)室的通用人工智能(AGI)計(jì)劃。無論您對AGI爭論持何種立場，該帖子都包含一些關(guān)于OpenAI計(jì)劃如何應(yīng)對AI研究和產(chǎn)品開發(fā)挑戰(zhàn)的有趣觀點(diǎn)。我認(rèn)為這很重要，因?yàn)樵S多其他研究實(shí)驗(yàn)室在未來幾年將面臨類似的挑戰(zhàn)。

Altman還留下了一些未解決的問題，考慮到該領(lǐng)域正在經(jīng)歷的不斷變化，這可能是公平的。以下是我從OpenAI的AGI策略中得出的一些重要結(jié)論。

AGI研究可能（預(yù)計(jì)）會(huì)碰壁

該帖子的介紹是關(guān)于AGI的好處和風(fēng)險(xiǎn)。一方面，AGI可以提升人性、發(fā)現(xiàn)新知識(shí)、推動(dòng)經(jīng)濟(jì)發(fā)展、放大創(chuàng)造力等。另一方面，它可能帶來極端風(fēng)險(xiǎn)、社會(huì)混亂、事故等。

但是有一些有趣的事實(shí)。Altman承認(rèn)，“我們目前的進(jìn)展可能會(huì)碰壁。”考慮到圍繞大型語言模型(LLM)的炒作，我認(rèn)為這很重要。LLM和其他深度學(xué)習(xí)模型的不斷進(jìn)步使一些人相信我們正在創(chuàng)造AGI的道路上。但有明顯跡象表明，僅靠LLM無法解決情報(bào)的關(guān)鍵方面，如果被委以敏感任務(wù)，可能會(huì)犯致命錯(cuò)誤。

我希望Altman詳細(xì)說明的一件事是他們在LLM以外的領(lǐng)域的研究計(jì)劃。過去，OpenAI在各個(gè)領(lǐng)域進(jìn)行研究，包括機(jī)器人技術(shù)和不同的強(qiáng)化學(xué)習(xí)系統(tǒng)。在過去幾年中，這些努力幾乎從OpenAI的研究中消失了。盡管這些領(lǐng)域可能被證明非常昂貴且無利可圖（至少在短期內(nèi)），但它們可能會(huì)為解開情報(bào)之謎提供有價(jià)值的信息。

Altman提出的另一個(gè)重要觀點(diǎn)是：“我們不希望未來成為一個(gè)不合格的烏托邦，但我們希望將好的一面最大化，將壞的一面最小化，讓AGI成為人類的放大器。”現(xiàn)在，總的來說這是一個(gè)很好的觀點(diǎn)，但它留下了一些難題：我們?nèi)绾味x好與壞？誰將成為價(jià)值的仲裁者？我們想要擴(kuò)大人性的哪些方面，以最大限度地發(fā)揮善意并最大限度地減少壞處？

逐步過渡到AGI

我認(rèn)為這篇文章更有趣的部分是OpenAI的短期戰(zhàn)略。在這里，Altman的想法反映了OpenAI從為數(shù)百萬用戶部署AI系統(tǒng)中學(xué)到的東西。

首先，他說“逐漸過渡”比突然過渡要好，因?yàn)樗试S我們逐步調(diào)整。

“逐步過渡讓人們、政策制定者和機(jī)構(gòu)有時(shí)間了解正在發(fā)生的事情，親身體驗(yàn)這些系統(tǒng)的好處和缺點(diǎn)，調(diào)整我們的經(jīng)濟(jì)，并制定監(jiān)管，”奧特曼寫道。

與我交談過的科學(xué)家、研究人員和從業(yè)者都同意，鑒于人工智能對日常生活的影響，它不再是科學(xué)家在實(shí)驗(yàn)室開發(fā)的東西。它應(yīng)該成為一個(gè)多學(xué)科領(lǐng)域，包括來自各個(gè)領(lǐng)域的人，包括人文科學(xué)、工程和法學(xué)。這將幫助我們更好地理解強(qiáng)大的深度學(xué)習(xí)模型將對社會(huì)、經(jīng)濟(jì)和政治產(chǎn)生的影響。

Altman還談到通過“快速學(xué)習(xí)和仔細(xì)迭代的緊密反饋循環(huán)”來應(yīng)對AI部署挑戰(zhàn)。這意味著要有一種心態(tài)，即您對技術(shù)的所有假設(shè)都可能是錯(cuò)誤的。因此，它需要有適當(dāng)?shù)墓ぞ吆突A(chǔ)設(shè)施來不斷收集用戶和開發(fā)人員的反饋并定期更新模型。近年來，OpenAI幾乎完美地掌握了這一點(diǎn)。

這些實(shí)踐幫助他們將技術(shù)推向了意想不到的方向。例如，GPT-3最初是用于與語言相關(guān)的任務(wù)。在此過程中，OpenAI團(tuán)隊(duì)了解到可以對同一模型進(jìn)行微調(diào)以生成軟件代碼，這已成為迄今為止LLM最成功的應(yīng)用之一。

AI不開放

OpenAI經(jīng)常受到批評，因?yàn)樗鼪]有向公眾發(fā)布其模型并利用其研究來盈利和籌集資金。

Altman為實(shí)驗(yàn)室所走的道路辯護(hù)說，“最佳決策將取決于技術(shù)所走的道路”，并且在真空中進(jìn)行規(guī)劃非常困難。在腳注中，他解釋說，他們作為非營利組織的原始結(jié)構(gòu)沒有奏效，因?yàn)樗麄冋J(rèn)為規(guī)模（即訓(xùn)練更大、更昂貴的神經(jīng)網(wǎng)絡(luò)）并不像事實(shí)證明的那么重要。他還表示，“我們最初關(guān)于開放性的想法是錯(cuò)誤的”，這意味著他們將繼續(xù)將功能更強(qiáng)大的模型隱藏在API之后。

Altman說：“我們相信，民主化的訪問還將帶來更多更好的研究、分散的權(quán)力、更多的利益以及更多的人貢獻(xiàn)新想法。”

我覺得這部分有點(diǎn)問題。OpenAI使用的API模型將使更多人更容易訪問AI系統(tǒng)，而無需經(jīng)歷建立模型的技術(shù)難題。而這確實(shí)會(huì)幫助更多的人為該領(lǐng)域貢獻(xiàn)新的想法。

但某些類型的研究需要訪問訓(xùn)練數(shù)據(jù)以及模型權(quán)重和架構(gòu)，而OpenAI并未提供這些數(shù)據(jù)。透明和共享一直是科學(xué)進(jìn)步的基石。但不幸的是，隨著AI研究實(shí)驗(yàn)室越來越傾向于對其模型的細(xì)節(jié)保密，來自不同組織的科學(xué)家之間的合作變得越來越困難。

另外，與Altman所說的相反，OpenAI奉行的政策并不是去中心化權(quán)力。它將其集中在微軟手中，微軟擁有OpenAI技術(shù)的獨(dú)家許可。它還引發(fā)了一場人工智能軍備競賽，其他大型科技公司也在尋求與其他研究實(shí)驗(yàn)室進(jìn)行類似交易。

定制人工智能模型

Altman提出的重要觀點(diǎn)之一——可以追溯到確定人工智能促進(jìn)的價(jià)值——是“創(chuàng)建越來越一致和可控的模型”。OpenAI在這方面的主要成就之一是使用人類反饋強(qiáng)化學(xué)習(xí)(RLHF)使LLM與人類意圖保持一致。

但是，通過集中處理將對齊烘焙到模型中存在問題。ChatGPT發(fā)布后，許多用戶發(fā)布了該模型的實(shí)例，顯然在敏感的政治和社會(huì)問題上“偏袒”了一方。目前尚不清楚問題是由于訓(xùn)練數(shù)據(jù)的偏差還是OpenAI實(shí)施的護(hù)欄造成的。但顯而易見的是，您無法找到能夠滿足所有個(gè)人和群體偏好的通用解決方案。

Altman認(rèn)為，這個(gè)問題可以通過讓社會(huì)“就如何使用AI的極其廣泛的范圍達(dá)成一致”并讓用戶自行決定在這些范圍內(nèi)使用AI來解決。（我不確定是否有可能以一種可以提供足夠靈活性同時(shí)防止濫用模型的方式定義“寬邊界”。我們將不得不拭目以待。）

“我們產(chǎn)品的‘默認(rèn)設(shè)置’可能會(huì)受到很大限制，但我們計(jì)劃讓用戶可以輕松更改他們正在使用的AI的行為，”Altman寫道。“我們相信賦予個(gè)人做出自己的決定和思想多樣性的內(nèi)在力量。”

OpenAI已經(jīng)提供了使用自定義數(shù)據(jù)集微調(diào)GPT-3的工具。我希望將來他們也能推出用于RLHF微調(diào)的工具。OpenAI已經(jīng)在研究幾種新的AI對齊技術(shù)。重要的是，創(chuàng)造更好的人工智能并不總是依賴于發(fā)明更先進(jìn)的架構(gòu)。尋找將人工智能與人類直覺相結(jié)合的方法有助于事半功倍，并將現(xiàn)有技術(shù)提升到一個(gè)新的水平。

平衡人工智能研究和盈利

Altman表示，需要圍繞三個(gè)關(guān)鍵領(lǐng)域展開全球?qū)υ挘喝斯ぶ悄苤卫怼⒐椒峙淅婧凸将@取。沒有啟動(dòng)這一全球?qū)υ挼乃{(lán)圖。有這么多利益沖突，我不確定這樣的對話是否可能。軟件不是可以輕易監(jiān)管的東西。

Altman還解釋了OpenAI為協(xié)調(diào)其科學(xué)和商業(yè)激勵(lì)措施所做的努力。這些努力包括OpenAI章程中的一個(gè)條款，該條款規(guī)定“如果一個(gè)價(jià)值一致、有安全意識(shí)的項(xiàng)目在我們之前接近構(gòu)建AGI，我們承諾停止與該項(xiàng)目競爭并開始協(xié)助該項(xiàng)目。”

我不知道OpenAI計(jì)劃如何實(shí)施這一條款，因?yàn)槲覀儾恢篮笃贏GI系統(tǒng)會(huì)是什么樣子。但擁有這個(gè)廣泛的框架來定期重新評估公司的方向是件好事。

Altman還表示，公司的利潤上限結(jié)構(gòu)將阻止股東不受約束地獲取價(jià)值，并推動(dòng)公司“部署具有潛在災(zāi)難性危險(xiǎn)的東西”。OpenAI可能已經(jīng)為自己設(shè)置了護(hù)欄，但它籌集的大量資金以及微軟將OpenAI的技術(shù)集成到其產(chǎn)品中所采取的方向有可能導(dǎo)致OpenAI試圖阻止的非常災(zāi)難性的危險(xiǎn)發(fā)展。

奧特曼提出了另外兩個(gè)重要觀點(diǎn)。首先，需要對新系統(tǒng)進(jìn)行獨(dú)立審計(jì)。這可能會(huì)解決我之前提出的一些透明度問題以及因不公開模型而導(dǎo)致的問題。但這實(shí)際上取決于審計(jì)過程的細(xì)節(jié)，OpenAI將在今年晚些時(shí)候宣布。

其次是需要限制訓(xùn)練模型所需的計(jì)算速率。GPT-3等模型的計(jì)算要求使得小公司幾乎不可能自行開展工作。研究增加較小模型的能力可以幫助該領(lǐng)域的民主化，盡管它也需要開源模型。

最后的想法

隨著AI的如此多的發(fā)展，期望OpenAI提供完美的路線圖是不現(xiàn)實(shí)的。這就是為什么我很欣賞Sam Altman的文章，盡管我希望看到所有問題的解答。

當(dāng)然，我們的許多問題都沒有完美的答案。但重要的是定期進(jìn)行這些對話并了解我們的立場并調(diào)整路線。我們將密切關(guān)注它是如何展開的。