像GPT3、ChatGPT和BARD這樣的大型語(yǔ)言模型(LLM)如今風(fēng)靡一時(shí)。每個(gè)人都對(duì)這些工具對(duì)社會(huì)的好壞以及它們對(duì)AI的未來(lái)意味著什么有自己的看法。谷歌因其新模型BARD錯(cuò)了一個(gè)復(fù)雜的問(wèn)題(輕微)而受到了很多批評(píng)。當(dāng)被問(wèn)到“我可以告訴我9歲的孩子關(guān)于詹姆斯·韋伯太空望遠(yuǎn)鏡的哪些新發(fā)現(xiàn)?”–聊天機(jī)器人提供了三個(gè)答案，其中2個(gè)正確，1個(gè)錯(cuò)誤。錯(cuò)誤的是第一張“系外行星”照片是由JWST拍攝的，這是不正確的。所以基本上，該模型在其知識(shí)庫(kù)中存儲(chǔ)了一個(gè)不正確的事實(shí)。為了使大型語(yǔ)言模型有效，我們需要一種方法來(lái)更新這些事實(shí)或用新知識(shí)擴(kuò)充事實(shí)。

讓我們首先看看事實(shí)是如何存儲(chǔ)在大型語(yǔ)言模型(LLM)中的。大型語(yǔ)言模型不像數(shù)據(jù)庫(kù)或文件那樣存儲(chǔ)傳統(tǒng)意義上的信息和事實(shí)。相反，他們接受了大量文本數(shù)據(jù)的訓(xùn)練，并學(xué)習(xí)了這些數(shù)據(jù)中的模式和關(guān)系。這使他們能夠?qū)?wèn)題生成類(lèi)似人類(lèi)的回答，但他們沒(méi)有特定的存儲(chǔ)位置來(lái)存儲(chǔ)他們學(xué)到的信息。在回答問(wèn)題時(shí)，模型會(huì)使用其訓(xùn)練來(lái)根據(jù)收到的輸入生成響應(yīng)。語(yǔ)言模型所擁有的信息和知識(shí)是它在其訓(xùn)練數(shù)據(jù)中學(xué)習(xí)到的模式的結(jié)果，而不是它被顯式存儲(chǔ)在模型內(nèi)存中的結(jié)果。

因此，如果LLM內(nèi)存中的事實(shí)是錯(cuò)誤的或陳舊的，則需要通過(guò)提示提供新信息。提示是發(fā)送給LLM的文本，其中包含查詢和支持證據(jù)，這些證據(jù)可以是一些新的或更正的事實(shí)。這里有3種方法來(lái)解決這個(gè)問(wèn)題。

1.糾正LLM編碼事實(shí)的一種方法是使用外部知識(shí)庫(kù)提供與上下文相關(guān)的新事實(shí)。該知識(shí)庫(kù)可能是用于獲取相關(guān)信息的API調(diào)用或?qū)QL、No-SQL或Vector數(shù)據(jù)庫(kù)的查找。可以從存儲(chǔ)數(shù)據(jù)實(shí)體及其之間關(guān)系的知識(shí)圖譜中提取更高級(jí)的知識(shí)。根據(jù)用戶查詢的信息，可以檢索相關(guān)上下文信息并將其作為附加事實(shí)提供給LLM。這些事實(shí)也可以格式化為看起來(lái)像訓(xùn)練示例以改進(jìn)學(xué)習(xí)過(guò)程。例如，您可能會(huì)為模型傳遞一堆問(wèn)答對(duì)，以學(xué)習(xí)如何提供答案。

2.一種更創(chuàng)新(也更昂貴)的增強(qiáng)LLM的方法是使用訓(xùn)練數(shù)據(jù)進(jìn)行實(shí)際微調(diào)。因此，我們不是查詢知識(shí)庫(kù)以添加特定事實(shí)，而是通過(guò)對(duì)知識(shí)庫(kù)進(jìn)行采樣來(lái)構(gòu)建訓(xùn)練數(shù)據(jù)集。使用諸如微調(diào)之類(lèi)的監(jiān)督學(xué)習(xí)技術(shù)，我們可以創(chuàng)建一個(gè)新版本的LLM，該版本是根據(jù)這些額外知識(shí)進(jìn)行訓(xùn)練的。這個(gè)過(guò)程通常很昂貴，在OpenAI中構(gòu)建和維護(hù)一個(gè)微調(diào)模型可能要花費(fèi)幾千美元。當(dāng)然，隨著時(shí)間的推移，成本預(yù)計(jì)會(huì)變得更便宜。

3.另一種選擇是使用強(qiáng)化學(xué)習(xí)(RL)等方法通過(guò)人類(lèi)反饋來(lái)訓(xùn)練代理并學(xué)習(xí)如何回答問(wèn)題的策略。這種方法在構(gòu)建擅長(zhǎng)特定任務(wù)的較小足跡模型方面非常有效。例如，OpenAI發(fā)布的著名ChatGPT是在監(jiān)督學(xué)習(xí)和RL與人類(lèi)反饋相結(jié)合的基礎(chǔ)上進(jìn)行訓(xùn)練的。

總之，這是一個(gè)高度發(fā)展的空間，每家大公司都希望進(jìn)入并展示他們的差異化。我們很快就會(huì)在零售、醫(yī)療保健和銀行業(yè)等大多數(shù)領(lǐng)域看到主要的LLM工具，它們可以像人類(lèi)一樣理解語(yǔ)言的細(xì)微差別。這些與企業(yè)數(shù)據(jù)集成的LLM支持的工具可以簡(jiǎn)化訪問(wèn)并在正確的時(shí)間向正確的人提供正確的數(shù)據(jù)。