Facebook 開(kāi)源自然語(yǔ)言處理模型，可檢索文檔回答問(wèn)題

Facebook和AI初創(chuàng)公司Hugging Face今天開(kāi)源了一種AI模型檢索增強(qiáng)生成（RAG），這是一種自然語(yǔ)言處理模型，可以查找和解釋上下文信息來(lái)完成一系列任務(wù)。

RAG可以通過(guò)通過(guò)動(dòng)態(tài)地改變或補(bǔ)充其內(nèi)部知識(shí)，使研究人員能夠控制模型掌握的內(nèi)容，研究人員不必對(duì)其計(jì)算能力進(jìn)行再培訓(xùn)就可以獲得最先進(jìn)的結(jié)果。

從今天開(kāi)始，RAG可以作為Hugging Face轉(zhuǎn)換器庫(kù)的組件提供，與新的數(shù)據(jù)庫(kù)集成，提供RAG所依賴(lài)的索引知識(shí)源。

RAG整合知識(shí)的“后期融合”方式

自然語(yǔ)言理解領(lǐng)域的前沿工作已經(jīng)產(chǎn)生了通用模型，這些模型雖然常常存在缺陷，但是是可以推廣的。到目前為止，大多數(shù)模型已經(jīng)應(yīng)用于無(wú)需知識(shí)背景就可以生成解決方案的任務(wù)中，比如情緒分析這類(lèi)任務(wù)。

相比之下RAG使用輸入數(shù)據(jù)從像Wikipedia這樣的數(shù)據(jù)庫(kù)中檢索相關(guān)的文檔。例如，給出一個(gè)“地球上第一個(gè)哺乳動(dòng)物是什么時(shí)候出現(xiàn)的？”的問(wèn)題，RAG可能會(huì)提供“哺乳動(dòng)物”、“地球歷史”、“哺乳動(dòng)物進(jìn)化”等文獻(xiàn)作為上下文與輸入連接，然后輸入模型以生成輸出文本。

根據(jù)Facebook的說(shuō)法，RAG利用了一種“后期融合”的形式來(lái)整合檢索到的文檔中的知識(shí)，這意味著它在聚合最終的預(yù)測(cè)分?jǐn)?shù)之前對(duì)文檔問(wèn)題對(duì)進(jìn)行答案預(yù)測(cè)。當(dāng)它可以訪問(wèn)包含答案線索的文檔時(shí)，如果答案不是逐字陳述的，RAG的性能會(huì)進(jìn)一步提高。在某些情況下，RAG甚至?xí)纱鸢?，而這些答案并不包含在檢索到的任何文檔中。

RAG擅長(zhǎng)知識(shí)密集型自然語(yǔ)言問(wèn)題

Facebook稱(chēng)，當(dāng)對(duì)諸如包含來(lái)自Google搜索用戶(hù)的問(wèn)題的NaturalQuestions之類(lèi)的開(kāi)放域數(shù)據(jù)集進(jìn)行基準(zhǔn)測(cè)試時(shí)，RAG顯示了在找不到答案的情況下生成正確答案的訣竅。

RAG還擅長(zhǎng)于知識(shí)密集型的自然語(yǔ)言問(wèn)題，F(xiàn)acebook通過(guò)創(chuàng)建受Jeopardy啟發(fā)的問(wèn)題進(jìn)行了探索。與其他同類(lèi)模型相比，RAG產(chǎn)生的問(wèn)題更加具體、多樣且更加真實(shí)。這也許是因?yàn)镽AG能夠利用從多個(gè)來(lái)源獲得的不同信息綜合出不同的答案的能力。

RAG的研究經(jīng)理Sebastian Riedel表示，雖然RAG在Facebook的生產(chǎn)中沒(méi)有使用，但其背后的團(tuán)隊(duì)正在積極迭代以減少潛在的偏見(jiàn)。他們將培訓(xùn)數(shù)據(jù)集中的文檔限制在Wikipedia上，他們認(rèn)為Wikipedia比當(dāng)今許多語(yǔ)言模型的網(wǎng)絡(luò)爬蟲(chóng)更安全。

RAG的最大優(yōu)勢(shì)：靈活性

研究人員正在探索RAG的一個(gè)版本，這個(gè)版本可以最大程度地降低剩余風(fēng)險(xiǎn)，以便達(dá)到一貫的輸出安全的程度。他們正在研究如何擴(kuò)展RAG，使其多通道化，并使其同時(shí)使用多個(gè)知識(shí)源進(jìn)行操作。

Sebastian Riedel說(shuō)：“RAG的真正優(yōu)勢(shì)在于它的靈活性，要改變一個(gè)預(yù)先訓(xùn)練過(guò)的語(yǔ)言模型所知道的東西，需要用新的文檔對(duì)整個(gè)模型進(jìn)行再訓(xùn)練。通過(guò)RAG，我們可以通過(guò)交換用于知識(shí)檢索的文檔來(lái)控制它所知道的內(nèi)容。我們?cè)趲в蠷AG的NaturalQuestions，CuratedTrec和WebQuestions上獲得了非常出色的結(jié)果，表明可以用生成的而不是提取的讀取器來(lái)實(shí)現(xiàn)最新的機(jī)器讀取性能?！?/span>

Facebook認(rèn)為RAG具有廣闊的潛力，它斷言這將使研究人員能夠僅用幾行代碼就可以為知識(shí)密集型任務(wù)部署解決方案。

Facebook方面稱(chēng)，“RAG允許NLP模型繞過(guò)再培訓(xùn)步驟，訪問(wèn)和提取最新的信息，然后使用生成器輸出結(jié)果。我們預(yù)見(jiàn)未來(lái)對(duì)知識(shí)密集型任務(wù)的研究潛力，這些任務(wù)就像今天的情緒分析這樣的輕量級(jí)知識(shí)任務(wù)一樣簡(jiǎn)單易懂?！?/span>