Facebook和AI初創(chuàng)公司Hugging Face今天開(kāi)源了一種AI模型檢索增強(qiáng)生成(RAG),這是一種自然語(yǔ)言處理模型,可以查找和解釋上下文信息來(lái)完成一系列任務(wù)。
RAG可以通過(guò)通過(guò)動(dòng)態(tài)地改變或補(bǔ)充其內(nèi)部知識(shí),使研究人員能夠控制模型掌握的內(nèi)容,研究人員不必對(duì)其計(jì)算能力進(jìn)行再培訓(xùn)就可以獲得最先進(jìn)的結(jié)果。
從今天開(kāi)始,RAG可以作為Hugging Face轉(zhuǎn)換器庫(kù)的組件提供,與新的數(shù)據(jù)庫(kù)集成,提供RAG所依賴(lài)的索引知識(shí)源。
RAG整合知識(shí)的“后期融合”方式
自然語(yǔ)言理解領(lǐng)域的前沿工作已經(jīng)產(chǎn)生了通用模型,這些模型雖然常常存在缺陷,但是是可以推廣的。到目前為止,大多數(shù)模型已經(jīng)應(yīng)用于無(wú)需知識(shí)背景就可以生成解決方案的任務(wù)中,比如情緒分析這類(lèi)任務(wù)。
相比之下RAG使用輸入數(shù)據(jù)從像Wikipedia這樣的數(shù)據(jù)庫(kù)中檢索相關(guān)的文檔。例如,給出一個(gè)“地球上第一個(gè)哺乳動(dòng)物是什么時(shí)候出現(xiàn)的?”的問(wèn)題,RAG可能會(huì)提供“哺乳動(dòng)物”、“地球歷史”、“哺乳動(dòng)物進(jìn)化”等文獻(xiàn)作為上下文與輸入連接,然后輸入模型以生成輸出文本。
根據(jù)Facebook的說(shuō)法,RAG利用了一種“后期融合”的形式來(lái)整合檢索到的文檔中的知識(shí),這意味著它在聚合最終的預(yù)測(cè)分?jǐn)?shù)之前對(duì)文檔問(wèn)題對(duì)進(jìn)行答案預(yù)測(cè)。當(dāng)它可以訪問(wèn)包含答案線索的文檔時(shí),如果答案不是逐字陳述的,RAG的性能會(huì)進(jìn)一步提高。在某些情況下,RAG甚至?xí)纱鸢?,而這些答案并不包含在檢索到的任何文檔中。
RAG擅長(zhǎng)知識(shí)密集型自然語(yǔ)言問(wèn)題
Facebook稱(chēng),當(dāng)對(duì)諸如包含來(lái)自Google搜索用戶(hù)的問(wèn)題的NaturalQuestions之類(lèi)的開(kāi)放域數(shù)據(jù)集進(jìn)行基準(zhǔn)測(cè)試時(shí),RAG顯示了在找不到答案的情況下生成正確答案的訣竅。
RAG還擅長(zhǎng)于知識(shí)密集型的自然語(yǔ)言問(wèn)題,F(xiàn)acebook通過(guò)創(chuàng)建受Jeopardy啟發(fā)的問(wèn)題進(jìn)行了探索。與其他同類(lèi)模型相比,RAG產(chǎn)生的問(wèn)題更加具體、多樣且更加真實(shí)。這也許是因?yàn)镽AG能夠利用從多個(gè)來(lái)源獲得的不同信息綜合出不同的答案的能力。
RAG的研究經(jīng)理Sebastian Riedel表示,雖然RAG在Facebook的生產(chǎn)中沒(méi)有使用,但其背后的團(tuán)隊(duì)正在積極迭代以減少潛在的偏見(jiàn)。他們將培訓(xùn)數(shù)據(jù)集中的文檔限制在Wikipedia上,他們認(rèn)為Wikipedia比當(dāng)今許多語(yǔ)言模型的網(wǎng)絡(luò)爬蟲(chóng)更安全。
RAG的最大優(yōu)勢(shì):靈活性
研究人員正在探索RAG的一個(gè)版本,這個(gè)版本可以最大程度地降低剩余風(fēng)險(xiǎn),以便達(dá)到一貫的輸出安全的程度。他們正在研究如何擴(kuò)展RAG,使其多通道化,并使其同時(shí)使用多個(gè)知識(shí)源進(jìn)行操作。
Sebastian Riedel說(shuō):“RAG的真正優(yōu)勢(shì)在于它的靈活性,要改變一個(gè)預(yù)先訓(xùn)練過(guò)的語(yǔ)言模型所知道的東西,需要用新的文檔對(duì)整個(gè)模型進(jìn)行再訓(xùn)練。通過(guò)RAG,我們可以通過(guò)交換用于知識(shí)檢索的文檔來(lái)控制它所知道的內(nèi)容。我們?cè)趲в蠷AG的NaturalQuestions,CuratedTrec和WebQuestions上獲得了非常出色的結(jié)果,表明可以用生成的而不是提取的讀取器來(lái)實(shí)現(xiàn)最新的機(jī)器讀取性能?!?/span>
Facebook認(rèn)為RAG具有廣闊的潛力,它斷言這將使研究人員能夠僅用幾行代碼就可以為知識(shí)密集型任務(wù)部署解決方案。
Facebook方面稱(chēng),“RAG允許NLP模型繞過(guò)再培訓(xùn)步驟,訪問(wèn)和提取最新的信息,然后使用生成器輸出結(jié)果。我們預(yù)見(jiàn)未來(lái)對(duì)知識(shí)密集型任務(wù)的研究潛力,這些任務(wù)就像今天的情緒分析這樣的輕量級(jí)知識(shí)任務(wù)一樣簡(jiǎn)單易懂?!?/span>