黑客可能結(jié)合AI聊天機(jī)器人、公開(kāi)網(wǎng)站對(duì)用戶發(fā)動(dòng)攻擊

Bing或ChatGPT可接受用戶詢問(wèn)回答問(wèn)題，但研究人員發(fā)現(xiàn)，若經(jīng)過(guò)結(jié)合第三方網(wǎng)站，這些AI聊天機(jī)器人也能被黑客利用執(zhí)行間接攻擊，像是發(fā)送釣魚(yú)網(wǎng)站，或讓用戶泄漏其身份資訊。

Bing及ChatGPT為代表的大型語(yǔ)言模型（Large Language Model，LLM）提供的提示窗格，使輸入資料和指令的界線模糊化，若配合狡猾提示，可能使其變?yōu)楣艄ぞ?。目前已?jīng)有些研究利用指令注入（prompt injection，PI）技巧對(duì)用戶發(fā)動(dòng)攻擊，像是產(chǎn)生惡意內(nèi)容或程序代碼，或復(fù)寫(xiě)原有指令而執(zhí)行惡意企圖。

現(xiàn)有攻擊研究都假設(shè)攻擊者直接對(duì)LLM下提示的場(chǎng)景，但方法是將攻擊指令存儲(chǔ)在內(nèi)存緩沖里，難度較高。德國(guó)安全研究人員Kai Greshake及其團(tuán)隊(duì)展示，會(huì)執(zhí)行檢索（retrieval）及API調(diào)用的LLM（稱為Application Integrated LLM）可被下毒而用作間接執(zhí)行PI攻擊，執(zhí)行難度相對(duì)較低。

Greshake及其團(tuán)隊(duì)一項(xiàng)研究披露，間接PI攻擊是利用公開(kāi)資源，像是可顯示于搜索引擎結(jié)果或社群平臺(tái)貼文的網(wǎng)站，或以程序庫(kù)導(dǎo)入的程序代碼產(chǎn)生，前者可以是許多用戶訪問(wèn)的網(wǎng)站如Wikipedia，或是自己設(shè)立的惡意網(wǎng)站。研究人員先是在公開(kāi)資源秘密注入指令，待用戶使用的LLM（如Bing Chat或ChatGPT）檢索這些資源時(shí)進(jìn)行下毒。利用LLM的社交工程（如對(duì)話）能力，可引導(dǎo)用戶泄漏隱私，例如自己的姓名。研究人員說(shuō)，這種攻擊手法可用于國(guó)家企圖追查報(bào)道爭(zhēng)議事件的記者或是吹哨者身份。

這種間接攻擊中，攻擊者也可以修改自己設(shè)置的網(wǎng)站，以更新指令，或是遠(yuǎn)程控制LLM。此外，研究人員還提出，可以提示包在電子郵件中，送入自動(dòng)化垃圾郵件偵測(cè)或個(gè)人助理模型，則能化被動(dòng)為主動(dòng)，將提示主動(dòng)注入LLM。

研究人員示范對(duì)Bing Chat進(jìn)行的間接指令注入攻擊。方法是攻擊者設(shè)立目標(biāo)用戶會(huì)訪問(wèn)的惡意網(wǎng)站，注入字級(jí)大小為0的提示，當(dāng)目標(biāo)用戶和Bing Chat對(duì)話時(shí)，Bing Chat就能處理這個(gè)提示，設(shè)法讓用戶吐露自己身份。在其示范例子中，研究人員以海盜版Bing吸引用戶好奇，并誘使用戶提供自己的姓名，或發(fā)送URL讓用戶填寫(xiě)。

目前研究人員尚未能將其研究付諸真實(shí)網(wǎng)站或模型測(cè)試，不過(guò)已選定一個(gè)使用大型GPT模型的合成應(yīng)用程序。此外，LLM主動(dòng)詢問(wèn)姓名可能會(huì)讓一般用戶起疑，但研究人員表示，就和所有社交工程攻擊一樣，用戶可能會(huì)在警戒心降低時(shí)上鉤。