在與谷歌 Bard 加持的搜索引擎較量中，微軟基于 ChatGPT 的新必應(yīng)似乎完全占據(jù)了上風(fēng)。
這些天看下來，在與谷歌 Bard 加持的搜索引擎較量中，微軟基于 ChatGPT 的新必應(yīng)似乎完全占據(jù)了上風(fēng)。但仍不禁要問，新必應(yīng)的搜索結(jié)果真的無懈可擊嗎？最近有來自新加坡南洋理工大學(xué)和新加坡技術(shù)設(shè)計大學(xué)的NLP研究者深扒了微軟發(fā)布會上搜索演示的細(xì)節(jié)，并揪出了很多錯誤。
2 月 8 號美東時間八點半，谷歌發(fā)布會在巴黎召開。前一天微軟正式推出了新一代 AI 驅(qū)動搜索引擎 New Bing，把基于 ChatGPT 技術(shù)的生成模型和 Bing 集成在一起。微軟副總裁 Yusuf Mehdi 進(jìn)行了一次完美的演示，當(dāng)日微軟市值暴漲 800 億美元。即便是在 OpenAI 沒有開放注冊的中國，朋友圈、微信群里 Yusuf 展示的生成模型如何增強(qiáng) Bing 搜索引擎和 Edge 瀏覽器體驗的片段也在瘋傳。汝之蜜糖，彼之砒霜，大家都在等著搜索巨頭谷歌怎么應(yīng)對。谷歌發(fā)布會的現(xiàn)場，大家都在等待傳說中跟 New Bing 對標(biāo)的 Bard 登場。作為有谷歌搜索引擎加持的大語言模型，大家對 Bard 充滿了遐想。然而，發(fā)布會現(xiàn)場，關(guān)于 Bard 的內(nèi)容并不多。于是大家又把眼光投向了谷歌在推特上發(fā)布的 Bard 視頻，仔細(xì)扒下來，大家突然發(fā)現(xiàn) Bard 在回答問題時犯了事實性錯誤。在被問及 “ 關(guān)于詹姆斯韋伯望遠(yuǎn)鏡的新發(fā)現(xiàn)，有什么可以告訴我九歲孩子的？” 時，Bard 回答道：第一張系外行星照片是由詹姆斯韋伯望遠(yuǎn)鏡拍攝。而事實卻是由歐洲南方天文臺的甚大望遠(yuǎn)鏡在 2004 年拍下的，此時距離詹姆斯韋伯望遠(yuǎn)鏡升空還有 18 年之久。這個錯誤成了谷歌當(dāng)日股價大跌的導(dǎo)火索。
圖 1 Bard 關(guān)于詹姆斯韋伯望遠(yuǎn)鏡演示截圖
而在巴黎發(fā)布會的現(xiàn)場，盡管 Bard 的展示部分只有 4 分鐘左右，其關(guān)于星座最佳觀測時間的回答同樣存在明顯的事實偏差。如下圖，Bard 的回答中提到獵戶座最佳觀測時間是十一月到二月。
圖 2 Bard 關(guān)于星系觀測時間演示截圖
根據(jù)不同信息源，獵戶座的最佳觀測時間不盡相同，但是都明確指出最佳觀測時段從每年一月起。教育科技網(wǎng)站 BYJU'S 提供的最佳時間為一月到三月，維基百科提供的最佳時間為一月到四月。
圖 3 BYJU‘S 關(guān)于獵戶座最佳觀測時間的解答由于 Bard 發(fā)布會相較于 New Bing 發(fā)布會的落差，以及被揪出了事實性錯誤，當(dāng)天谷歌市值暴跌近 1000 億美元，Bard 也因此被戲稱為史上最貴發(fā)布會。我們不禁好奇，在 New Bing 看似完美的發(fā)布會中，是不是也藏著事實性的錯誤呢？我們發(fā)現(xiàn)，New Bing 生成的內(nèi)容中摻雜了很多事實性錯誤，包括名人身份信息、財報數(shù)字、夜店營業(yè)時間，等等。對于以 GPT 系列（包括 ChatGPT、InstructGPT 等）、T5 為代表的生成模型，事實性錯誤可以粗分為以下兩類：- 生成內(nèi)容與引用內(nèi)容沖突。大語言模型在內(nèi)容生成過程中隨著序列增長，容易出現(xiàn)脫離引用內(nèi)容，造成增加、刪減或篡改原文的現(xiàn)象。
- 生成的內(nèi)容沒有事實依據(jù)。這類錯誤通俗來說就是一本正經(jīng)得胡說八道。沒有事實依據(jù)的指引，僅靠模型預(yù)訓(xùn)練時候存儲的信息很容易使模型在生成過程中不知所云。很大概率會生成與事實不符或是和問題無關(guān)的內(nèi)容。
現(xiàn)在我們來檢視 New Bing 發(fā)布會以及 New Bing 演示所展示的例子，是否存在事實性錯誤以及分別是什么類型。為了行文方便，我們把 New Bing 和集成在 Edge 的 New Bing 插件統(tǒng)稱為 New Bing。在 New Bing 發(fā)布會視頻 29:57 處，當(dāng) New Bing 被問到知名日本詩人時，給出的答案包括 Eriko Kishida 岸田惠理子 （1930-2004）, poet, playwright, and essayist 。
圖 4 New Bing 演示中日本詩人例子截圖
然而根據(jù)維基百科和 IMDB 提供的信息，Eriko Kishida 的生卒年分別為 1929 和 2011。同時，她也不是劇作家（playwright）和散文家（essaysit），而是詩人、翻譯家和童話作家。被 New Bing 轉(zhuǎn)了業(yè)還少活了八年，岸田的家人大概不太能接受。同時不幸被轉(zhuǎn)業(yè)的還有 Gackt 同學(xué)。據(jù)維基百科提供的信息，Gackt 玩過音樂、唱過歌、作過曲也演過戲，就是沒作過詩。在 New Bing 發(fā)布會視頻 35:49 處，Yusuf 展示集成了 New Bing 的 Edge 瀏覽器，對于打開的服飾公司蓋璞 （Gap） 2022 年第三季度的財報，如何進(jìn)行要點生成。乍眼一看，New Bing 的總結(jié)非常實用，用關(guān)鍵點的方式庖丁解牛一般展示了 Gap 三季報的要點，巴菲特看到此或許也會驚為真人。然而，當(dāng)我們找出 Gap 2022 年三季報，仔細(xì)閱讀過后，發(fā)現(xiàn) New Bing 的總結(jié)錯漏百出，讓人不忍直視。
圖 5 New Bing 對 Gap 2022 年第三季度財報的摘要首先，New Bing 給出了 Gap 調(diào)整后的運(yùn)營毛利率（reported operating margin, adjusted for impairment charges and restrucring costs）為 5.9%。然而在財報中，Gap 的運(yùn)營毛利率是 4.6%，調(diào)整后則是 3.9%。
New Bing 接下來又給出調(diào)整后攤薄每股收益為 0.42 美元（diluted earnings per share, adjusted for impairment charges, restrucring costs and tax impact），但財報里的數(shù)據(jù)則是 0.71 美元。
甚至 New Bing 給出了 Gap 全年的銷售指引為預(yù)計銷售凈增長率為低雙位數(shù)，而實際是四季度可能呈中間個位數(shù)下降。是下降而非增長，一詞之差，對用戶的投資行為將產(chǎn)生嚴(yán)重的誤導(dǎo)，這虧錢了算誰的。New Bing 甚至無中生有，給出了更多的全年財務(wù)指引營業(yè)毛利為 7%，攤薄每股收益為 1.6 美元到 1.75 美元之間，而這些數(shù)據(jù)在 Gap 三季度財報中統(tǒng)統(tǒng)沒有提到。
視頻 36:15 處，Yusuf 又展示了用 New Bing 進(jìn)行 Gap 和體育休閑服品牌露露樂檬（Lululemon）財報對比的功能。這部分又是錯誤信息的重災(zāi)區(qū)。
圖 9 New Bing 對 Gap 和 Lululemon 財報對比功能在右側(cè) New Bing 給出的表格中，除了上文所說的 Gap 營業(yè)毛利 5.9% 應(yīng)為 4.6%（或調(diào)整后 3.9%）和 Gap 攤薄每股收益 0.42 美元應(yīng)為 0.77 美元（或調(diào)整后 0.71 美元）， New Bing 又給出了 Gap 現(xiàn)金和現(xiàn)金等價物為 14 億美元的數(shù)據(jù)，而實際上財報中是 6.79 億美元。
圖 10 Lululemon 2022 年第三季度財報截圖
同樣的情況也出現(xiàn)在 New Bing 給出的 Lululemon 數(shù)據(jù)中。根據(jù) Lululemon 2022 三季報的數(shù)據(jù)，New Bing 給出的 Lululemon 毛利率為 58.7%，實際上應(yīng)為 55.9%。New Bing 提到 Lululemon 營業(yè)毛利為 20.6%，實際上應(yīng)為 19.0%。New Bing 給出 Lululemon 攤薄每股收益為 1.65 美元，實際上應(yīng)為 2.00 美元。
圖 11 Lululemon 2022 年第三季度財報截圖我們不禁想問：New Bing 是如何對著 Gap 和 Lululemon 的財報一本正經(jīng)地胡說八道的？一個合理的推斷是，生成出來的這些錯誤數(shù)據(jù)，很可能是來自它預(yù)訓(xùn)練階段見過的財報分析數(shù)據(jù)。ChatGPT 這類大型語言模型的生成，隨著生成的序列越長，越容易脫離給定的 Gap 和 Lululemon 的財報數(shù)據(jù)，放飛自我，生成不著邊際的虛假信息。在 New Bing 發(fā)布會視頻 29:17 處，New Bing 又為豐富墨西哥城的游客們的夜生活提供了毫無建設(shè)性的建議。對于其推薦的幾個夜店，如 Primer Nivel Night Club、El Almacen 和 El Marra，New Bing 提到這些酒吧沒有客戶評價、沒有聯(lián)系方式也沒有商店介紹。然而這些信息都可以在谷歌地圖或者商店的 Facebook 主頁上找到。看來 New Bing 網(wǎng)上沖浪力度還不夠。El Almacen 在 New Bing 里的營業(yè)時間是周二到周日的下午五點到晚上十一點，然而真實的營業(yè)時間是除周一外的下午七點到凌晨三點 。這讓五點去吃晚飯的游客還得挨兩個小時的餓。Guadalajara de Noche 則是相反，實際營業(yè)時間是每天的下午五點半到凌晨一點半或十二點半，而 New Bing 給出的營業(yè)時間是下午八點開始。看來游客靠 New Bing 的建議去找餐廳，能不能吃到飯就得看運(yùn)氣了。
除了上述的信息錯誤，我們還發(fā)現(xiàn)了一系列散布在各個角落的事實錯誤，比如商品價格誤差、商店地址錯誤、時間錯誤等。由于 New Bing 還沒有完全開放，我們無法直接在 New Bing 上拿到發(fā)布會現(xiàn)場的搜索結(jié)果，但是微軟提供了幾個實例演示，讓用戶體驗。本著打破砂鍋問到底的精神，我們也把這幾個演示都放到放大鏡下進(jìn)行研究。我們發(fā)現(xiàn)，即便是這幾個精心挑選的例子，里面還是有不少錯誤信息。在“What art ideas can I do with my kid?”中，New Bing 給出了很多手工品制作建議。對于每一個手工品，New Bing 都總結(jié)了制作所需的材料。然而每一個手工品的材料總結(jié)都是不完整的。比如 New Bing 從引用網(wǎng)站中總結(jié)制作紙吉他需要紙盒、橡皮筋、顏料和膠水。但卻漏掉了引用中提到的海綿刷、膠帶和木珠。
圖 13 New Bing 實例演示 “我可以和孩子一起做什么樣的手工？” 截圖 
圖 14 引用網(wǎng)站中制作紙吉他所需材料截圖在 New Bing 的實例演示中還有一個非常明顯和常見的錯誤，即給的引用鏈接與生成的內(nèi)容無關(guān)，驢唇不對馬嘴。比如以下在“I need a big fast car.”的例子中，2022 版 Kia Telluride 沒有出現(xiàn)在所給的引用 10中。同時“時間穿越”問題在該例子中依舊不能避免，New Bing 聲稱 2022 版 Kia Telluride 獲得了 2020 年世界年度汽車獎，實際情況是當(dāng)年獲得該獎項的是 Kia Telluride 2020 版本。2022 年世界年度汽車獎獲得者則是 Hyundai IONIQ 5，而引用 7 也是與“2020 年世界年度汽車獎”毫不相關(guān)的文章。我們在所有實例演示中找到了多達(dá) 21 處類似的錯誤。
圖 15 New Bing 演示實例 “我需要一輛大型快車” 截圖小結(jié)：發(fā)現(xiàn)錯誤將指引我們前進(jìn)從上述的分析可以看出，無論是 New Bing 還是 Bard，他們的回答都容易出現(xiàn)事實性錯誤。當(dāng)全世界都驚訝于 ChatGPT 等大型語言模型展現(xiàn)出來的能力時，當(dāng) ChatGPT 成為史上最快達(dá)到 1 億用戶的應(yīng)用之際，我們一方面是為 AI 的進(jìn)步振臂歡呼，一方面也需要冷靜地思考怎么解決 AI 目前還存在的諸多問題。自從 1956 年那群聚在達(dá)特茅斯學(xué)院的天才們，第一次定義了什么是人工智能之后，AI 經(jīng)歷了幾起幾落。近 70 年的發(fā)展過程中有很多讓人感動的堅持：是初代 AI 的稚嫩探索，是專家系統(tǒng)的勇敢嘗試，是 Hinton、Bengio、Lecun 這些學(xué)者把神經(jīng)網(wǎng)絡(luò)的冷板凳坐穿，是 DeepMind 用 AlphaGo 讓 AI 出圈，是谷歌、Meta、CMU、斯坦福、清華等一眾頂尖研究機(jī)構(gòu)堅持開源，是 OpenAI 頂住壓力把 GPT 這個路線走通，是全球幾代科研人員的接力，我們才走到今天。然而，如果我們放任 AI 生成大量不真實的信息，那么不用多久，大眾對于 AI 建立的信心就會被摧毀，各種虛假信息也會充斥互聯(lián)網(wǎng)。我們指出大模型的錯誤，并不是為了拉踩哪個公司或者哪個模型，相反，我們是要讓 AI 變得更好。正如阿根廷詩人博爾赫斯曾經(jīng)說過：任何命運(yùn)，無論多么復(fù)雜漫長，實際上只反應(yīng)于一個瞬間，那就是人們徹底醒悟自己究竟是誰的那一刻。在 ChatGPT 等大模型已經(jīng)具備了媲美人類的文字能力時，我們清楚地知道，下一步的重點是把真實世界的知識更完整準(zhǔn)確地融入大模型，讓 AI 模型安全地、可靠地、廣泛地應(yīng)用于人們的日常生活。我們從未如此期待，也從未如此接近那一刻的到來。
立即登錄，閱讀全文
閩公網(wǎng)安備 35010202001226號
