廣大自媒體的福音：Google發(fā)布面向創(chuàng)作者的智能評論回復功能

SmartReply是Google發(fā)布的面向youtue自媒體網(wǎng)友的自動智能回復神經網(wǎng)絡，隨著Gmail的推出和Android Messages的推出，SmartReply已經擴展到了更多的用戶，并通過Android Wear擴展到了更多的設備?，F(xiàn)在，開發(fā)者可以使用SmartReply在Play開發(fā)者控制臺內回復評論，并可以使用MLKit和TFLite內提供的API設置自己的版本。每一次發(fā)布都有一個獨特的挑戰(zhàn)，在建模和服務方面，需要根據(jù)任務要求定制SmartReply。

Google現(xiàn)在很高興與大家分享為YouTube打造的更新版SmartReply，并在YouTube Studio中實現(xiàn)，幫助創(chuàng)作者更輕松地與觀眾互動。這個模型通過一個計算效率高的擴張型自注意力網(wǎng)絡來學習評論和回復表示，并代表了第一個基于跨語言和字符字節(jié)的SmartReply模型。SmartReply for YouTube目前適用于英語和西班牙語創(chuàng)作者，這種方法簡化了未來將SmartReply功能擴展到更多語言的過程。

YouTube創(chuàng)作者會收到大量的視頻回復。此外，YouTube上的創(chuàng)作者和觀眾社區(qū)是多樣化的，這一點從他們的評論、討論和視頻的創(chuàng)意中就能體現(xiàn)出來。與電子郵件相比，YouTube上的評論往往篇幅較長，且以正式語言為主，但與之相比，YouTube上的評論顯示出復雜的語言轉換模式、縮略詞、俚語、標點符號的不一致使用以及大量使用表情符號。以下是說明這一挑戰(zhàn)的評論樣本。

深度檢索

最初發(fā)布的SmartReply for Inbox用一個循環(huán)神經網(wǎng)絡對輸入郵件逐字編碼，然后用另一個字級循環(huán)神經網(wǎng)絡對潛在的回復進行解碼。盡管這種方法的表現(xiàn)力很強，但它的計算成本很高。相反，Google發(fā)現(xiàn)，可以通過設計一個系統(tǒng)，在預定義的建議列表中搜索最合適的回復來達到同樣的目的。

這個檢索系統(tǒng)將消息及其建議獨立編碼。首先，對文本進行預處理以提取單詞和短語。這種預處理包括但不限于語言識別、標記化和標準化。然后，兩個神經網(wǎng)絡同時并獨立地對信息和建議進行編碼。這種因子化允許人們預先計算建議編碼，然后使用高效的最大內積搜索數(shù)據(jù)結構對建議集進行搜索。這種深度檢索方法使Google能夠將SmartReply擴展到Gmail，此后，它成為多個SmartReply系統(tǒng)的基礎，包括目前的YouTube系統(tǒng)。

上文中介紹的以前的SmartReply系統(tǒng)依賴于字級預處理，它針對有限的語言和狹窄的寫作類型進行了很好的調整。這樣的系統(tǒng)在YouTube案例中面臨著巨大的挑戰(zhàn)，因為一個典型的評論可能包括以下內容，如表情符號、ASCII藝術、語言切換等。有鑒于此，并從Google最近在字節(jié)和字符語言建模方面的工作中獲得靈感，Google決定在不進行任何預處理的情況下對文本進行編碼。這種方法得到了研究的支持，研究表明，深度Transformer網(wǎng)絡只需將文本作為字符或字節(jié)序列輸入給它，就能從頭開始對單詞和短語進行建模，其質量與基于單詞的模型相當。

雖然初步結果很有希望，特別是對于處理帶有表情符號或錯別字的評論，但由于字符序列比單詞等價物長，而且自注意力層的計算復雜度隨著序列長度的函數(shù)呈二次方增長，因此推理速度對于生產來說太慢。Google發(fā)現(xiàn)，通過在網(wǎng)絡的每一層應用時間縮減層來縮小序列長度，類似于WaveNet中應用的擴容技術，可以在計算和質量之間進行良好的權衡。

下圖展示了一個雙編碼器網(wǎng)絡，它同時對評論和回復進行編碼，通過以對比性目標訓練網(wǎng)絡來最大化其潛伏表征之間的相互信息。編碼開始時，先給變換器輸入一個字節(jié)嵌入后的序列。每一個后續(xù)層的輸入將通過在相等的偏移量下丟棄一定比例的字符來減少。在應用多個變換層后，序列長度被大大截斷，大大降低了計算復雜度。這種序列壓縮方案可以用其他運算符來代替，比如平均池化，不過Google并沒有注意到更復雜的方法帶來的收益，因此，為了簡單起見，Google選擇了使用擴張。

一個雙編碼器網(wǎng)絡，通過一個對比性目標來最大化評論和其回復之間的相互信息。每個編碼器都會被送入一個字節(jié)序列，并被實現(xiàn)為一個計算效率很高的擴張變壓器網(wǎng)絡。

一個可以學習所有評論的模型

Google沒有為每種語言訓練一個單獨的模型，而是選擇為所有支持的語言訓練一個單一的跨語言模型。這允許在評論中支持混合語言的使用，并使模型能夠利用學習一種語言中的共同元素來理解另一種語言，如表情符號和數(shù)字。此外，擁有一個模型可以簡化維護和更新的后勤工作。雖然該模型已經推出了英語和西班牙語，但這種方法固有的靈活性將使其在未來擴展到其他語言。

檢查該模型產生的多語言建議集的編碼，可以發(fā)現(xiàn)該模型會將適當?shù)幕貜瓦M行聚類，無論它們屬于哪種語言。這種跨語言的能力在訓練過程中沒有將模型暴露在任何平行語料庫中就出現(xiàn)了。Google在下圖中為三種語言展示了當模型被探查到輸入評論時，回復是如何根據(jù)其含義進行聚類的。例如，英文評論"This is a great video"，周圍有適當?shù)幕貜?，?quot;Thanks！"。此外，檢查其他語言中最近的回復，發(fā)現(xiàn)它們也是適當?shù)模⑶遗c英語回復的含義相似。二維投影還顯示了其他幾個由意義相似的回復組成的跨語言聚類。這種聚類展示了該模型如何在支持的語言中支持豐富的跨語言用戶體驗。

當呈現(xiàn)一個假設的評論和一個小的潛在回復列表時，模型編碼的2D投影。請注意，該網(wǎng)絡學會了將英語回復與其翻譯對齊，而無需訪問任何平行語料庫。

Google的目標是幫助創(chuàng)作者，所以Google必須確保SmartReply只在非?？赡苡杏玫臅r候提出建議。理想情況下，只有當創(chuàng)作者很有可能回復評論，并且模型很有可能提供合理而具體的回復時，才會顯示建議。為了達到這個目的，Google訓練了輔助模型來識別哪些評論應該觸發(fā)SmartReply功能。