Google在行動鍵盤Gboard使用聯(lián)合重建技術改進推薦品質

Google披露移動設備鍵盤Gboard，所使用的新聯(lián)合學習（Federated Learning）技術，這項技術被Google稱為聯(lián)合重建（Federated Reconstruction），目標是要大規(guī)模進行部分本地聯(lián)合學習，使得在訓練模型時，讓部分模型參數(shù)永遠不會在服務器聚合。

Google提到，在矩陣分解（Matrix Factorization）用例，他們推薦使用聯(lián)合重建，因為可以將用戶的嵌入保留在用戶的設備本地端，也就是說，在訓練模型時，針對每個用戶完全個性化，但是又能避免這些參數(shù)交流。Google將這項聯(lián)合學習技術部署到Gboard中，提供數(shù)億鍵盤用戶更好的推薦結果。

聯(lián)合學習技術讓用戶能夠在不將原始資料發(fā)送到中央服務器的情況下訓練模型，進而避免隱私敏感資料被收集。傳統(tǒng)聯(lián)合學習技術，通常所有用戶擁有單一全局模型，像是行動鍵盤應用程序的用戶，會共同訓練建議模型，但因為每個人對建議有不同的偏好，這種差異驅使全局模型可針對每個用戶進行個性化。

但研究人員解釋，在特定情況下，因為隱私的考量，可能無法訓練全局模型，像是推薦系統(tǒng)的矩陣分解模型，要訓練一個完全全局模型的聯(lián)合模型，將會需要發(fā)送用戶嵌入更新到中央服務器，而這個動作可能會披露嵌入中用戶的喜好，而且即便模型沒有用戶特有的嵌入，將部分參數(shù)完全留在用戶設備上，也能夠減少服務器和客戶端的通信，并且負責任地替每個用戶個性化這些參數(shù)。

過去部分本地端聯(lián)合學習方法使用有狀態(tài)算法，這會需要用戶的設備存儲多輪聯(lián)合訓練的狀態(tài)，也就是說，這些方法需要設備跨輪存儲本地參數(shù)。在大規(guī)模聯(lián)合學習環(huán)境中，這些算法往往不夠實用，因為大多數(shù)用戶不參與訓練，而參加的用戶可能僅參與一次，導致狀態(tài)很少可用，或是在數(shù)輪之后狀態(tài)過于陳舊，此外，不參與的用戶都沒有經過訓練的本地端參數(shù)，也就阻礙了實際應用。

而聯(lián)合重建技術是無狀態(tài)的，用戶設備不需要存儲本地端參數(shù)，當用戶參與訓練時，在更新任何全局模型參數(shù)之前，會在全局參數(shù)凍結的情況下，在本地端參數(shù)上使用梯度下降法，隨機初始化和訓練本地端參數(shù)，接著便可以在本地端參數(shù)凍結的情況，計算全局參數(shù)更新。聯(lián)合重建方法不假設用戶具有前幾輪的訓練狀態(tài)，如此便能實現(xiàn)大規(guī)模訓練，并且不斷重建本地端參數(shù)，避免參數(shù)過時。

Google為了驗證聯(lián)合重建在大規(guī)模用例的實用性，便將算法部署到擁有數(shù)億用戶的Gboard中。Gboard用戶使用GIF和表情符號與其他人交流，而用戶對于這些情緒表達有高度的差異，因此剛好非常適合使用矩陣分解，來預測用戶想要分享的情緒表達。

Google在用戶情緒表達歸類上使用聯(lián)合重建，訓練了矩陣分解模型，將用戶嵌入留存在每個Gboard用戶的本地端，然后部署使用該模型，研究發(fā)現(xiàn)表達推薦的點擊率大幅增加29.3%。