LinkedIn增長案例之AB測試助力于 LinkedIn 改善郵件溝通系統(tǒng)

LinkedIn被微軟以262億美元高價收購，它之前用于增長的有效方法仍然值得我們學(xué)習(xí)與參考。你也可以利用AB測試實現(xiàn)產(chǎn)品的優(yōu)化與轉(zhuǎn)化率的提升。

這是關(guān)于LinkedIn不同的業(yè)務(wù)單元如何使用AB測試和自建AB測試平臺——XLNT，為用戶打造更好產(chǎn)品的兩篇文章中的第二篇。

在上一篇中，我們討論了試驗是如何幫助LinkedIn改善Premium服務(wù)的。今天，我們將要談?wù)撐覀冏龅模P(guān)于與用戶通過郵件和推送進(jìn)行溝通的試驗，以及獲得的好處。

郵件和手機推送是LinkedIn用來與用戶溝通的兩個主要的離線渠道（離線是指不需要與LinkedIn的app或網(wǎng)站進(jìn)行交互）。

溝通的內(nèi)容主要包括：成員之間的邀請、定期郵件（例如：LinkedIn小組更新、「你錯過的事情」、網(wǎng)絡(luò)更新等等）、背書，以及工作推薦，還有很多其他類型的消息。

LinkedIn小組更新郵件

郵件和推送渠道是我們特別關(guān)心的，因為用戶不需要登錄到LinkedIn的任何一個App或者網(wǎng)頁上，我們就可以幫助他們獲得新機會。

表面上看，郵件和推送可以給我們的用戶帶來很大價值；然而，他們隨意的使用可能會增加不必要的交互風(fēng)險，還可能會帶來消極的用戶體驗。我們該如何確保給用戶提供了最好的服務(wù)呢？

LinkedIn一直在找更好的方法來讓用戶的利益最大化。我們常常要在利益（信息被閱讀了以及有有效的用戶交互）和風(fēng)險（信息被忽略或者被當(dāng)成垃圾郵件）中選擇一個最優(yōu)的權(quán)衡。LinkedIn采用的工具由很多大規(guī)模約束優(yōu)化組成，幫助我們自動做出決策。

然而，光靠這個是不夠的。LinkedIn的溝通生態(tài)系統(tǒng)包含了大量的產(chǎn)品，對底層的郵件發(fā)送系統(tǒng)進(jìn)行迭代，會對系統(tǒng)產(chǎn)生很多復(fù)雜的影響，對離線的預(yù)測也會變得有挑戰(zhàn)性。為了了解這些方法產(chǎn)生的效果，LinkedIn跑了大量的線上試驗。試驗在不同的階段都很關(guān)鍵：

定義

當(dāng)提出一種優(yōu)化郵件發(fā)送的新方法時，我們會先進(jìn)行（員工）的內(nèi)部測試，然后再發(fā)布給小部分隨機用戶。這很容易用XLNT實現(xiàn)，XLNT是LinkedIn的一個AB測試平臺，可以追蹤試驗情況和變量。

同時，也支持定向的功能，即只發(fā)布給符合條件的一部分用戶（比如，活躍用戶或者在某個地理區(qū)域的用戶）。任何這些試驗定義上的改變也都是用相似的很有效的方式完成的。

衡量

這些試驗的效果很復(fù)雜，且分散在不同的領(lǐng)域。如果沒有我們的這個試驗平臺，衡量效果是比較不現(xiàn)實的。

XLNT提供一系列的指標(biāo)數(shù)據(jù)，包括郵件發(fā)送和點擊，下游的頁面瀏覽量，以及很重要的，用戶的抱怨和取消訂閱數(shù)。試驗平臺所能給我們的并不只是這些，因為我們用XLNT所提供的數(shù)據(jù)衡量出了許多不同產(chǎn)品和領(lǐng)域的效果。

舉個例子，我們觀察到當(dāng)一些類型的郵件的發(fā)送量減少的時候，用戶與其他郵件的交互行為就會顯著增高。

分析

對試驗合理的理解需要足夠的統(tǒng)計學(xué)分析。XLNT會自動計算出有用的統(tǒng)計量，包括指標(biāo)變化的統(tǒng)計顯著性，試驗的能力等（比如，指定樣本量和感興趣的指標(biāo)，我們是否可以看到想要的結(jié)果），以及目標(biāo)人口增加時預(yù)期的站點范圍內(nèi)的效果。

除此之外，通過對不同試驗變量的樣本量自動計算，可以發(fā)現(xiàn)正交試驗的相互作用。尤其是，讓我們發(fā)現(xiàn)兩個都做發(fā)送或不發(fā)送決策的試驗之間意料之外的相互作用。

這種優(yōu)化和試驗的結(jié)合是相當(dāng)有效的。到今年為止，LinkedIn少發(fā)了40%的郵件，減少了一半的郵件投訴，得到了用戶們積極的回應(yīng)，而且還增加了郵件的交互率。這個是邁向我們跟客戶交流有用信息的目標(biāo)的重要的一步。

作者：Romer Rosales，吆喝科技翻譯

原文鏈接：https://engineering.linkedin.com/blog/2015/10/how-experimentation-helped-linkedin-improve-email-communication