Google Play：進(jìn)行應(yīng)用內(nèi)AB測試以改進(jìn)您的應(yīng)用

您可以借助 A/B 測試面向一部分用戶測試應(yīng)用的改進(jìn)內(nèi)容，然后根據(jù)收集到的數(shù)據(jù)選擇適合整個(gè)用戶群的最佳解決方案。

這樣做的好處

您可以通過 A/B 測試來確定您對應(yīng)用功能或內(nèi)容所做的更改是否有所裨益，而不必再憑空猜測了。而且，由于您可以面向一部分用戶測試更改，所以您不必?fù)?dān)心發(fā)布后會(huì)對所有用戶造成非預(yù)期的影響。

方法

1. 選擇合適的 A/B 測試平臺，例如使用 Firebase 遠(yuǎn)程配置隨機(jī)挑選一定比例的用戶、使用 Google Analytics for Firebase 指定目標(biāo)對象，再搭配 Google 跟蹤代碼管理器，并與應(yīng)用進(jìn)行整合。

2. 確定要測試的功能或內(nèi)容變體，以及您衡量這些變體成功與否的標(biāo)準(zhǔn)。

3. 設(shè)置要在每個(gè)測試變體中以及向未參加測試的用戶顯示的功能或內(nèi)容，例如：

   場景：現(xiàn)有功能的新實(shí)現(xiàn)方式

   示例：使用底部導(dǎo)航欄（而非標(biāo)簽頁）來提升用戶互動(dòng)度。

   群組	用戶看到的界面
   未參加測試的用戶	現(xiàn)有實(shí)現(xiàn)方式（標(biāo)簽頁）
   變體 A	現(xiàn)有實(shí)現(xiàn)方式（標(biāo)簽頁）
   變體 B	新的功能實(shí)現(xiàn)方式（底部導(dǎo)航欄）
   變體 C、D 等（可選）	其他功能實(shí)施方式（例如：抽屜式導(dǎo)航欄）

   場景：可創(chuàng)建新指標(biāo)的新功能

   示例：按熱門程度（而非價(jià)格）列出應(yīng)用內(nèi)購商品，以便獲得更多的收入。

   群組	用戶看到的界面
   未參加測試的用戶	不含新功能（未啟用應(yīng)用內(nèi)購買）
   變體 A	第 1 種新功能實(shí)施方式（按熱門程度列出應(yīng)用內(nèi)購商品）
   變體 B	第 2 種新功能實(shí)施方式（按價(jià)格列出應(yīng)用內(nèi)購商品）
   變體 C、D 等（可選）	其他功能實(shí)現(xiàn)方式（例如：按字母順序列出購買內(nèi)容）

   場景：使用現(xiàn)有指標(biāo)衡量的新功能

   示例：允許用戶標(biāo)記商品，以便提升用戶互動(dòng)度。

   群組	用戶看到的界面
   未參加測試的用戶	不含新功能（未啟用標(biāo)記商品功能）
   變體 A	不含新功能（未啟用標(biāo)記商品功能）
   變體 B	新功能實(shí)施方式（例如：使用心形符號標(biāo)記商品）
   變體 C、D 等（可選）	其他功能實(shí)現(xiàn)方式（例如：使用星形符號標(biāo)記商品）

4. 選擇測試人數(shù)或測試持續(xù)時(shí)間（具體取決于 A/B 測試平臺的功能），最低目標(biāo)測試人數(shù)為 1000 位用戶。

5. 運(yùn)行測試。

6. 查看測試結(jié)果，以確定結(jié)果是否具有統(tǒng)計(jì)意義以及是否有測試變體成功改善了應(yīng)用的效果。

7. 面向所有用戶發(fā)布“效果最佳”的更改內(nèi)容。

最佳做法

• 選擇能夠支持大規(guī)模測試的平臺。 隨著您的應(yīng)用和業(yè)務(wù)的發(fā)展，您將需要更頻繁地進(jìn)行更多的 A/B 測試。確保您選擇的平臺可以面向相同的用戶群體同時(shí)運(yùn)行多項(xiàng)測試，理想的情況是讓同一批人接受測試（用戶可同時(shí)參與多項(xiàng)測試）。

• 視需要決定測試變體的數(shù)量，以確保測試對您有所幫助。 如果某個(gè)功能或內(nèi)容選項(xiàng)有多種實(shí)用且您認(rèn)為可能有提升作用的替代方案，您最好針對兩種以上的變體進(jìn)行測試。

  考慮使用多變量方法來定義變體。例如：

• 確保您的測試持續(xù)足夠長的時(shí)間以排除周期性變化。 用戶的行為可能有周期性變化，例如每小時(shí)、每天、每周或類似周期。在設(shè)置測試持續(xù)時(shí)間時(shí)，請考慮這種循環(huán)行為。如果已知相應(yīng)行為在更長的周期內(nèi)會(huì)發(fā)生變化，那么您可能需要采用較短的測試周期，并推斷結(jié)果。

• 確保用戶細(xì)分之間的已知差異不會(huì)影響您的測試結(jié)果。 如果您認(rèn)為用戶的行為會(huì)因用戶的細(xì)分而有所不同，請?jiān)谝粋€(gè)細(xì)分內(nèi)進(jìn)行測試，或確保選擇能代表所有用戶的群組作為樣本進(jìn)行測試。例如，如果已知用戶帶來的平均收入因國家/地區(qū)而異，您可以通過對來自一個(gè)國家/地區(qū)的用戶進(jìn)行測試，或?qū)碜运袊?地區(qū)的用戶進(jìn)行抽樣測試。

• 針對多個(gè)細(xì)分進(jìn)行測試。 如果您擁有可用且已掌握其信息的用戶細(xì)分（如國家/地區(qū)、用戶獲取渠道），則可考慮面向不同的細(xì)分進(jìn)行測試，以了解結(jié)果之間的差異。您可以選擇只對部分細(xì)分發(fā)布更改，也可以將不同的更改發(fā)布給不同的細(xì)分。

• 在設(shè)定測試持續(xù)時(shí)間時(shí)考慮潛在的商業(yè)效益。 在設(shè)定測試的持續(xù)時(shí)間或測試群體的規(guī)模（這會(huì)影響向測試人員顯示不同變體所需的時(shí)間）時(shí)，需考慮時(shí)間較短的測試是否具有商業(yè)效益（例如可以更快地獲利）。

• 對任何不符合預(yù)期的負(fù)面結(jié)果進(jìn)行監(jiān)測，并做好隨時(shí)停止測試的準(zhǔn)備。 盡管測試可能僅涉及一小部分用戶，但如果測試結(jié)果非常糟糕，仍會(huì)影響您的評分和評價(jià)；此外，其他用戶也可能因?yàn)樵谏缃幻襟w上看到測試者分享的信息，而對您的應(yīng)用產(chǎn)生負(fù)面印象。

• 在平臺允許的條件下，逐步發(fā)布更改。 即使測試結(jié)果可能從統(tǒng)計(jì)學(xué)角度表明做出某項(xiàng)更改是有益處的，但是當(dāng)您將這項(xiàng)更改面向所有用戶發(fā)布時(shí)，仍可能出現(xiàn)不符合預(yù)期的結(jié)果。通過逐步發(fā)布更改，您可以分批向用戶發(fā)布更改并監(jiān)控效果，一旦發(fā)現(xiàn)沒有實(shí)現(xiàn)預(yù)期的效益，則停止發(fā)布。

• 從指標(biāo)中排除參與測試的用戶。 如果您允許用戶選擇是否參與測試來查看或使用您正在測試的新功能，請記住將這類用戶從指標(biāo)中排除。