Chartboost Academy | 一文帶你玩轉(zhuǎn)AB測試！

一直以來，提高廣告參與度、點擊量和留存率都是廣告變現(xiàn)開發(fā)者繞不開的「必修課」。A/B測試可有效地幫助游戲開發(fā)者以「小步快跑」的方式測試不同的廣告形式、廣告位、應(yīng)用內(nèi)購買價格和不同廣告內(nèi)容的效果。開發(fā)者可以通過測試來驗證過度廣告曝光會增加卸載率的這一假設(shè)，也可以測試玩家對于某個廣告形式的滿意度，或者來測試玩家更希望通過觀看激勵視頻獲得重生還是通過內(nèi)購獲得。在本文中，我們將深度挖掘A/B測試如何幫助開發(fā)者優(yōu)化廣告變現(xiàn)策略，增加變現(xiàn)收益、提高用戶參與度。如何成為A/B測試專家？

1.制定測試計劃

測試前，您需要明確測試目標，并做初步假設(shè)。比如您正在測試一個游戲新功能，希望了解玩家的參與度，并驗證您的假設(shè)。我們建議您制定以下三步測試計劃：

01

確定受眾：誰會體驗這個新功能？（新手玩家還是老玩家）

02

計算指標：選取多大的測試樣本？一共有多少個測試組？測試將持續(xù)多長時間？測試對關(guān)鍵指標有什么影響？

03

管理預(yù)期：是否團隊所有人都了解參與了測試并了解測試后要采取的行動？如果您的假設(shè)被驗證，您需要做出什么調(diào)整？

2.確定測試指標

在A/B測試開始之前，首先需要確定您想要衡量的關(guān)鍵指標。Zynga廣告平臺首席產(chǎn)品經(jīng)理Kyle Waring建議開發(fā)者可以著重關(guān)注這三個指標：廣告展示次數(shù)、每千次收益或成本（CPM）以及每日活躍用戶平均收入（ARPDAU）。為什么這些指標很重要？

指標

eCPM：每千次展示的有效成本，用于衡量每千次廣告展示所產(chǎn)生的收入。開發(fā)者可以測試了解不同的廣告網(wǎng)絡(luò)、地域、位置或操作系統(tǒng)對于廣告收入的影響。

ARPDAU：每日活躍用戶平均收入。關(guān)注這一指標不僅有助于開發(fā)者長期獲取廣告收益，同時還能及時了解收入突然激增或下降的原因。在實際操作過程中，我們建議開發(fā)者，通過A/B測試至少帶來3%以上的ARPDAU增長，再將A/B測試結(jié)果實施在您的campaign中。

互動率：通過測量玩家在游戲上花費的時間來追蹤用戶行為和互動。

留存率：計算特定時間后返回您的游戲的人數(shù)占總用戶的比例。您可以按天測試留存率，比如次日留存、7日留存、30日留存。

ROAS：廣告支出回報率是衡量廣告花費帶來都少收益的重要指標。

3.A/B測試場景

01 廣告素材測試

開發(fā)者可以通過A/B測試用戶對于不同廣告素材的反饋，找出點擊量最高、效果最好的素材。可以控制的變量包含但不限于廣告格式、設(shè)計圖案、背景顏色、廣告文案、CTA出現(xiàn)位置等等。比如您可以把引導(dǎo)下載應(yīng)用的語句從“Download Now”變成“Yes,I Want It!”，或者測試CTA語句放在屏幕上方或者下方哪里效果更好。

02 廣告展示頻率測試

假設(shè)您想測試每10分鐘展示一次廣告與每2分鐘展示一次廣告對于用戶互動率的影響。首先，需要將Android和iOS用戶分開測試，并確定衡量指標例如：預(yù)計廣告收入、預(yù)計總收入、次日留存率、應(yīng)用內(nèi)購買；然后，對于A組用戶每10分鐘展示一次廣告，B組每2分鐘展示一次廣告。最后，衡量A/B組數(shù)值差異，通常需要達到5%的數(shù)值差異才考慮進行策略調(diào)整，如果兩組的差異不夠顯著，則沒有太多參考意義。Kyle建議開發(fā)者勇于多次測試，不斷明確測試結(jié)果，直到結(jié)果足以顯著，再付諸實踐。

4.A/B測試結(jié)果分析

分析測試結(jié)果是最激動人心的時候，將真實的測試結(jié)果和假設(shè)進行比較，看關(guān)鍵指標是否增加、減少還是保持相對不變，以確定最好的測試版本。Kyle解釋說，A/B測試實際上可以歸結(jié)為“設(shè)計高質(zhì)量的實驗來測試各種事物”。您可以為一支激勵視頻廣告測試4-5個變體，從而深入了解哪些獎勵對用戶有吸引力。另外，測試‘失敗’也可幫助您在避免在產(chǎn)品和功能開發(fā)上無效的投入。另外，雖然開發(fā)者可以自定義A/B測試的時間長度，但測試時間應(yīng)該足夠長，以便有足夠的數(shù)據(jù)來分析和判斷趨勢。對于休閑游戲來說，一到兩周的測試期通常是比較合理的范圍。

通過匯總和分析A/B測試的結(jié)果，開發(fā)者可以更深入地了解不同用戶群體對廣告和游戲體驗的偏好，通過數(shù)據(jù)制定更明智的策略，對未來的產(chǎn)品研發(fā)和功能更新進行合理預(yù)測并有效分配支出，從而減少客戶流失、提高ARPDAU并保持用戶互動率。