AB測試到底測什么？怎么測？

策略即是選擇，正確的策略是選擇那些更有效的方向和方式方法來實現(xiàn)業(yè)務(wù)目標。然而怎樣判斷策略的有效性、又如何驗證一個選擇就比另一個更優(yōu)則需要A/B測試的輔助。

但是A/B測試需要具備怎樣的功能才能讓開發(fā)者在短時間內(nèi)測出更優(yōu)策略？怎樣的操作才能讓A/B測試更有效果？今天TradPlus的產(chǎn)品經(jīng)理陳圓圓將與大家分享TradPlus A/B測試的好用功能及使用場景，幫助開發(fā)者做出高效優(yōu)質(zhì)的變現(xiàn)決策。

多套方案同時測試

快速找到更優(yōu)策略

傳統(tǒng)的A/B測試只能設(shè)置一個對照組和一個實驗組，一次測試只能對比兩種策略。但如果遇到要從多個策略中進行擇優(yōu)選擇的話，就需要進行多次A/B測試。這樣費時費力，又無法更快地采用更優(yōu)策略提升廣告表現(xiàn)。

TradPlus A/B測試功能可以讓開發(fā)者同時設(shè)置多個實驗組，將不同策略進行同時對比，并根據(jù)自身流量自由分配不同分組的流量比例。有效地節(jié)省了測試時長，提升了新策略的采用速度。

多維度數(shù)據(jù)測試

細致顆粒度對比

精細化變現(xiàn)要求可測試的數(shù)據(jù)維度顆粒度更細，這樣才能保證可測試的數(shù)據(jù)變量更多，可控性更強。但是越是細分的維度越容易讓人找不到方向，陷入“我到底該測試哪個變量”的困惑。TradPlus不僅提供多維度的細分數(shù)據(jù)測試選擇，還對這些維度進行了方向性的概括和分類，讓大家輕松找到測試方向。

用戶分組測試

不同用戶的來源和行為決定了他們屬性的不同，開發(fā)者可以針對不同用戶屬性進行分組測試，根據(jù)用戶的國家、渠道、設(shè)備類型、游戲等級、內(nèi)購金額等來測試不同策略的有效性。

廣告加載測試

不同的國家網(wǎng)絡(luò)情況、廣告場景的位置、開發(fā)者現(xiàn)階段的變現(xiàn)目標都決定了所需要的廣告加載需求不同。開發(fā)者可以針對廣告加載相關(guān)的維度進行測試，例如并行請求數(shù)、廣告請求時長、備用廣告等待時長、速度優(yōu)先or eCPM優(yōu)先等，找到適合自己產(chǎn)品的最優(yōu)策略。

Bidding和Waterfall測試

要知道怎樣的競價才是最充分的，最適合現(xiàn)有變現(xiàn)需求的，就需要針對Bidding和Waterfall的策略進行測試，這包含測試Bidding廣告源個數(shù)&保留數(shù)、瀑布流層數(shù)、不同分層定價，是否設(shè)置底價等。

經(jīng)典使用場景

有效指導(dǎo)配置

下面跟大家分享一些A/B測試的具體使用場景，希望對您的日常A/B測試操作有所幫助：

01

02

問題

開發(fā)者希望知道哪些配置策略更適合某些特定國家，但又不希望測試過程中對廣告表現(xiàn)有較大影響，應(yīng)該如何做出合理決策？

解決方案

可通過針對所有國家建立對照組和實驗組進行不同配置策略，再進行分國家查看不同國家的表現(xiàn)，表現(xiàn)優(yōu)異的國家可采用相應(yīng)的配置策略。這樣既可以測出更優(yōu)策略，又可以減少對廣告表現(xiàn)的影響。

03

問題

開發(fā)者通常認為新的廣告源的加入會對整體廣告收益有所提升，但實際情況卻并非總是如此，該如何判斷是否要增加廣告源？

解決方案

通過在實驗組中配置新的廣告源來對比最終ARPU值的表現(xiàn)。有的時候新增廣告源存在帶來ARPU下降的情況，此時可能是新增廣告源填充時長過長導(dǎo)致整體填充和展示下降，導(dǎo)致整體收入下降。

最后，很多開發(fā)者經(jīng)常會思考的問題：一次測試的結(jié)論可以一直沿用嗎？

答案是NO！之前測過的結(jié)論還要再測！

因為變量一直在變，A/B測試也需要定期再測，這將確保您采用的策略一直是更優(yōu)的，業(yè)務(wù)也能一直保持穩(wěn)步上漲。