楊三季：如何復(fù)盤(pán)增長(zhǎng)策略的落地實(shí)驗(yàn)

當(dāng)我們完成了增長(zhǎng)實(shí)驗(yàn)并拿到了實(shí)驗(yàn)結(jié)果時(shí)，需要通過(guò)評(píng)估實(shí)驗(yàn)結(jié)果的可信度和是否達(dá)到預(yù)期來(lái)評(píng)估增長(zhǎng)實(shí)驗(yàn)是否成功以及針對(duì)評(píng)估結(jié)果是否進(jìn)行下一步的實(shí)驗(yàn)的決策。

一、評(píng)估實(shí)驗(yàn)結(jié)果的可信性

評(píng)估實(shí)驗(yàn)結(jié)果可信性是分析增長(zhǎng)實(shí)驗(yàn)結(jié)果的第一步。它的關(guān)鍵點(diǎn)是實(shí)驗(yàn)結(jié)果是否達(dá)到統(tǒng)計(jì)顯著性要求。

統(tǒng)計(jì)顯著性：實(shí)驗(yàn)指標(biāo)的差別是真實(shí)存在的，而不是隨機(jī)誤差引起的。

如果我們使用第三方A/B測(cè)試工具，只需要第三方系統(tǒng)持續(xù)進(jìn)行實(shí)驗(yàn)和收集樣本，結(jié)果會(huì)實(shí)時(shí)更新，在達(dá)到預(yù)先設(shè)定的統(tǒng)計(jì)顯著性要求時(shí)，自動(dòng)提醒實(shí)現(xiàn)達(dá)到統(tǒng)計(jì)顯著。

如果我們自己手動(dòng)計(jì)算，則需要按照預(yù)先估計(jì)的實(shí)驗(yàn)時(shí)長(zhǎng)結(jié)束實(shí)驗(yàn)，手動(dòng)根據(jù)實(shí)際的樣本數(shù)和轉(zhuǎn)化數(shù)計(jì)算是否達(dá)到統(tǒng)計(jì)顯著。

評(píng)估實(shí)驗(yàn)結(jié)果時(shí)，常遇見(jiàn)的問(wèn)題：

問(wèn)題一：實(shí)驗(yàn)時(shí)長(zhǎng)太短，導(dǎo)致實(shí)驗(yàn)結(jié)果不可信。

場(chǎng)景1：實(shí)驗(yàn)上線后，就發(fā)現(xiàn)結(jié)果很糟糕或者很好，就草草的將實(shí)驗(yàn)的終止了。實(shí)驗(yàn)沒(méi)有達(dá)到統(tǒng)計(jì)顯著。

• 對(duì)應(yīng)方法：這種情況可以通過(guò)統(tǒng)計(jì)學(xué)中的新奇效應(yīng)來(lái)解釋?zhuān)涸谠鲩L(zhǎng)實(shí)驗(yàn)的早期，用戶因?yàn)樾缕鏁?huì)關(guān)注新改動(dòng)，但往往顯著的早期提升在之后的幾天或幾周的測(cè)試中會(huì)逐漸消失。因此我們要預(yù)先設(shè)定實(shí)驗(yàn)時(shí)長(zhǎng)，給實(shí)驗(yàn)足夠的測(cè)試時(shí)間，達(dá)到了統(tǒng)計(jì)顯著后再評(píng)估實(shí)驗(yàn)結(jié)果。

場(chǎng)景2：實(shí)驗(yàn)雖然達(dá)到了統(tǒng)計(jì)顯著，但結(jié)束過(guò)早，僅有產(chǎn)品的高頻用戶被包含在該實(shí)驗(yàn)內(nèi)。

• 對(duì)應(yīng)方法：在設(shè)定實(shí)驗(yàn)時(shí)長(zhǎng)時(shí)，要充分分析用戶的天然登錄頻率情況，保證不同登錄頻率的用戶都可以被均勻的分配到實(shí)驗(yàn)中。

問(wèn)題二：實(shí)驗(yàn)預(yù)設(shè)不準(zhǔn)確，導(dǎo)致實(shí)驗(yàn)結(jié)果不可信。

場(chǎng)景1：實(shí)驗(yàn)工具和測(cè)試環(huán)境存在問(wèn)題，導(dǎo)致流量分配不均勻。

• 對(duì)應(yīng)方法：在A/B測(cè)試前，進(jìn)行至少一次測(cè)試，保證實(shí)驗(yàn)組和對(duì)照組的流量均勻且隨機(jī)分布。

場(chǎng)景2：同時(shí)進(jìn)行多個(gè)增長(zhǎng)實(shí)驗(yàn)，實(shí)驗(yàn)之間互相產(chǎn)生干擾。

• 對(duì)應(yīng)方法：盡量避免針對(duì)同一用戶群體，在相近的路徑或者頁(yè)面中，同時(shí)進(jìn)行兩個(gè)及兩個(gè)以上的增長(zhǎng)實(shí)驗(yàn)，以確保實(shí)驗(yàn)版本符合預(yù)期。

場(chǎng)景3：在實(shí)驗(yàn)開(kāi)始后，修改實(shí)驗(yàn)設(shè)置。導(dǎo)致流量分配不均勻。

• 對(duì)應(yīng)方法：在實(shí)驗(yàn)進(jìn)行時(shí)，不要更改實(shí)驗(yàn)設(shè)置。

問(wèn)題三：無(wú)法合理分析實(shí)驗(yàn)結(jié)果。

場(chǎng)景1：實(shí)驗(yàn)時(shí)，僅關(guān)注一個(gè)指標(biāo)，忽略了實(shí)驗(yàn)對(duì)其他指標(biāo)的可能存在的影響。

• 對(duì)應(yīng)方法：設(shè)置三類(lèi)指標(biāo)，全面監(jiān)測(cè)實(shí)驗(yàn)的好壞影響。

場(chǎng)景2：對(duì)于某個(gè)實(shí)驗(yàn)版本有嚴(yán)重傾向性，僅看好的數(shù)據(jù)反饋，忽略壞的數(shù)據(jù)反饋。

• 對(duì)應(yīng)方法：通過(guò)數(shù)據(jù)分析，對(duì)所以版本保持嚴(yán)謹(jǐn)一致的態(tài)度。

場(chǎng)景3：各種特殊性，人為事件的干擾，如購(gòu)物節(jié)，服務(wù)器崩潰等。

• 對(duì)應(yīng)方法：實(shí)驗(yàn)進(jìn)行中，盡量避免已知的可能干擾實(shí)驗(yàn)結(jié)果的外部因素。

二、分析實(shí)驗(yàn)結(jié)果的成功性

2.1.通過(guò)實(shí)驗(yàn)指標(biāo)判定成功率?? ? ? ?

增長(zhǎng)實(shí)驗(yàn)的結(jié)果成功概率主要是通過(guò)三類(lèi)實(shí)驗(yàn)指標(biāo)進(jìn)行評(píng)估的。即：

• 核心指標(biāo)：實(shí)驗(yàn)組是否比對(duì)照組有所提升。
• 輔助指標(biāo)：變化是否符合預(yù)期，是否和核心指標(biāo)的趨勢(shì)一致？
• 反向指標(biāo)：是否沒(méi)有明細(xì)的負(fù)面影響，或者有負(fù)面影響，但可以接受。

除了通過(guò)實(shí)驗(yàn)指標(biāo)評(píng)估實(shí)驗(yàn)的成功與否，還可以通過(guò)實(shí)驗(yàn)的觀察周期來(lái)評(píng)估實(shí)驗(yàn)是否成功。

• 短期觀察：實(shí)驗(yàn)結(jié)果達(dá)到統(tǒng)計(jì)顯著后，即可停止實(shí)驗(yàn)，分析實(shí)驗(yàn)指標(biāo)，得出結(jié)論。
• 長(zhǎng)期觀察：如果實(shí)驗(yàn)針對(duì)的是長(zhǎng)期指標(biāo)，實(shí)驗(yàn)停止后，需要長(zhǎng)期監(jiān)測(cè)對(duì)核心指標(biāo)的影響，以確認(rèn)最終結(jié)果。

通過(guò)以上四種情況，我們也可以總結(jié)出：

• 如果實(shí)驗(yàn)組勝利，即統(tǒng)計(jì)顯著有提升。那么說(shuō)明增長(zhǎng)實(shí)驗(yàn)所改進(jìn)的元素和方向都是正確的。我們可以繼續(xù)優(yōu)化。
• 如果統(tǒng)計(jì)顯著有所下降，那么可能說(shuō)明增長(zhǎng)實(shí)驗(yàn)所改進(jìn)的元素是正確的，但是改進(jìn)的方向并不正確。需要修正改進(jìn)的方向。
• 如果統(tǒng)計(jì)顯著沒(méi)有明顯的變化，那么說(shuō)明增長(zhǎng)實(shí)驗(yàn)所改進(jìn)的元素和方向都不是影響用戶的關(guān)鍵的位置，需要我們重新對(duì)產(chǎn)品數(shù)據(jù)進(jìn)行分析。

2.2.分析實(shí)驗(yàn)結(jié)果的產(chǎn)生原因：

如果我們預(yù)期改動(dòng)可以提升某個(gè)指標(biāo)，但指標(biāo)不升反降。可以通過(guò)以下這幾個(gè)方式進(jìn)行分析和測(cè)試：

• 漏斗分析：通過(guò)分析確定漏斗轉(zhuǎn)化路徑中與預(yù)期假設(shè)不符的環(huán)節(jié)有哪些。
• 結(jié)果分群：對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分群，對(duì)比總體實(shí)驗(yàn)結(jié)果與分群后的結(jié)果是否一致。
• 用戶調(diào)研：將實(shí)驗(yàn)不同版本呈現(xiàn)在用戶面前，觀察用戶對(duì)各個(gè)版本的反饋。
• 反復(fù)實(shí)驗(yàn)：針對(duì)結(jié)果形成的新假設(shè)，進(jìn)行反復(fù)實(shí)驗(yàn)，從而對(duì)新假設(shè)進(jìn)行驗(yàn)證。

案例：某電商平臺(tái)通過(guò)結(jié)果分群和用戶調(diào)研，分析實(shí)驗(yàn)失敗原因。

1. 實(shí)驗(yàn)?zāi)康模耗畴娚唐脚_(tái)希望提高某品類(lèi)頻道的營(yíng)收，
2. 實(shí)驗(yàn)方案：將該品類(lèi)入口從網(wǎng)站的右上角移到網(wǎng)站的左上角。原因感覺(jué)更加醒目。
3. 實(shí)驗(yàn)結(jié)果：該品類(lèi)頻道點(diǎn)擊率下降70%。
4. 結(jié)果分析：按新老用戶分解，發(fā)現(xiàn)新用戶點(diǎn)擊率上升，老用戶點(diǎn)擊率下降明顯。
5. 結(jié)果假設(shè)：可能老用戶已經(jīng)習(xí)慣了原有的位置。通過(guò)用戶可用性調(diào)研，發(fā)現(xiàn)老用戶行為確實(shí)如此。
6. 實(shí)驗(yàn)方案：提前向老用戶發(fā)通知，告訴老用戶該品類(lèi)頻道入口即將移動(dòng)位置，并將用戶引導(dǎo)到新的位置。
7. 最終結(jié)果：新版本上線一段時(shí)間后，老用戶在該品類(lèi)頻道的點(diǎn)擊率回升到原有水平。

2.3.實(shí)驗(yàn)后續(xù)迭代方向的判斷：

在這一步中，我們基于實(shí)驗(yàn)的結(jié)果進(jìn)行更進(jìn)一步的分析，判斷是否將實(shí)驗(yàn)結(jié)果進(jìn)行產(chǎn)品化還是放棄實(shí)驗(yàn)結(jié)果。亦或是對(duì)結(jié)果不滿意，繼續(xù)迭代。

針對(duì)某一個(gè)點(diǎn)的實(shí)驗(yàn)結(jié)果取得成功后，我們?nèi)绾畏糯髮?shí)驗(yàn)結(jié)果的影響呢？我們可以觀察是否可針對(duì)這個(gè)實(shí)驗(yàn)點(diǎn)，進(jìn)行更多的其他實(shí)驗(yàn)。因?yàn)槿绻@個(gè)實(shí)驗(yàn)點(diǎn)取得了成功。說(shuō)明這個(gè)實(shí)驗(yàn)點(diǎn)可以影響用戶在產(chǎn)品中的行為。那么最初的實(shí)驗(yàn)版本不一定就是最理想的實(shí)驗(yàn)版本。我們進(jìn)行不斷的優(yōu)化來(lái)進(jìn)一步提升實(shí)驗(yàn)結(jié)果。我們還可以觀察是否可以將這一次的取得成功的實(shí)驗(yàn)思路和分析角度用于產(chǎn)品渠道等其他方向。我也可以根據(jù)這次實(shí)驗(yàn)結(jié)果，去協(xié)助我們重新審視其他實(shí)驗(yàn)想法的準(zhǔn)確性和優(yōu)先級(jí)。

三、實(shí)操案例說(shuō)明

小編通過(guò)一個(gè)增長(zhǎng)實(shí)驗(yàn)案例來(lái)實(shí)操一下：如何對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行分析。

假設(shè)你現(xiàn)在設(shè)計(jì)了一個(gè)關(guān)于提高keep的用戶的關(guān)注轉(zhuǎn)化率的增長(zhǎng)策略方案。目前我們可以獲得的信息是：

• 實(shí)驗(yàn)版本數(shù)：實(shí)驗(yàn)組一個(gè)，對(duì)照組一個(gè)。
• 點(diǎn)擊文章或動(dòng)態(tài)頁(yè)關(guān)注按鈕的原本關(guān)注率是5%
• 目標(biāo)定位點(diǎn)擊文章或動(dòng)態(tài)關(guān)注頁(yè)按鈕的關(guān)注率達(dá)到6%

實(shí)驗(yàn)一：實(shí)驗(yàn)周期為3個(gè)自然日

1、實(shí)驗(yàn)周期較短。根據(jù)健身類(lèi)用戶產(chǎn)品使用習(xí)慣分類(lèi)：

• 高頻類(lèi)用戶每天登錄一次
• 中頻類(lèi)用戶每周至少登錄三次
• 低頻類(lèi)用戶每周至少登錄一次。

實(shí)驗(yàn)周期僅為三天，對(duì)中低頻用戶群體的觸達(dá)概率較低，無(wú)法有效達(dá)到實(shí)驗(yàn)受眾的設(shè)置要求的用戶覆蓋范圍。

2、核心指標(biāo)：關(guān)注按鈕轉(zhuǎn)化率達(dá)到要求統(tǒng)計(jì)顯著。

3、輔助指標(biāo)：

• 每次訪問(wèn)平均時(shí)長(zhǎng)：正向增長(zhǎng)17.24%，增長(zhǎng)異常。通過(guò)定性分析發(fā)現(xiàn)平均閱讀時(shí)長(zhǎng)作為內(nèi)容閱讀類(lèi)功能的北極星指標(biāo)與關(guān)注轉(zhuǎn)化率無(wú)明顯的正相關(guān)性。而實(shí)驗(yàn)優(yōu)化方案則是通過(guò)降低用戶閱讀內(nèi)容的聚集度從而提高關(guān)注按鈕的聚集度。因而每次訪問(wèn)平均時(shí)長(zhǎng)大幅度正向增長(zhǎng)具有偶然性。間接證明該實(shí)驗(yàn)的不可信。
• 內(nèi)容點(diǎn)贊數(shù)：正向增長(zhǎng)7.81%，與核心指標(biāo)增長(zhǎng)趨勢(shì)相同，增長(zhǎng)范圍合理。

實(shí)驗(yàn)結(jié)果的可信性評(píng)估結(jié)論：該實(shí)驗(yàn)結(jié)果不可信。

優(yōu)化方案：將實(shí)驗(yàn)周期調(diào)整為14天。

實(shí)驗(yàn)二：實(shí)驗(yàn)周期為14個(gè)自然日

• 實(shí)驗(yàn)周期已滿足預(yù)期需求，分析理由見(jiàn)實(shí)驗(yàn)一。
• 實(shí)驗(yàn)組達(dá)到預(yù)期實(shí)驗(yàn)?zāi)繕?biāo)6%關(guān)注轉(zhuǎn)化率。

實(shí)驗(yàn)結(jié)果的可信性評(píng)估結(jié)論：該實(shí)驗(yàn)結(jié)果可信度較高。

數(shù)據(jù)指標(biāo)分析：

• 核心指標(biāo)：
  • 關(guān)注按鈕轉(zhuǎn)化率：實(shí)驗(yàn)組（6%）較對(duì)照組（4.9%）有顯著提升（22.43%）。達(dá)到實(shí)驗(yàn)預(yù)期目標(biāo)。
• 輔助指標(biāo)：
  • 每次訪問(wèn)平均時(shí)長(zhǎng)：實(shí)驗(yàn)組（15.8min）較對(duì)照組（15.9min）有略微下降（0.63%）。符合實(shí)驗(yàn)預(yù)期，屬于可接受范圍內(nèi)。
  • 內(nèi)容點(diǎn)贊數(shù)：實(shí)驗(yàn)組較對(duì)照組有略微提升（3.79%）。符合實(shí)驗(yàn)預(yù)期，與核心指標(biāo)趨勢(shì)一致。
• 反向指標(biāo)：
  • 取關(guān)轉(zhuǎn)化率：雖實(shí)驗(yàn)組較對(duì)照組有上升較大（23.49%）。但由于取關(guān)數(shù)量較小，占比較小不足1%。屬于可接受范圍內(nèi)。

實(shí)驗(yàn)結(jié)果的評(píng)估結(jié)論：該實(shí)驗(yàn)結(jié)果較為成功。

文：楊三季

特別提示：關(guān)注本專(zhuān)欄，別錯(cuò)過(guò)行業(yè)干貨！

PS：本司承接 小紅書(shū)推廣/抖音推廣/百度系推廣/知乎/微博等平臺(tái)推廣：關(guān)鍵詞排名，筆記種草，數(shù)據(jù)優(yōu)化等；

咨詢微信：139 1053 2512 (同電話) 

首席增長(zhǎng)官CGO薦讀：

• 《小紅書(shū)推廣：筆記排名，KOC種草，達(dá)人筆記，數(shù)據(jù)優(yōu)化》
• 《搜索引擎推廣：百度/360/搜狗關(guān)鍵詞快速排名，網(wǎng)站SEO優(yōu)化》
• 《抖音推廣：抖音關(guān)鍵詞排名，抖音種草，抖音數(shù)據(jù)監(jiān)測(cè)》

更多精彩，關(guān)注：增長(zhǎng)黑客（GrowthHK.cn）

增長(zhǎng)黑客（Growth Hacker）是依靠技術(shù)和數(shù)據(jù)來(lái)達(dá)成各種營(yíng)銷(xiāo)目標(biāo)的新型團(tuán)隊(duì)角色。從單線思維者時(shí)常忽略的角度和高度，梳理整合產(chǎn)品發(fā)展的因素，實(shí)現(xiàn)低成本甚至零成本帶來(lái)的有效增長(zhǎng)…