硅谷增長專家Andrew Chen：AB測試的陷阱

A/B 測試是很多公司都在用的方法，但是我們常常發(fā)現(xiàn)，當(dāng)選出來的方案上線之后，實際效果并沒有測試出的增長效果好。光澗實驗室翻譯了硅谷增長專家 Andrew Chen 最近的這篇博客，希望幫助大家解決這個問題。

創(chuàng)業(yè)中，總會遇到讓人不太開心事情：你通過 A/B 測試，找到了轉(zhuǎn)化漏斗模型里的一個步驟可以提升 10% 的轉(zhuǎn)化率，然后你的收益、app 安裝量，或者其他指標(biāo)，也會剛好增加 10％ 嗎？

當(dāng)然不會??

通常的結(jié)果是，它會上升一點點，或者根本不會上升。

這是為什么呢？我稱這種現(xiàn)象為「意圖守恒定律」(Conservation of Intent，受能量守恒定律的啟發(fā)）。

意圖守恒定律

高意圖用戶和低意圖用戶之間的情況是不同的，而在所有進入你的漏斗模型的用戶中，只有一些是高意圖用戶。僅僅通過簡化一些步驟來提升高意圖用戶的轉(zhuǎn)化率是很困難的——這只會提升低意圖用戶的轉(zhuǎn)化。

做一些頁面設(shè)計上的改變，比如改變按鈕的位置，優(yōu)化標(biāo)題，或者刪除表單字段 ，這些都很棒，但這種低意圖用戶的增加不會直接延續(xù)到你漏斗模型的最下面，他們會在后面的流程中離開。

換句話說，轉(zhuǎn)化漏斗模型里每層的總意圖是固定的。這就是「意圖守恒定律」！

如果你的公司用 A/B 測試得到了多種方案，你們在腦子里把這些 A/B 測試的結(jié)果加起來，然后得到了很好的結(jié)果——一切都很美好。將最終實際增長的用戶數(shù)量與測試結(jié)果進行比較，結(jié)果卻很少能匹配得上。

這一點在靠近漏斗頂部的 test 里看上去會更明顯，例如，新用戶的登陸頁面的點擊量大幅增加，或者是用戶打開「歡迎回來」郵件的比例大幅增加——你會看到，從模型的頂部開始，用戶在轉(zhuǎn)化漏斗模型里并不會均勻流失，相反，每個步驟減少的都是其中的低意圖用戶。

對用戶增長的啟示

首先，要真正了解到底是什么正阻止了你的高意圖用戶。他們是想要穿過漏斗模型每一步的人，但是出于某些原因，最終最終無法實現(xiàn)。對于 Uber 來說，導(dǎo)致這個結(jié)果的原因是支付方式、應(yīng)用程序質(zhì)量（特別是 Android 的?。?，找回密碼的程序，等等。如果用戶不能方便地支付，或者無法找回賬戶，即使他們現(xiàn)在每天都在使用這個應(yīng)用，之后一旦出現(xiàn)另一個讓他不那么痛苦的，他很可能轉(zhuǎn)向另一個應(yīng)用了。

此外，你可以集中精力進行實驗。在轉(zhuǎn)化漏斗的偏下方，你可以清楚地獲得真正的凈增量。這時，低意圖的人已經(jīng)離開了，你可以更接近模型底部?？纯催@里你交易流程中的步驟——對于電子商務(wù)網(wǎng)站來說，它可能是查看購物車然后添加送貨地址；對于 SaaS 產(chǎn)品來說，可能是申請開發(fā)票。想想那些需要高意圖才能到達的使用情景，例如，遇到付費失敗，或者信用/磁盤空間/資源/等等用完了。所有這些步驟都可以進行優(yōu)化，這樣用戶將會迅速抵達模型底部，完成交易。

A/B 測試避免踩雷！

因為「意圖守恒定律」的存在，前面模型中某個步驟 A/B 測試的增長用戶不一定能堅持到最后，不同步驟 A/B 測試得到的增加更不能簡單相加。

首先，要保證你的轉(zhuǎn)化漏斗反映了真實的產(chǎn)品情況。當(dāng)談到你的轉(zhuǎn)化漏斗時，是的，你絕對可以頭腦風(fēng)暴，然后每一步想出不止一個方案，帶來一系列 10％ 的增長。但你需要在電子表格中添加折扣因子來貼近現(xiàn)實情況，不能只是添加你的所有結(jié)果。（越靠近頂部，折扣越大，越靠近底部，折扣越小。）

其次，要注意帶來增長的指標(biāo)。如果你在的是一家大公司，公司里另一個團隊發(fā)布了測試結(jié)果，一定要確認(rèn)你們在實際針對的的最終指標(biāo)上已經(jīng)達成了一致——無論它是收益，深度用戶數(shù)量還是其他項，并且一定要對其進行反復(fù)確認(rèn)。同樣，我們有必要對供應(yīng)商和第三方提供的案例研究結(jié)果保持懷疑。這些研究結(jié)果通常會告訴你，通過 X 將會增加你的收益，因為 X 導(dǎo)致廣告轉(zhuǎn)化率（或者其他）有增長。這種類型的案例研究，經(jīng)常會在會議上看到，但是實際上會誤導(dǎo)人——因為供應(yīng)商挑選出的往往是能最支持其結(jié)論的案例，還有對其受影響最大的指標(biāo)！要對他們持懷疑態(tài)度，千萬不要被愚弄。

你們中的許多人，已經(jīng)在工作中直接體驗過「意圖守恒定律」，對你們而言，以后就可以用「意圖守恒定律」這個名字來向其他人解釋你遇到的情況了。

這一現(xiàn)象實際上反映了，心理學(xué)和數(shù)據(jù)驅(qū)動怎樣結(jié)合起來，共同導(dǎo)致產(chǎn)品增長的。你不能只在電子表格中查看這些內(nèi)容，然后假設(shè)一個地方的增長會自動進入模型的其余部分。

文：光澗/光澗實驗室（lightstream0）

首席增長官CGO薦讀：

• 《曲卉：增長黑客的理論體系及10倍用戶增長的方法論》
• 《網(wǎng)易云產(chǎn)品專家董安：X+內(nèi)容，引爆產(chǎn)品增長》
• 《Wehome創(chuàng)始人余鵬：找到 PMF 的 5 個步驟》

更多精彩，關(guān)注：增長黑客（GrowthHK.cn）

增長黑客（Growth Hacker）是依靠技術(shù)和數(shù)據(jù)來達成各種營銷目標(biāo)的新型團隊角色。從單線思維者時常忽略的角度和高度，梳理整合產(chǎn)品發(fā)展的因素，實現(xiàn)低成本甚至零成本帶來的有效增長…