通過A/B測試，如何判斷一個需求可以做？

▍如何判斷一個需求可以做？

畢竟現(xiàn)在都求要快速出產(chǎn)品，快速迭代，產(chǎn)品定位確定方法。

答：產(chǎn)品方向要依靠過去的A/B測試的經(jīng)驗教訓(xùn)。對一個新需求，如果試驗過類似的功能或者改版，試驗結(jié)果比較積極，那就值得去投入開發(fā)和試驗。如果過去做過類似的試驗，效果不好，那就謹(jǐn)慎投入。

比如Facebook曾經(jīng)做過一款改版，UI變成以圖片為中心，結(jié)果試驗結(jié)果顯示營收下滑10個多點。所以現(xiàn)在Facebook就不會再盲目的嘗試以圖片為中心。

如果從來沒有做過類似試驗的A/B測試，新需求開發(fā)當(dāng)然是根據(jù)咱們自己對自己用戶的需求強度來排期。

多多積累經(jīng)驗是必不可少的，多做風(fēng)險可控的試驗。

▍A/B測試是萬能的嗎？

答：A/B測試不是萬能的。首先A/B測試是用來判斷新想法和現(xiàn)有產(chǎn)品哪個更好的。換句話說，現(xiàn)有產(chǎn)品已經(jīng)滿足了用戶的某種需求。然后我們用AB測試的方法，去嘗試新的改進(jìn)或者新的功能。

如果一個全新的產(chǎn)品推出上市，A/B測試就幫不了你。比如說，一個社交產(chǎn)品，要完全改成一個游戲，那么A/B測試就完全用不上。

另外，A/B測試注重的是產(chǎn)品決策的驗證和分析，而不是產(chǎn)生決策。比如說如果你想試驗一個抽獎的功能，那么這個抽獎的功能，并不是來自A/B測試，而是你自己對用戶需求的理解。

如果你從來不用A/B測試，那么A/B測試最適合的場景就是你下一次產(chǎn)品改版，或者上新功能的時候。以前產(chǎn)品改版或者增加新功能，不做試驗就上線了，可能實際上你讓你的用戶活躍或者轉(zhuǎn)下降了5%，但你并沒有發(fā)現(xiàn)。現(xiàn)在你可以在上線之前用AB測試方法試驗一下，看一看用戶數(shù)據(jù)會有什么變化，只有那些使你獲得增長的變化你才上線，你就可以實現(xiàn)產(chǎn)品的持續(xù)優(yōu)化迭代，不斷改進(jìn)。

嘗試這樣的思路，就會發(fā)現(xiàn)A/B測試能干什么以及不干什么。

▍針對同一用戶群推送不同活動，同一活動推送不同人群，哪一種更有意義？

問題是關(guān)于A/B?test?在H5活動鏈接的測試，一家活動運營的saas工具，商家一站試創(chuàng)建獎品和活動，在不同渠道推廣。

答：H5營銷，特別是在微信或者其他渠道分發(fā)的h5頁面，是活動運營的一個很常用的手段。我們都很重視h5營銷頁面的轉(zhuǎn)化率。我們會利用很多手段來優(yōu)化用戶轉(zhuǎn)化，比如針對不同用戶群推送不同活動。但是我們不確定這些方法是否有效。

最好的方法是，首先確定h5頁面的主要內(nèi)容和主要框架，然后制作頁面，可以采用不同的設(shè)計版式和設(shè)計思路。把頁面先推給所有用戶，然后對不同的設(shè)計用A/B測試的方法對比驗證哪個更好，將最好的設(shè)計方案推送給所有用戶。

然后以這一版頁面為基礎(chǔ)，做進(jìn)一步的優(yōu)化，包括給不同人群展示不同的內(nèi)容和創(chuàng)意。不同人群，比較有效的分類方法是根據(jù)用戶需求進(jìn)行分類，比如說，來自于什么搜索詞。比如網(wǎng)絡(luò)金融產(chǎn)品，對于搜索風(fēng)險低 的用戶，和搜索 回報高 的用戶，我們可以用定向試驗的方法，給他們展示不同的h5頁面。

類似的例子還有，對于女性消費者，我們盡量展示折扣。對于男性消費者，我們盡量展示到底多少錢。

當(dāng)然，這樣的個性化展示策略，還是要對比咱們原來那個不個性化的基準(zhǔn)頁面，A/B測試看哪個更好，然后只有更好的策略才上線。

▍一款app在做灰度發(fā)布時，可能會針對性的給一小批種子用戶發(fā)送下載鏈接，或者到小的應(yīng)用市場去發(fā)布，但目前對灰度發(fā)布的理解并不是很全面，請問具體的灰度發(fā)布需要怎么操作及注意哪些問題呢？

答：App在發(fā)布之前，可能會針對性的給一小批種子用戶發(fā)送下載鏈接，或者到小的應(yīng)用市場去發(fā)布。用小流量發(fā)布的方式來檢驗新版會不會有問題。這個就是灰度發(fā)布的思想，只發(fā)布給一小部分用戶。

灰度發(fā)布是非常必要的產(chǎn)品上線流程。如果一個新的改版有bug，不經(jīng)灰度直接發(fā)布給所有用戶，那是產(chǎn)品經(jīng)理的噩夢

然后，如果用A/B測試的方法來做灰度發(fā)布，會更加有幫助。

首先，A/B測試選取的小流量是具有全用戶代表性的流量，這個很重要。如果你只用chrome瀏覽器用戶做灰度，那么ie里的bug就可能漏掉。

其次，A/B測試不僅可以檢查出來功能上產(chǎn)品上的問題，還能發(fā)現(xiàn)用戶體驗問題，比如B版用戶的下單率大幅度下降了，就說明B版的產(chǎn)品設(shè)計層面有問題。

最后，A/B測試支持流量的實時調(diào)整，可以把成功的B版發(fā)布流量從1%一鍵增加到10%，還可以一鍵發(fā)布到全體用戶。更重要的是，可以一鍵關(guān)閉有問題的試驗版本，不用經(jīng)過應(yīng)用商店審核，及時止損。

灰度發(fā)布可以對產(chǎn)品有很多很多好處，非常重要。

?▍產(chǎn)品上線時間緊張，A/B test時段卻需要相當(dāng)長的時間來驗證時，在初步優(yōu)化上應(yīng)該怎么做？

答：先嘗試對轉(zhuǎn)化和留存最重要的產(chǎn)品環(huán)節(jié)，比如廣告著陸頁面，新用戶注冊流程，購買付費流程，核心功能的觸點設(shè)計，等等。這些地方試驗優(yōu)化一下，用全流量50%做試驗，很快就能看到效果。因為試驗流量大，試驗結(jié)果的置信區(qū)間收斂很快。

一般試驗周期要有7天，覆蓋周末和周中的用戶行為。確實時間比較長。

不過當(dāng)你熟練做大流量試驗之后，可以同步并行的做一些大膽的小流量試驗，比如對1%的用戶把字體放大一號，或者2%的試驗把背景色換掉，看看會發(fā)生什么。

正常情況下，我們需要大流量試驗來驗證大型新功能，比如新推薦算法，新學(xué)習(xí)模型，新聊天功能。然后我們可以同時用流量分層的方法做很多很多小試驗，比如改UI改文案，看看有什么改變能帶來用戶轉(zhuǎn)化的提升。同時跑10個以上的試驗很正常，這種并行決策實際上大幅度提高了產(chǎn)品優(yōu)化效率，而不會延緩迭代。

▍論壇帖子類的app，怎么做算法使內(nèi)容豐富且刷新后重復(fù)概率??？

答：這個問題太專業(yè)，其實不夠資格回答這個問題。

不過我可以說說外行的看法。

要讓新帖子更多，就需要多做用戶運營和內(nèi)容運營。

產(chǎn)品上，鼓勵用戶多生產(chǎn)內(nèi)容，比如新發(fā)帖子有獎勵，長回復(fù)可以很方便的生成獨立帖子，以及打通微博等內(nèi)容平臺，方便用戶在其他平臺發(fā)內(nèi)容的時候在我們的平臺同步發(fā)。

虎撲論壇

排序算法可以把用戶沒有看過的帖子排在前面，帖子新鮮度高的排在前面。還有，用戶看過的帖子可以用淡顏色展示，讓用戶關(guān)注沒有看過的內(nèi)容。

當(dāng)然，我說的所有這些方法都是錯的，除非你實際用A/B測試跑試驗證明了有這些方案的產(chǎn)品能有更好的用戶數(shù)據(jù)。

在這方面美團(tuán)大眾點評很有經(jīng)驗，他們會在你下拉刷新的時候不斷給你推新店。

▍怎么定義電商平臺的第一核心指標(biāo)？

答：我個人的感覺，GMV

新興租衣電商平臺

▍對于創(chuàng)業(yè)型公司，怎么說服老板重視A/B測試，如何從0到1完成A/B測試?

答：如果老板本身就是產(chǎn)品的決策者，那就跟他說說人人網(wǎng)的案例。人人網(wǎng)的信息流頁面借鑒了Facebook的一個試驗版本的設(shè)計。不過這個設(shè)計在Facebook做的A/B測試?yán)锉憩F(xiàn)不佳，降低了10%以上的營收，降低了用戶活躍度。人人網(wǎng)不做試驗直接上線的裸奔方法，是在碰運氣，不是在做企業(yè)。

頂級的PM也只能跑贏一半的A/B測試，現(xiàn)實中超過20%的試驗都是對公司業(yè)務(wù)起反作用的……這個風(fēng)險不值得冒。

像Uber, Airbnb, Wish這些新一代的企業(yè)，都是從第一天開始就做A/B測試來做產(chǎn)品迭代優(yōu)化的，所以他們才會不斷提升高速發(fā)展。

如果老板讓你全權(quán)負(fù)責(zé)產(chǎn)品，那就先斬后奏，先跑一兩個簡單的試驗，把試驗結(jié)果給老板看。相信她很快就能明白你為公司的良苦用心。

▍什么情況下需要或者適合做A/B測試？

答：其實當(dāng)產(chǎn)品到一定規(guī)模的時候，任何改版都應(yīng)該首先經(jīng)過AB測試小流量驗證。

如果從來沒有用過AB測試，那可以先嘗試從一個小改動開始，熟悉AB測試的實施流程。

然后就像我們前面說的那樣，在關(guān)鍵環(huán)節(jié)的修改上做實驗。

特別是后端算法變更，更是必須經(jīng)過AB測試。我們有個客戶通過AB測試迭代后端的商品推薦算法，發(fā)現(xiàn)一個經(jīng)典算法可以提升推薦商品購買率5%。

如果沒有經(jīng)過AB測試，可能后端大牛的貢獻(xiàn)就被埋沒了。

關(guān)鍵環(huán)節(jié)熟練之后，我們可以并行的去嘗試更多的地方的修改。

最終形成一套以AB測試為核心環(huán)節(jié)的上線流程。

需求評審 – 建立試驗方案 – 新功能開發(fā) – 灰度發(fā)布 – 小流量A/B測試 – 發(fā)布成功的功能，關(guān)閉失敗的。

▍在本來用戶量就不多的情況下，A/B測試時的樣本量如何取舍？

答：如果用戶量小，就50% 50%對比試驗。分層試驗可以大幅度增加并行試驗數(shù)量。

換句話說就是做大流量試驗。

特別提一句，如果可以采樣的用戶數(shù)量不到1000，那么基本AB測試結(jié)果就沒用了，會得到非常”寬“的置信區(qū)間。

比如[-500%,+700%]這樣的試驗結(jié)果。

▍平臺類的系統(tǒng)，一開始開發(fā)時總會有些需求沒有考慮到，后續(xù)有一些需求需要改變基礎(chǔ)架構(gòu)。涉及基礎(chǔ)架構(gòu)的模塊優(yōu)化，若成本相當(dāng)，此時優(yōu)化還是填坑？

答：架構(gòu)是具有決定性影響的技術(shù)決策。如果架構(gòu)不好用了，那么只能一邊修修補補硬撐業(yè)務(wù)，一邊重構(gòu)等待測試和遷移。

如果架構(gòu)和需求不對路，基本上就沒法長久。比如Yahoo使用人工維護(hù)搜索詞的索引…

架構(gòu)的遷移如果可能，也可以利用灰度發(fā)布來做，把前端流量分一小部分到新后端系統(tǒng)上，看看數(shù)據(jù)。如果數(shù)據(jù)有問題，趕緊回去改。

▍在公司的網(wǎng)站框架已搭好的情況下，網(wǎng)站優(yōu)化應(yīng)該基于原有框架還是用戶體驗？

答：這兩者好像并不矛盾，都非常重要啊。

基于已有的框架，小步快跑，迅速迭代，這個很有必要。同時每次迭代的時候，做試驗就是為了看能不能提升用戶體驗。

這個問題可能是說現(xiàn)有的框架有局限性，沒法支撐用戶的體驗需求。那么和上一個問題一樣，我的經(jīng)驗是必須遷移到更好的新框架。

我們吆喝科技的AppAdhoc官網(wǎng)以及用戶后臺已經(jīng)遷移好幾次了。現(xiàn)在的框架已經(jīng)經(jīng)過多次迭代。

▍互聯(lián)網(wǎng)產(chǎn)品應(yīng)該如何將自己的產(chǎn)品數(shù)據(jù)?融入到大數(shù)據(jù)背景下，得到更多有價值的挖掘信息呢？

答：恩，這是一個很深刻的問題，好宏觀。

在產(chǎn)品的發(fā)展方向上，可以多多的積極的借鑒行業(yè)數(shù)據(jù)報告來指導(dǎo)我們改進(jìn)的思路。集思廣益，多做AB測試實驗。

產(chǎn)品產(chǎn)生的數(shù)據(jù)和其他數(shù)據(jù)源的數(shù)據(jù)融合，一般需要一些打通，比如基于用戶id等。

（接上個問題）大家應(yīng)該請教Domo的高手，就知道怎么做數(shù)據(jù)融合

▍社區(qū)服務(wù)類的020產(chǎn)品，有沒有什么好的功能或內(nèi)容，讓業(yè)主們鐘愛的？主要是國內(nèi)外，有沒有運營的好的案例？

答：一般來說，高頻的內(nèi)容需求是非常適合O2O產(chǎn)品的額外功能的，比如家庭空氣質(zhì)量、家人居住舒適度、補訂牛奶酸補訂椰奶

對于低頻的需求，很可能主要流量是來自于搜索。

那么更具搜索關(guān)鍵詞做一些產(chǎn)品入口的優(yōu)化，引導(dǎo)消費者留意到產(chǎn)里附加的高頻功能，一定很有用。Airbnb就會提醒你工作一周好辛苦，周末天氣好，要不要出去玩。這種思路非常不錯。放松是高頻需求，旅游是低頻需求，但是兩者可以互相導(dǎo)流的。

▍產(chǎn)品設(shè)計上有哪些可以間接引導(dǎo)用戶搜索出自己想要的結(jié)果？比如電商，有時候用戶也不能很清晰的明白自己想買的是什么，推送的數(shù)據(jù)如何計算？

答：可以放一個”點擊此處有驚喜“之類的功能，引導(dǎo)用戶去探索自己的需求。

在搜索欄那里給用戶推薦一些搜索關(guān)鍵詞。

根據(jù)經(jīng)驗，在一個類似百度糯米的App結(jié)構(gòu)里面，搜索的銷量占到30%以上。幾個大圓圈分類占到30%。廣告占到30%。還有推薦算法推薦的內(nèi)容，可以占到1%到10%。

推薦算法好的話，是可以占到10%的，這就需要有巧思。不僅是”和你類似的用戶喜歡買什么“，還有“你買的東西別人如果買了還會買什么”，以及考慮“你附近的人都喜歡買什么”，等等。

在時間維度，空間維度，話題維度，等等，都可以找到可以推薦的內(nèi)容。

▍做眾包的產(chǎn)品，人人快遞，請問在產(chǎn)品上可以如何優(yōu)化用戶發(fā)單的轉(zhuǎn)化？

答：免費促銷。

當(dāng)然，這是在說運營以及市場。

在產(chǎn)品層面，我們可以沿著這個思路去嘗試。

比如說定價策略，可以把價格訂的高一些，然后著重強調(diào)優(yōu)惠，折扣，等等。

對于特別理性的用戶，可以做產(chǎn)品內(nèi)的“促銷”，比如派單有積分，連續(xù)派單有獎勵。

還有上面提到的從用戶的其他高頻需求入手：提醒該給女朋友送玫瑰花了。

另外，找一找你的magic number，看看什么特征的用戶派單比較多，然后針對這個發(fā)力。

知乎發(fā)現(xiàn)一個回答了3個以上問題的用戶，會比其他用戶活躍度高100%以上。

所以知乎會邀請新注冊用戶回答3個問題。

▍ab測試?切用戶和切服務(wù)器的依從什么樣的需求？

答：盡量從用戶端，也就是客戶端來做流量分割。這是因為后端流量分割更容易得出不準(zhǔn)確的結(jié)果。

舉例來說，后端做了一個新功能，讓某個用戶來試驗體驗這個功能。后端指令發(fā)出去了，但是前端版本升級或者操作系統(tǒng)出了問題，可能用戶就沒有真的進(jìn)入這個試驗。

那樣試驗結(jié)果統(tǒng)計就有問題。特別是某些瀏覽器或者某些手機型號，真的不太容易保證渲染正確。

適合做后端分流的試驗一般是推薦算法，排序算法之類的純粹邏輯。

UI，用戶交互，促銷，推送，新功能，都適合在前端做分流測試。

▍當(dāng)產(chǎn)品日活量在50萬的時候這個時候應(yīng)該是拉新還是留舊？

答：這個當(dāng)然要聽老板的。

如果你就是老板，那么我建議你專注在留存和轉(zhuǎn)化的優(yōu)化上。

已經(jīng)被無數(shù)個優(yōu)秀的產(chǎn)品證明過，用戶粘性是最重要的。

拉新是可以在留存超過競品很多之后再做的事情。

▍在產(chǎn)品的運營過程終中，會對某些模塊進(jìn)行一些探索性的運營測試，如果產(chǎn)品框架搭不好，就導(dǎo)致每次測試都需要迭代產(chǎn)品。對于產(chǎn)品框架的搭建，有什么好的建議？

答：推薦使用AppAdhoc的模塊化開發(fā)方法。

定義和使用試驗變量來控制新功能的模塊，保證可以用一個變量作為模塊的開關(guān)，隨時在線打開或者關(guān)閉某個模塊。另外，模塊開發(fā)過程中，可以用變量來讓模塊更加容易測試。

隨時測試模塊里的參數(shù)是3好還是4好，按鈕位置是左邊好還是右邊好，文案是“立即升級”好還是”至尊會員“好等等。

具體的在開發(fā)方法，在我們官網(wǎng)的文檔里有詳細(xì)的介紹。

這套模塊化開發(fā)方法，和Google內(nèi)部幾乎一模一樣，有非常高的參考價值。

▍A/B 測試中變量如何控制？

比如說樣本大小，測試周期等等。

答：試驗的周期一般是7天，覆蓋周末和周中的用戶行為。

對于復(fù)雜一些的測試，可以跑2周甚至1個月。

樣本大小，有一個很巧妙的辦法，就是看試驗結(jié)果的置信區(qū)間的收斂速度，如果置信區(qū)間達(dá)到[3%,5%]已經(jīng)可以決策了，就可以停止試驗了。

關(guān)于試驗的設(shè)計，實施，和各種經(jīng)驗，我們可以線下詳細(xì)討論。

▍前端 A/B 測試與后端 A/B 測試的區(qū)別？

答：這個剛才有個問題有涉及。后端測試就是在后端分流

當(dāng)然，后端測試也可以在前端分流，然后分流之后的用戶請求帶上試驗標(biāo)簽，后端可以根據(jù)標(biāo)簽進(jìn)行不同的響應(yīng)。

還是那句話，盡量多在前端分流。純粹后端AB測試就只做純邏輯改動的大流量試驗。

▍如何更高效帶產(chǎn)品團(tuán)隊？

答：這個我有一個非常靠譜的建議。

讓PM們，特別是年輕的PM們，都腦洞打開的去做各種各樣的小流量的AB測試。

讓他們發(fā)揮自己的創(chuàng)意，小到改改文案改改顏色，大到一個新的小功能。

然后帶他們一起開會，會上分享試驗經(jīng)驗教訓(xùn)，分享實驗報告，總結(jié)經(jīng)驗教訓(xùn)，互相提意見。

相信我，3個月后，你會擁有一支產(chǎn)品經(jīng)理的特種部隊

▍產(chǎn)品優(yōu)化應(yīng)該從哪里著手呢？

答：產(chǎn)品優(yōu)化的著手在前面一個問題已經(jīng)說過了，還是從關(guān)鍵環(huán)節(jié)入手，特別是流失率比較大的環(huán)節(jié)。

比如新用戶注冊，可以試試看大幅度簡化，比如不要文案，就給出用戶注冊的必要填空框。

說不定AB測試能發(fā)現(xiàn)這個提高注冊率

▍在Boss產(chǎn)品下，怎么提出自己的想法？

答：跟Boss說競爭對手做了新改動

向Boss提議做一個1%流量的試驗，肯定比向Boss申請上線一個新功能要容易很多。

▍社交類的AB測試應(yīng)注意一些什么？

答：有一個特別需要注意的是試驗單位。

只有試驗單位互相不怎么干擾的時候，實驗結(jié)果才可信。

所謂”試驗單位“之間”沒有依賴性“

比如如果你是給男女朋友聊天用的工具，那一對couple就應(yīng)該劃為一個試驗單位。

如果男朋友進(jìn)入了一個試驗，那就得保證女朋友也進(jìn)入同樣的試驗。

兩個人同時體驗新功能。

否則，兩個人行為互相充分干擾，男朋友看到這個功能，女朋友那里沒有這個功能，這個試驗就會出問題了。

其他的要注意的和別的行業(yè)也都差不多，就不多說了。

▍請問 to B的產(chǎn)品應(yīng)該如何做 A/B 測試呢？

答：2B 和2C 沒有什么不同，但是難點是流量很小，很難得出有統(tǒng)計意義的結(jié)論。

但是2B可以針對大客戶的行為做針對性優(yōu)化，比如仔細(xì)觀察一個改版會怎么影響王思聰?shù)南聠温剩隙墚a(chǎn)生效果。

▍流量特別少，如何做 A/B 測試，我想問下，多少用戶開始做測試是有意義的，得出來的測試區(qū)間是比較科學(xué)的？

答：需要1000個樣本的采樣。用戶數(shù)量不到1000就不行。

推薦日活1000以上就開始做試驗。

▍不同語言國家地區(qū)的 A/B test都不同往往做7天以上還得不到充足的樣本數(shù)量，這時候怎么辦？推廣想辦法么？

答：哈哈，主要是中國太大，其他國家太小。所以還是中國企業(yè)幸福，可以充分利用AB測試

▍問一個比較細(xì)節(jié)的問題? app做ab測試呢 比如ios

答：iOS也可以集成我們AppAdhoc的SDK，就可以很方便的做 A/B 測試了

這個工具方面，已經(jīng)非常完善和強大了。

Growth Hacker（增長黑客）：增長黑客是依靠技術(shù)和數(shù)據(jù)來達(dá)成各種營銷目標(biāo)的新型團(tuán)隊角色。從單線思維者時常忽略的角度和高度，梳理整合產(chǎn)品發(fā)展的因素，實現(xiàn)低成本甚至零成本帶來的有效增長…