大家好，我是「路人甲乙丙」星球的首席服務(wù)官櫻木。
今天這篇文章來源于我們的付費星球「路人甲乙丙」，這是一篇來自甲哥在星球中的分享，大家盡情享用。
剛好有球友提到，那咱們就來說說：數(shù)據(jù)量和誤差的問題，這也是做數(shù)據(jù)分析時候經(jīng)常會遇到的問題。
數(shù)據(jù)分析得到的結(jié)論不一定是靠譜的，具體體現(xiàn)在什么地方呢？
比如我們想知道 A 功能和 B 功能好不好，對用戶的留存有沒有用，所以我們讓兩撥用戶來使用 A 功能和 B 功能。
如果這兩撥用戶分別只有 1 個人，使用 A 功能的這個人第二天回來了，使用B功能的這個人第二天沒回來，所以一個留存是 100%，一個留存是 0%。
那么如果我們光從數(shù)據(jù)上看，得到的結(jié)論就是：
A 功能的留存是 B 功能的一倍。
跳出數(shù)據(jù)看，大家肯定能發(fā)現(xiàn)，這個是有問題的。
就兩個用戶，有可能這個用戶今天剛好忙沒用產(chǎn)品，恰好 A 用戶因為某個事情用了，這個隨機性太大了。
那么這個時候，如果兩撥用戶分別是 10 個人，得出的結(jié)果是使用了 A 功能的人第二天有 5 個人回來了，使用了 B 功能的人第二天有 8 個人回來了。
這樣使用 A 功能的用戶的留存率是 50%，使用 B 功能的用戶的留存率是 80% 那么這樣，我們可以說，使用B功能的留存率提高了 (80% – 50%) / 50% = 50%，這樣的結(jié)論對嗎？
不全對。
這個原因就是用戶量還是太小了。
那么，到底多大量級的數(shù)據(jù)得出來的結(jié)論才是靠譜的呢？
這就涉及到一些統(tǒng)計學(xué)知識了，這個知識我在這里就不詳細說了，我直接告訴大家一個工具，以及怎么用。
現(xiàn)在領(lǐng)導(dǎo)給了我們一個任務(wù)，需要我們?nèi)ヌ嵘脩袅舸媛?，提?10% 絕對值，那么目前我們的用戶留存率是 50% 左右，也就是我們需要提升到 60%。
我們想出了一些優(yōu)化的功能點，需要進行一次 AB 測試，那么上面肯定會問了，那你需要多少的用戶量來進行測試呢？
我們可以看下面圖片的計算結(jié)果，我們需要每個組 190 個用戶量，這樣能夠保證我們的結(jié)論有 95% 的可信度，在統(tǒng)計學(xué)上 95% 的可信度的結(jié)論就基本是可靠的了。
也就是說如果我們現(xiàn)在 AB測試的兩個組，每個組不少于 190 人，最后經(jīng)過測試得到的結(jié)論一個組是 50%，另一個組是 60%，我們就可以說我們的留存率提升了 10% 絕對值了。
如果AB測試的時候，人數(shù)是少于 190 人的，即使你得到了增長 10% 的結(jié)論，這個結(jié)論很可能也是不靠譜的。
那么如果，咱們預(yù)計留存只能提升1%絕對值，那么我們需要多少量級呢？同樣的方法，計算得出需要41000的用戶數(shù)。
對應(yīng)的計算網(wǎng)址放在底部的閱讀原文中了。
—— 如果覺得文章還OK，請轉(zhuǎn)發(fā) ——
特別提示：關(guān)注本專欄，別錯過行業(yè)干貨！
PS：本司承接 小紅書 / 淘寶逛逛 / 抖音 / 百度系 / 知乎 / 微博/大眾點評 等 全網(wǎng)各平臺推廣；
咨詢微信：139 1053 2512 (同電話)
首席增長官CGO薦讀：
更多精彩，關(guān)注：增長黑客（GrowthHK.cn）
增長黑客（Growth Hacker）是依靠技術(shù)和數(shù)據(jù)來達成各種營銷目標的新型團隊角色。從單線思維者時常忽略的角度和高度，梳理整合產(chǎn)品發(fā)展的因素，實現(xiàn)低成本甚至零成本帶來的有效增長…
本文經(jīng)授權(quán)發(fā)布，不代表增長黑客立場，如若轉(zhuǎn)載，請注明出處：http://gptmaths.com/quan/43673.html
微信掃一掃 
支付寶掃一掃 
