Facebook擴(kuò)招“產(chǎn)品增長(zhǎng)分析師”！ MarTechCareer教你拿下面試

最近，有不少同學(xué)都在面試Facebook的Product Growth Analyst這個(gè)職位（原來(lái)叫做Growth Marketing Analyst）。這個(gè)職位在后疫情時(shí)代加快招聘進(jìn)程，很多人在8、9月都已經(jīng)收到面試邀約啦！

眾所周知，F(xiàn)acebook有著一個(gè)百人增長(zhǎng)團(tuán)隊(duì)，是所有Facebook產(chǎn)品的增長(zhǎng)引擎。每一個(gè)Product Growth Analyst都會(huì)負(fù)責(zé)與不同的產(chǎn)品對(duì)接，為其提供產(chǎn)品分析的支持。

說(shuō)到這個(gè)職位的面試，你可千萬(wàn)別被它以前的職位名稱(chēng)所誤導(dǎo)，雖然它曾被稱(chēng)為Growth Marketing Analyst，但是面試題目并沒(méi)有側(cè)重營(yíng)銷(xiāo)戰(zhàn)疫/廣告投放，事實(shí)上它的面試側(cè)重點(diǎn)在于——產(chǎn)品戰(zhàn)略、產(chǎn)品設(shè)計(jì)、產(chǎn)品分析。（其實(shí)這個(gè)職位的面試題和產(chǎn)品經(jīng)理挺像的）。

比如，在最近這段時(shí)間，這個(gè)職位的常見(jiàn)面試題包括：- 怎樣提高Facebook Groups的活躍度？- 怎樣讓Instagram用戶(hù)多去Facebook發(fā)帖？- 怎樣提高Instagram Story的活躍度？- ……

這些題目，就是典型的產(chǎn)品案例題，而你在回答這些題目的時(shí)候，除了要有產(chǎn)品思維的面試框架之外，你也往往繞不開(kāi)一個(gè)答題重點(diǎn)——如何用A/B測(cè)試來(lái)收集數(shù)據(jù)并證明你的產(chǎn)品提高方案是切實(shí)有效的。

一句話：

面試Facebook，你繞不開(kāi)A/B測(cè)試；而A/B測(cè)試，則直接掛掉了90%的Facebook候選人。

那么，A/B測(cè)試面試題的答題框架，到底是怎樣的？

我們先掃個(gè)盲：A/B測(cè)試是通過(guò)對(duì)同一事物的不同變體 （variants）進(jìn)行測(cè)試來(lái)看用戶(hù)更喜歡哪一種的。

這樣的測(cè)試對(duì)于衡量某一變化的影響以及建立起變化和結(jié)果之間的因果關(guān)系（causal relationship）至關(guān)重要。這些變化可以是：

1. 產(chǎn)品變化

• 用戶(hù)界面設(shè)計(jì)（UI Design) 或者 增加新的功能特征（Features)
• 推薦系統(tǒng)/搜索排名/廣告展示等的算法強(qiáng)化

2. 優(yōu)化增長(zhǎng)

• 促銷(xiāo)（Promotions），優(yōu)惠券（Coupons），或獎(jiǎng)勵(lì)計(jì)劃（Inventive Programs）
• 搜索引擎優(yōu)化（Search Engine Optimization,? SEO）

那么，A/B測(cè)試的面試會(huì)問(wèn)什么的問(wèn)題呢？

答案是，A/B測(cè)試面試會(huì)要求你清晰地描述從設(shè)計(jì)到實(shí)施測(cè)試的全過(guò)程，包含以下的框架：

• 實(shí)驗(yàn)設(shè)計(jì)和方法定義
• 結(jié)果測(cè)量/分析
• 產(chǎn)品見(jiàn)解/運(yùn)行實(shí)驗(yàn)
• 啟動(dòng)決策平臺(tái)團(tuán)隊(duì)

具體讓我們來(lái)看看大廠FAANG（Facebook,Apple, Amazon, Netflix, Google）都是怎樣考察A/B Test的：

Facebook真題：青少年在Facebook上的活躍度由于他們父母的加入而明顯降低，為什么？你會(huì)怎么做？

Google真題：現(xiàn)在你有$150,000的預(yù)算用來(lái)給一個(gè)新產(chǎn)品做促銷(xiāo)。你會(huì)選擇下面哪一種渠道：email，廣告展示（display ads），賺取的媒體（earned media，區(qū)分于owned media和paid media，earned media是當(dāng)內(nèi)容通過(guò)社交媒體或口碑交流獲得關(guān)注時(shí)才能獲得），常規(guī)信件？?

Amazon真題：你的團(tuán)隊(duì)推薦了一個(gè)通過(guò)在網(wǎng)站上增加一個(gè)新的產(chǎn)品類(lèi)別來(lái)提高收益的新方法，但是管理層擔(dān)心這個(gè)方法實(shí)際上有可能對(duì)銷(xiāo)售不利甚至破壞和現(xiàn)有供應(yīng)商的關(guān)系。你會(huì)怎么做？

什么樣的人在面試官眼里是最佳人選？如何破解面試題目背后的考驗(yàn)？

簡(jiǎn)而言之，你需要證明自己有強(qiáng)大的統(tǒng)計(jì)基礎(chǔ)，并且對(duì)與團(tuán)隊(duì)一起進(jìn)行AB測(cè)試的機(jī)制有良好的理解。以上面 Amazon的問(wèn)題為例，我們一步步來(lái)分解這個(gè)面試題：

問(wèn)題：你的團(tuán)隊(duì)推薦了一個(gè)通過(guò)在網(wǎng)站上增加一個(gè)新的產(chǎn)品類(lèi)別來(lái)提高收益的新方法，但是管理層擔(dān)心這個(gè)方法實(shí)際上有可能對(duì)銷(xiāo)售不利甚至破壞和現(xiàn)有供應(yīng)商的關(guān)系。你會(huì)怎么做？

第一步：提出假設(shè)

首先，我們需要根據(jù)這個(gè)問(wèn)題提出一個(gè)假設(shè)，一個(gè)好的假設(shè)可以直接清楚地描述你要測(cè)試的內(nèi)容。

在這個(gè)案例中，我們要測(cè)試“在網(wǎng)站上添加運(yùn)動(dòng)產(chǎn)品類(lèi)別是否會(huì)增加收入？” 為了更好地驗(yàn)證/推翻這個(gè)假設(shè)，我們需要將其分為兩個(gè)部分：

• 零假設(shè)（Null Hypothesis, H0）：零假設(shè)通常假設(shè)實(shí)驗(yàn)組（treatment group）和對(duì)照組（control group）之間沒(méi)有顯著差異。
• 被擇假設(shè)（Alternative Hypothesis, H1）：替代假設(shè)假設(shè)實(shí)驗(yàn)組和對(duì)照組之間有顯著差異。（換句話說(shuō)，統(tǒng)計(jì)學(xué)意義上，實(shí)驗(yàn)組結(jié)果不同于對(duì)照組結(jié)果）

一個(gè)很好的經(jīng)驗(yàn)法則是遵循PICOT框架：

• – 人群（Population)
• – 干預(yù)措施（Intervention)
• – 比較（Comparison）
• – 結(jié)果（Outcome）
• – 時(shí)間（Time）

值得注意的是，假設(shè)應(yīng)包括所研究的人群（比如，Amazon.com美國(guó)訪客，倫敦銀行客戶(hù)等），干預(yù)措施（網(wǎng)站布局A和B，目標(biāo)貸款還款SMS），比較組?（與之進(jìn)行比較），結(jié)果（測(cè)量什么）和時(shí)間（什么時(shí)候測(cè)量它）。

在這個(gè)案例中，一個(gè)強(qiáng)有力的假設(shè)陳述應(yīng)該是這樣的：

• 零假設(shè)（H0）：將運(yùn)動(dòng)類(lèi)別產(chǎn)品頁(yè)面添加到亞馬遜網(wǎng)站不會(huì)使其在美國(guó)的銷(xiāo)售發(fā)生任何變化。
• 被擇假設(shè)（H1）：在亞馬遜網(wǎng)站上添加產(chǎn)品的運(yùn)動(dòng)類(lèi)別將使其在美國(guó)的銷(xiāo)售產(chǎn)生統(tǒng)計(jì)學(xué)意義上的顯著變化。

假設(shè)的細(xì)分：

• 人群：訪問(wèn)過(guò)Amazon.com網(wǎng)站的個(gè)人
• 干預(yù)措施：運(yùn)動(dòng)產(chǎn)品的新產(chǎn)品類(lèi)別
• 比較：瀏覽原先網(wǎng)站布局的訪客
• 結(jié)果：購(gòu)買(mǎi)率
• 時(shí)間：結(jié)束訪問(wèn)Amazon.com的時(shí)間

第二步：建立起隨機(jī)策略

我們想要隨機(jī)抽取訪客的樣本，這也意味著每一個(gè)訪客將有著同等機(jī)會(huì)并被隨機(jī)分配到實(shí)驗(yàn)組/對(duì)照組中。這是有效避免混淆偏差（confounding bias，正向偏差會(huì)導(dǎo)致結(jié)果過(guò)分趨于零假設(shè)，反向偏差會(huì)導(dǎo)致結(jié)果過(guò)分趨于替代假設(shè)）的唯一方式。同時(shí)我們也應(yīng)該考慮集群效應(yīng)（cluster effects），準(zhǔn)確地使用隨機(jī)抽取的單位。

在面試中，有一個(gè)問(wèn)題出現(xiàn)的頻率非常高，那就是：

如何實(shí)現(xiàn)隨機(jī)?（How you made the randomization decision?)

就這個(gè)案例來(lái)說(shuō)，我們有兩種方式問(wèn)答這個(gè)問(wèn)題：

• 隨機(jī)分配訪問(wèn)者到A版面或B版面
• 允許訪問(wèn)者自己選擇是否參加運(yùn)動(dòng)產(chǎn)品類(lèi)別的新版面測(cè)試

第一種方案更適合這個(gè)具體案例，因?yàn)?strong>如果我們?cè)试S訪問(wèn)者自己選擇是否加入測(cè)試，很可能會(huì)削弱我們的A / B測(cè)試的有效性。試想，如果很多訪客都來(lái)自某個(gè)國(guó)家或某個(gè)性別，結(jié)果會(huì)怎么樣？

但即使是進(jìn)行了隨機(jī)分配，也可能發(fā)生混淆。一項(xiàng)關(guān)于用于控制糖尿病的二甲雙胍藥物的著名研究表明，二甲雙胍有助于降低癌癥發(fā)生率。后來(lái)發(fā)現(xiàn)這種說(shuō)法是不對(duì)的，因?yàn)檠芯恐袑?duì)混雜效應(yīng)沒(méi)有得到有效控制。避免這種情況的一種方法是使用傾向分?jǐn)?shù)（propensity scores），潛在的混雜因素用來(lái)建立統(tǒng)計(jì)模型，該統(tǒng)計(jì)模型為每個(gè)人分配一個(gè)傾向分?jǐn)?shù)，分?jǐn)?shù)高的人更有可能產(chǎn)生某些混雜因素，而分?jǐn)?shù)低的人則較少產(chǎn)生混雜因素，以此來(lái)更好的控制混雜效應(yīng)。

第三步：設(shè)置指標(biāo)（Metrics）

在實(shí)驗(yàn)開(kāi)始之前設(shè)置指標(biāo)，可以幫助我們了解實(shí)驗(yàn)引起的變化（并區(qū)分哪些變化是重要的）。理想情況下，我們會(huì)將指標(biāo)分為兩個(gè)類(lèi)別：

• 關(guān)鍵指標(biāo)：用于評(píng)判實(shí)驗(yàn)和制定決策的一些指標(biāo)
• 監(jiān)控指標(biāo)：
  • 衡量負(fù)面影響的指標(biāo)
  • 跟蹤以估算影響的現(xiàn)有指標(biāo)

如何選擇指標(biāo)呢？這就涉及到了兩個(gè)重要概念：敏感度（Sensitivity)和穩(wěn)健性（Robustness）

指標(biāo)應(yīng)選擇我們關(guān)心的變化（敏感度），而剔除我們不關(guān)心的變化（穩(wěn)健性）。

例如 均值（Mean）對(duì)異常值敏感，并且受這些觀察結(jié)果的影響很大。而中位數(shù)（Median）不那么敏感，但更穩(wěn)健，如果我們僅影響一部分用戶(hù)，即使是很大一部分（如20％），中位數(shù)也可能不會(huì)改變。

我們還可以使用A / A 測(cè)試來(lái)估計(jì)指標(biāo)的經(jīng)驗(yàn)差異：

A / A 測(cè)試將看到相同事物的人們彼此進(jìn)行比較，以檢查該指標(biāo)是否能夠顯示出兩者之間的差異。

A / A 測(cè)試將一組劃分開(kāi)成不同部分，并使用相同的控制條件對(duì)不同部分進(jìn)行比較，這里的差異就由潛在的差異性（如用戶(hù)擁有的操作系統(tǒng)）驅(qū)動(dòng)。如果您在A / A 測(cè)試中看到一個(gè)度量標(biāo)準(zhǔn)（Metric）存在很多差異性，則它可能過(guò)于敏感而不適合在實(shí)驗(yàn)中使用。

第四步：選擇樣本量

曝光（Exposure）和曝光時(shí)長(zhǎng)（Duration）

通常，測(cè)試只會(huì)選取一部分人進(jìn)行并且我們要去確定這一部分人的數(shù)量，這樣做是因?yàn)槿f(wàn)一實(shí)驗(yàn)不成功，不會(huì)對(duì)所有用戶(hù)帶來(lái)負(fù)面影響。保守來(lái)說(shuō)，實(shí)驗(yàn)一般涉及5％或更少的用戶(hù)群，之后才逐步推出。

如何確定測(cè)試中的曝光百分比？

我們需要回答以下三個(gè)問(wèn)題：

• 可用來(lái)測(cè)試的總?cè)藬?shù)是多少？
• 估計(jì)對(duì)用戶(hù)體驗(yàn)和業(yè)務(wù)的影響
• 對(duì)工程團(tuán)隊(duì)來(lái)說(shuō)，測(cè)試和調(diào)試錯(cuò)誤有多困難？

考慮一下工程團(tuán)隊(duì)所需的工作規(guī)模和變更范圍，以下哪一個(gè)變更范圍更大？?

示例1：重新設(shè)計(jì)網(wǎng)頁(yè)的完整布局

可能會(huì)大大改變用戶(hù)的行為，需要三支工程師和設(shè)計(jì)師的團(tuán)隊(duì)來(lái)協(xié)調(diào)。

示例2：更改登陸頁(yè)CTA轉(zhuǎn)換率上的按鈕顏色

一位工程師將在2分鐘內(nèi)完成此操作。

關(guān)于樣本量，我們?cè)诿嬖囍锌赡苡龅竭@樣的問(wèn)題：

• 測(cè)試所需的時(shí)間多長(zhǎng)？
• 最小樣本量是多少？
• 如何平衡用戶(hù)體驗(yàn)和快速學(xué)習(xí)？
• 你的推出計(jì)劃（roll-out plan）是什么？

除了以上詳細(xì)的測(cè)試步驟會(huì)很容易在面試中被問(wèn)及之外，還有一些我們要具備的統(tǒng)計(jì)學(xué)概念

1. I型錯(cuò)誤，II型錯(cuò)誤（Type I,II errors）

任何時(shí)候只要我們需要用到統(tǒng)計(jì)學(xué)來(lái)做決策，總會(huì)有四個(gè)可能的結(jié)果，兩個(gè)代表正確的決策和兩個(gè)錯(cuò)誤的決策。這兩種錯(cuò)誤的機(jī)率成反比：即降低I型錯(cuò)誤率會(huì)增加II型錯(cuò)誤率，反之亦然。

2. 功效分析（power analysis）

功效分析在數(shù)據(jù)收集之前進(jìn)行，主要目的是幫助我們確定在所需的顯著性水平所需要的最小樣本量。

3. 最小可檢測(cè)效應(yīng)（MDEs,Minimum detectable effects）

在實(shí)驗(yàn)中，因?yàn)樗械母深A(yù)和改變都是有成本的，所以我們想要知道，我們需要看到的最小的影響是怎么樣的？

因?yàn)槿绻深A(yù)措施的投資回報(bào)率（ROI）為負(fù)或小到可以忽略不計(jì)，那它對(duì)于我們之后的決策就起不到任何作用。

以下示例可以幫助我們剛好的理解這個(gè)概念

示例1：重新設(shè)計(jì)網(wǎng)頁(yè)的完整布局

需要三支工程師和設(shè)計(jì)師的團(tuán)隊(duì)來(lái)協(xié)調(diào)， 成本$ 50k

在示例1中，我們只關(guān)心能夠檢測(cè)到大于$ 50,000的效果。假設(shè)$ 50,000相當(dāng)于轉(zhuǎn)化率提高了7％。那么我們將MDE設(shè)置為7點(diǎn)，將效果大小設(shè)置為7點(diǎn)進(jìn)行計(jì)算。

讀了這份A/B測(cè)試題的標(biāo)準(zhǔn)答案，是不是有一種恍然大悟的感覺(jué)？應(yīng)對(duì)更多FAANG大廠的A/B測(cè)試題，還需要從實(shí)戰(zhàn)中積累，才能面試中更勝一籌！

源：?MarTechCareer

—— 歡迎在線投稿 ——

特別提示：關(guān)注本專(zhuān)欄，別錯(cuò)過(guò)行業(yè)干貨！

PS：本司承接 小紅書(shū)推廣/抖音推廣/百度系推廣/知乎/微博等平臺(tái)推廣：關(guān)鍵詞排名，筆記種草，數(shù)據(jù)優(yōu)化等；

咨詢(xún)微信：139 1053 2512 (同電話)

首席增長(zhǎng)官CGO薦讀：

• 《小紅書(shū)推廣：筆記排名，KOC種草，達(dá)人筆記，數(shù)據(jù)優(yōu)化》
• 《搜索引擎推廣：百度/360/搜狗關(guān)鍵詞快速排名，網(wǎng)站SEO優(yōu)化》
• 《今日頭條推廣：B端網(wǎng)站信息流廣告》

更多精彩，關(guān)注：增長(zhǎng)黑客（GrowthHK.cn）

增長(zhǎng)黑客（Growth Hacker）是依靠技術(shù)和數(shù)據(jù)來(lái)達(dá)成各種營(yíng)銷(xiāo)目標(biāo)的新型團(tuán)隊(duì)角色。從單線思維者時(shí)常忽略的角度和高度，梳理整合產(chǎn)品發(fā)展的因素，實(shí)現(xiàn)低成本甚至零成本帶來(lái)的有效增長(zhǎng)…