天師：因果推斷在阿里文娛用戶增長(zhǎng)中的應(yīng)用

導(dǎo)讀：如何實(shí)現(xiàn)產(chǎn)品的用戶增長(zhǎng)？顯然，這是各家移動(dòng)互聯(lián)網(wǎng)應(yīng)用的頭等大事，也是懸在各家業(yè)務(wù)負(fù)責(zé)人頭上的”天問”。在移動(dòng)互聯(lián)網(wǎng)進(jìn)入下半場(chǎng)的大趨勢(shì)下，過去粗放式的買量、廠商合作等模式越來越會(huì)受到掣肘，將更加依賴精細(xì)化的用戶增長(zhǎng)策略和產(chǎn)品用戶體驗(yàn)的細(xì)致打磨；經(jīng)典的 AARRR 模式會(huì)逐步轉(zhuǎn)向 RARRA 模式，提升產(chǎn)品留存、拉活、分享傳播等方式是構(gòu)建增長(zhǎng)的主要戰(zhàn)場(chǎng)。而在此之中，對(duì)于一個(gè)內(nèi)容型產(chǎn)品，個(gè)性化算法對(duì)于用戶留存、拉活將起到?jīng)Q定性的作用。

考察與優(yōu)酷類似的應(yīng)用，在內(nèi)容領(lǐng)域，增長(zhǎng)的成功案例有：

• “頭條快手”模式：內(nèi)容分發(fā)類產(chǎn)品，代表是”今日頭條”、”抖音”、”快手”等。這類產(chǎn)品構(gòu)建了完善的內(nèi)容生產(chǎn)和消費(fèi)生態(tài)，旨在通過推薦系統(tǒng)同時(shí)刺激生產(chǎn)和消費(fèi)，實(shí)現(xiàn)兩端的同時(shí)增長(zhǎng)。
• “趣頭條”模式：該產(chǎn)品同屬內(nèi)容分發(fā)類產(chǎn)品，但較早地參考了網(wǎng)絡(luò)游戲模式，從各個(gè)環(huán)節(jié)設(shè)計(jì)用戶里程碑和激勵(lì)，不斷引導(dǎo)新用戶一步步完成點(diǎn)擊、下刷、完整閱讀、分享、關(guān)注等目標(biāo)里程碑，并給予虛擬貨幣和真實(shí)貨幣的激勵(lì)，在短時(shí)間內(nèi)獲取了大量下沉用戶。
• “愛奇藝”、”騰訊視頻”模式：這類產(chǎn)品利用大量資金和精準(zhǔn)的內(nèi)容采買眼光，利用頭部?jī)?nèi)容的流量聚集效應(yīng)，在前幾年迅速圈定大批用戶，并形成長(zhǎng)視頻 app 特有用戶心智。由于內(nèi)容頭部化，個(gè)性化算法在其中發(fā)揮的空間和作用較小，產(chǎn)品、模式趨于同質(zhì)化，內(nèi)容采買的巨大資金投入使得長(zhǎng)視頻網(wǎng)站的盈利遙遙無期。

會(huì)員增長(zhǎng)是長(zhǎng)視頻產(chǎn)品體系下用戶增長(zhǎng)的特有子問題。優(yōu)酷作為國(guó)內(nèi)頂尖的視頻內(nèi)容提供商，上述三種增長(zhǎng)模式都是需要進(jìn)行借鑒的。用戶增長(zhǎng)問題需要從內(nèi)容供給、內(nèi)容分發(fā)、權(quán)益設(shè)計(jì)、產(chǎn)品設(shè)計(jì)等多環(huán)節(jié)進(jìn)行聯(lián)合優(yōu)化，從算法的角度，其目標(biāo)可以拆解為兩大部分：

• 用戶狀態(tài)建模：深度建模用戶狀態(tài)和行為，從大數(shù)據(jù)集中找到使用戶從低階狀態(tài)到高階狀態(tài)轉(zhuǎn)化的干預(yù)因子。
• 個(gè)性化分發(fā)的升級(jí)：將用戶行為建模后，在多個(gè)場(chǎng)景將這些干預(yù)動(dòng)作落地為個(gè)性化推薦算法和營(yíng)銷算法，滿足用戶的視頻內(nèi)容消費(fèi)需求。

阿里大文娛是阿里集團(tuán)雙 H 戰(zhàn)略 ( Happiness & Health ) 中最為重要的踐行者，在不斷為廣大網(wǎng)民提供優(yōu)質(zhì)內(nèi)容與良好體驗(yàn)的同時(shí)，我們也面臨著用戶規(guī)?；鲩L(zhǎng)以及營(yíng)收有計(jì)劃提升的壓力。我們已經(jīng)逐步形成以消息推送 ( push )、站外引導(dǎo) ( dsp ) 以及新用戶承接推薦等場(chǎng)景組成的用 戶增長(zhǎng)業(yè)務(wù)體系，也已經(jīng)逐步形成了以權(quán)益發(fā)放 ( 營(yíng)銷 ) 以及商業(yè)化 ( 廣告 ) 等抓手組成的收入增長(zhǎng)業(yè)務(wù)體系。

基于因果推斷的推薦算法、基于雙 pid 的動(dòng)態(tài)報(bào)價(jià)算法以及基于 uplift model 的營(yíng)銷增益模型正是應(yīng)用在這兩大業(yè)務(wù)體系中的，我們已經(jīng)在多個(gè)業(yè)務(wù)場(chǎng)景中取得了較為顯著的效果提升，我們相信其中的一些技術(shù)必將對(duì)整個(gè)互聯(lián)網(wǎng)業(yè)內(nèi)在增長(zhǎng)算法體系帶來一些嶄新的視角、思考和實(shí)踐經(jīng)驗(yàn)。本文將主要為大家介紹基于因果推斷的推薦算法。

01
用戶增長(zhǎng)和智能營(yíng)銷算法的目標(biāo)

剛剛已經(jīng)介紹了優(yōu)酷用戶增長(zhǎng)的業(yè)務(wù)打法和構(gòu)思，其中已經(jīng)提到，個(gè)性化的分發(fā)算法是實(shí)現(xiàn)用戶增長(zhǎng)的主戰(zhàn)場(chǎng)。其中有兩大目標(biāo)：

• 目標(biāo)1：用戶狀態(tài)建模。深度建模用戶狀態(tài)和行為，從大數(shù)據(jù)集中找到使用戶從低階狀態(tài)到高階狀態(tài)轉(zhuǎn)化的干預(yù)因子。
• 目標(biāo)2：個(gè)性化算法的升級(jí)。將用戶行為建模后，在多個(gè)場(chǎng)景將這些干預(yù)動(dòng)作落地為個(gè)性化推薦算法和營(yíng)銷算法，滿足和刺激用戶的視頻內(nèi)容消費(fèi)需求。

針對(duì)目標(biāo)1，傳統(tǒng)數(shù)據(jù)分析主要是建模變量之間的相關(guān)性而非因果關(guān)系，不能從真正的因果關(guān)系來設(shè)計(jì)干預(yù)手段。

針對(duì)目標(biāo)2，傳統(tǒng)的推薦算法主要進(jìn)行短期的點(diǎn)擊、時(shí)長(zhǎng)等多目標(biāo)預(yù)估，未能從用戶狀態(tài)的躍遷去設(shè)計(jì)個(gè)性化的目標(biāo)機(jī)制；其次目前大量應(yīng)用的深度學(xué)習(xí)類算法同樣屬于統(tǒng)計(jì)學(xué)習(xí)派別的延展，其模型可解釋性差，不能從中推斷用戶興趣與內(nèi)容的因果關(guān)系，而該類技術(shù)方向的演化會(huì)導(dǎo)致用戶畫像的算法較為單薄，不能滿足優(yōu)酷會(huì)員營(yíng)銷核心業(yè)務(wù)的需求。

基于因果推斷的推薦算法我們已經(jīng)成功應(yīng)用在消息推送 ( push ) 以及 dsp 外投買量算法等業(yè)務(wù)中，而在營(yíng)銷場(chǎng)景中應(yīng)用的 uplift 模型本質(zhì)上也是因果推斷思想的一個(gè)典型應(yīng)用。因此，我們?cè)谡麄€(gè)用戶增長(zhǎng)以及智能營(yíng)銷的業(yè)務(wù)場(chǎng)景中逐步推廣地應(yīng)用了因果推斷的思想，在某些實(shí)驗(yàn)中取得了非常好的業(yè)務(wù)結(jié)果，比如我們?cè)?push 和 dsp 業(yè)務(wù)中的沉默用戶召回這個(gè)場(chǎng)景下就取得了點(diǎn)擊量和點(diǎn)擊率的顯著提升。

02
用戶狀態(tài)表示

1. 用戶畫像與狀態(tài)表示法

傳統(tǒng)的用戶畫像表示技術(shù)要么服務(wù)于運(yùn)營(yíng)可解釋性，要么服務(wù)于推薦或廣告系統(tǒng)的模型預(yù)估，通常建模成向量 ( 離散高維或低維稠密 )。而我們?cè)谏钊胙芯吭诰€視頻和付費(fèi)會(huì)員業(yè)務(wù)后，發(fā)現(xiàn)狀態(tài)轉(zhuǎn)移圖是更有力地建模該業(yè)務(wù)下用戶畫像的數(shù)據(jù)結(jié)構(gòu)，原因如下：

• 用戶從非會(huì)員到購(gòu)買會(huì)員并逐步進(jìn)入高階會(huì)員的階段，本質(zhì)屬于一種強(qiáng)規(guī)則定義的狀態(tài)。
• 在線視頻，尤其是長(zhǎng)視頻領(lǐng)域具備長(zhǎng)時(shí)間、連續(xù)型消費(fèi) ( 追劇、追網(wǎng)紅 ) 等特點(diǎn)，對(duì)比傳統(tǒng)的圖文推薦系統(tǒng)、電商推薦系統(tǒng)和廣告系統(tǒng)，用戶的消費(fèi)行為可以在連續(xù)的時(shí)間上進(jìn)行切分，狀態(tài)表示法是對(duì)向量表示法的有力補(bǔ)充。
• 新用戶的承接和推薦策略是用戶增長(zhǎng)中”促留存”，建立心智的重要階段。借鑒網(wǎng)絡(luò)游戲和趣頭條的思路，將難度較大的”促留存”問題拆分為”目標(biāo)達(dá)成”問題，產(chǎn)品通過策略不斷使得用戶完成高階里程碑，是業(yè)內(nèi)目前已證明成功的用戶增長(zhǎng)方法。

序中已經(jīng)提到，會(huì)員模式是長(zhǎng)視頻業(yè)務(wù)的核心付費(fèi)模式，在用戶的整個(gè)生命周期內(nèi)，其大體的會(huì)員狀態(tài)轉(zhuǎn)移圖如下：

新用戶階段是產(chǎn)品對(duì)用戶建立信任感的最重要時(shí)期，新用戶在優(yōu)酷 app 中的里程碑可以大致描述如下：

可以看到，用戶在不同的狀態(tài)下，我們期望他們能完成狀態(tài)的”躍遷”，也就是從低階狀態(tài)不斷往高階狀態(tài)：”持續(xù)消費(fèi)”，”訂閱/關(guān)注”，”追劇”，”會(huì)員穩(wěn)定期”等轉(zhuǎn)化。

可以預(yù)見的是，這種用戶畫像的表示方法，將會(huì)對(duì)業(yè)內(nèi)長(zhǎng)久以來已經(jīng)趨于成熟的個(gè)性化推薦算法步向新的發(fā)展階段：即為用戶增長(zhǎng)這個(gè)核心業(yè)務(wù)問題更好的服務(wù)。首先是多目標(biāo)的排序機(jī)制，對(duì)于在不同狀態(tài)下的用戶，個(gè)性化算法的機(jī)制目標(biāo)會(huì)不同 ( 躍遷至目標(biāo)態(tài) )；其次啟發(fā)我們從更前沿的算法高度來研究狀態(tài)躍遷的干預(yù)手段問題，進(jìn)而解決推薦系統(tǒng)中長(zhǎng)期難解的”可解釋性”、”幸存者偏差”、”興趣探索”等問題。

針對(duì)干預(yù)手段的研究，在2019年用戶增長(zhǎng) & 智能營(yíng)銷團(tuán)隊(duì)組建之后，對(duì)因果推斷 ( Causal Inference ) 算法率先進(jìn)行了研究和落地，目前在個(gè)性化推送、外投 DSP 應(yīng)用了基于 matching 的無偏 user-cf 算法，智能紅包發(fā)放場(chǎng)景應(yīng)用了 uplift model，取得了顯著的核心業(yè)務(wù)指標(biāo)提升，并得到了業(yè)務(wù)方和兄弟團(tuán)隊(duì)的一致認(rèn)可?，F(xiàn)將無偏 user-cf 算法介紹如下，uplift model 可參考文末推薦文章。

03
基于因果推斷的無偏 user-cf 設(shè)計(jì)

1. 因果推斷 ( Causal Inference ) 簡(jiǎn)介

因果推斷 ( Causal Inference ) 作為新興的人工智能技術(shù)方向，旨在突破傳統(tǒng)數(shù)據(jù)分析和機(jī)器學(xué)習(xí)方法的瓶頸，建模大規(guī)模數(shù)據(jù)集中的因果關(guān)系，為干預(yù)手段的設(shè)計(jì)提供指導(dǎo)，為構(gòu)建下一代面向用戶增長(zhǎng)的全域分發(fā)系統(tǒng)提供理論基石。

因果推斷的核心研究課題：

• 從眾多觀測(cè)到/未觀測(cè)到的變量中找出致因 ( causes )
• 預(yù)估某個(gè)行為/因素的影響力/效益 ( causal effect )

對(duì)于個(gè)體，來說，核心是尋找反事實(shí) ( counterfactual ) 鏡像。在個(gè)性化推薦中，一個(gè)難題就是消除”幸存者”偏差，即如何將低活用戶通過良好的路徑推薦，逐步變成產(chǎn)品的高活用戶。我們定義問題如下：

2. 目標(biāo)

消去推薦系統(tǒng)的偏差。用戶增長(zhǎng)需要消去高活用戶帶來的行為偏置，提升低活用戶推薦效果。

3. 假設(shè)

用戶變成低活、沉默的原因主要是因?yàn)閷?duì)之前推薦不滿意 ( 負(fù)例 )。

4. 方法

① 構(gòu)建 Counterfactual 鏡像人：

利用無偏信息構(gòu)造相似度量，構(gòu)造低活 user 到高活 user 的 matching：

• 基礎(chǔ)人口屬性、安裝的長(zhǎng)尾 app 信息等
• 主動(dòng)搜索行為 ( 非被動(dòng)推薦 )，尤其是長(zhǎng)尾 query

② 去除低活用戶的 leave causes，推薦相似高活用戶的 stay causes。對(duì)于推薦系統(tǒng)來說，這些 causes 包括：

• item 本身：但缺少泛化容易推出老內(nèi)容
• item 的泛化特征：標(biāo)簽、時(shí)效性、質(zhì)量

注意，由于使用了 matching 方法，這里的算法非常類似傳統(tǒng)的 user-cf 類算法，但是和傳統(tǒng) user-cf 核心的區(qū)別在于：

• matching 不使被動(dòng)推薦數(shù)據(jù)，個(gè)性化推送、站內(nèi)推薦、運(yùn)營(yíng)推薦的內(nèi)容都不使用。
• 只匹配低活到高活，活躍度相同的用戶之間不進(jìn)行匹配。

5. 業(yè)務(wù)收益

該算法落地后，在兩個(gè) baseline 相對(duì)較高的算法場(chǎng)景中取得了較大的收益：其中個(gè)性化推送 ( push )，在沉默用戶中獲得了 50%+ ctr 和 50%+ click 的雙增長(zhǎng)，在外投 dsp 業(yè)務(wù)中，拉活量對(duì)比峰值接近翻倍。04
總結(jié)與展望

目前算法的應(yīng)用，只是對(duì)應(yīng)了兩個(gè)用戶狀態(tài) ( 低活->高活 ) 之間的推斷，如 Figure 1 和 Figure 2 所描述的，用戶增長(zhǎng)的目標(biāo)是將細(xì)分的低階狀態(tài)往高階目標(biāo)態(tài)上進(jìn)行躍遷，那么該類算法很顯然將會(huì)在數(shù)據(jù)分析、產(chǎn)品設(shè)計(jì)、分發(fā)優(yōu)化等各個(gè)環(huán)節(jié)發(fā)揮巨大作用。整個(gè)2019年團(tuán)隊(duì)的實(shí)踐雖然取得了很大的業(yè)務(wù)效果，但只是對(duì)該算法方向相對(duì)較淺顯的應(yīng)用，且對(duì)于優(yōu)酷整體的增長(zhǎng)問題來說，應(yīng)用的場(chǎng)景還不夠多，未來期望在其基礎(chǔ)理論和實(shí)踐都投入更多的資源。

可以預(yù)見的是：對(duì)于整個(gè)業(yè)內(nèi)用戶增長(zhǎng)的方法論，該方法在未來必將成為核心的理論基石。對(duì)于個(gè)性化推薦這一經(jīng)典領(lǐng)域，該方法為解決經(jīng)典難題”幸存者偏差”，”可解釋性”，”用戶表示”，”興趣探索”等提供了漂亮的解法。

本文選自：《智慧文娛：阿里巴巴文娛技術(shù)探索之路》

文源：?DataFunTalk

特別提示：關(guān)注本專欄，別錯(cuò)過行業(yè)干貨！

PS：本司承接 小紅書/抖音/百度關(guān)鍵詞排名，創(chuàng)意短視頻，小紅書種草，達(dá)人探店，明星推薦，等業(yè)務(wù)；

咨詢微信：139 1053 2512 (同電話) 

首席增長(zhǎng)官CGO薦讀：

• 《小紅書推廣：筆記排名，KOC種草，達(dá)人筆記，數(shù)據(jù)優(yōu)化》
• 《快看漫畫屈世超：大數(shù)據(jù)平臺(tái)的模型思維與用戶增長(zhǎng)實(shí)踐》
• 《增長(zhǎng)黑客：利用高效率的補(bǔ)貼策略驅(qū)動(dòng)用戶增長(zhǎng)》

更多精彩，關(guān)注：增長(zhǎng)黑客（GrowthHK.cn）

增長(zhǎng)黑客（Growth Hacker）是依靠技術(shù)和數(shù)據(jù)來達(dá)成各種營(yíng)銷目標(biāo)的新型團(tuán)隊(duì)角色。從單線思維者時(shí)常忽略的角度和高度，梳理整合產(chǎn)品發(fā)展的因素，實(shí)現(xiàn)低成本甚至零成本帶來的有效增長(zhǎng)…