網(wǎng)易傳媒數(shù)據(jù)指標(biāo)體系建設(shè)實(shí)踐

什么是指標(biāo)體系?

百度百科的定義:指標(biāo)體系是指由若干個(gè)反映社會(huì)經(jīng)濟(jì)現(xiàn)象總體數(shù)量特征的相對獨(dú)立又相互聯(lián)系的統(tǒng)計(jì)指標(biāo)所組成的有機(jī)整體。

通俗講,指標(biāo)體系是將零散單點(diǎn)的具有相互聯(lián)系的指標(biāo),系統(tǒng)化的組織起來,通過單點(diǎn)看全局,通過全局解決單點(diǎn)的問題。完整的指標(biāo)體系是由指標(biāo)和維度組成的。

指標(biāo)

指將業(yè)務(wù)單元細(xì)分后量化的度量值,它使得業(yè)務(wù)目標(biāo)可描述、可度量、可拆解,它是業(yè)務(wù)和數(shù)據(jù)的結(jié)合,是統(tǒng)計(jì)的基礎(chǔ),也是量化效果的重要依據(jù),一般通過對某個(gè)字段的某種計(jì)算得到(比如求和、均值等)。

維度

其實(shí)是指把指標(biāo)按什么角度拆分來看,這個(gè)角度用的字段就是維度(比如按照平臺(tái),內(nèi)容類型,性別等),維度可以理解為我們看問題的角度。

一個(gè)好的指標(biāo)體系

  • 能準(zhǔn)確快速的下結(jié)論,能定義業(yè)務(wù)運(yùn)作好壞的結(jié)論;
  • 能滿足多數(shù)場景的歸因,即使出現(xiàn)異動(dòng),也能快速定位原因。

2

為什么建設(shè)指標(biāo)體系?

現(xiàn)階段互聯(lián)網(wǎng)發(fā)展已經(jīng)進(jìn)入精細(xì)化運(yùn)營時(shí)代,精細(xì)化運(yùn)營則要求產(chǎn)品能擁有完整、準(zhǔn)確且有效的數(shù)據(jù)。因此為自己的產(chǎn)品搭建一套數(shù)據(jù)指標(biāo)體系,對于促進(jìn)產(chǎn)品和業(yè)務(wù)增長是至關(guān)重要的。

指標(biāo)能夠量化的衡量業(yè)務(wù)的好壞,評價(jià)業(yè)務(wù)當(dāng)前情況,為業(yè)務(wù)的發(fā)展提供有效的指引,同時(shí)能使團(tuán)隊(duì)成員建立共同的目標(biāo)并為之努力。

3

如何搭建指標(biāo)體系?

3.1 北極星指標(biāo)

北極星指標(biāo)也叫唯一關(guān)鍵指標(biāo)(OMTM,One metric that matters),產(chǎn)品現(xiàn)階段最關(guān)鍵的指標(biāo)。其實(shí)簡單說來就是公司制定的發(fā)展目標(biāo),不同階段會(huì)有不同的目標(biāo)。為什么叫“北極星”指標(biāo),其實(shí)大概的寓意就是要像北極星一樣指引公司前進(jìn)的方向,目標(biāo)制定最好是能符合SMART原則。

3.2 OSM模型

OSM模型是三個(gè)詞縮寫:目標(biāo)(Objective)、策略(Strategy)、度量(Measurement)。

它是一套業(yè)務(wù)分析框架,并非算法模型,適用于目標(biāo)已經(jīng)清晰、行動(dòng)方向已經(jīng)明確的情況。

網(wǎng)易傳媒數(shù)據(jù)指標(biāo)體系建設(shè)實(shí)踐

以網(wǎng)易新聞業(yè)務(wù)為例:

O:結(jié)合北極星指標(biāo)法,首先確定公司級的目標(biāo),DAU增長。接下來運(yùn)行OSM模型可以把宏大的目標(biāo)拆解,對應(yīng)到部門內(nèi)各個(gè)小組具體的、可落地、可度量的行為上,從保證執(zhí)行計(jì)劃沒有偏離大方向。

S:DAU增長,可以做哪些策略呢?

  • 提高新用戶規(guī)模
  • 提高留存用戶規(guī)模
  • 提高回流用戶規(guī)模

M:用什么來評價(jià)策略是否達(dá)成?

  • 新用戶數(shù)
  • 留存用戶數(shù)
  • 回流用戶數(shù)

這只是做了第一級拆解,我們還可以把評價(jià)的度量再做成目標(biāo),繼續(xù)拆解。

O:新增用戶數(shù)

S:新用戶數(shù)增長,可以做哪些策略?比如站外渠道引流、老用戶拉新等

M:評價(jià)指標(biāo)是渠道新增用戶數(shù)、老用戶拉新人數(shù)。

通過一級一級的拆解,這樣就形成了指標(biāo)體系。

網(wǎng)易傳媒數(shù)據(jù)指標(biāo)體系建設(shè)實(shí)踐

3.3 AARRR模型

麥克盧爾將創(chuàng)業(yè)公司最需要關(guān)注的指標(biāo)分為五大類:獲取用戶(Acquisition)、提高活躍(Activation)、提高留存率(Retention)、獲取營收(Revenue)和自傳播(Referral),簡稱AARRR。每個(gè)環(huán)節(jié)都有這個(gè)環(huán)節(jié)應(yīng)該關(guān)注的指標(biāo),這些環(huán)節(jié)并不一定遵循嚴(yán)格的先后順序。

網(wǎng)易傳媒數(shù)據(jù)指標(biāo)體系建設(shè)實(shí)踐

以新聞業(yè)務(wù)為例:

網(wǎng)易傳媒數(shù)據(jù)指標(biāo)體系建設(shè)實(shí)踐

在實(shí)際運(yùn)用中,會(huì)多種模型相結(jié)合,畢竟適合的才是最好的。

4

網(wǎng)易傳媒數(shù)倉體系架構(gòu)

網(wǎng)易傳媒大數(shù)據(jù)建設(shè)方法論:從業(yè)務(wù)架構(gòu)設(shè)計(jì)到模型設(shè)計(jì),從數(shù)據(jù)研發(fā)到數(shù)據(jù)服務(wù),做到數(shù)據(jù)可管理、可追溯、可規(guī)避重復(fù)建設(shè)。杭研把這套方法論沉淀為產(chǎn)品,網(wǎng)易有數(shù)大數(shù)據(jù)平臺(tái)(模型設(shè)計(jì)中心、指標(biāo)系統(tǒng)、數(shù)據(jù)地圖、離線開發(fā)、自助分析、質(zhì)量管理、資產(chǎn)管理等),方便各角色的同事使用。

網(wǎng)易傳媒數(shù)據(jù)指標(biāo)體系建設(shè)實(shí)踐

4.1 業(yè)務(wù)線

傳媒業(yè)務(wù)線包括新聞、公開課、紅彩等。新聞主題域如下圖:

網(wǎng)易傳媒數(shù)據(jù)指標(biāo)體系建設(shè)實(shí)踐

4.2 規(guī)范定義

概念:以維度建模作為理論基礎(chǔ),構(gòu)建總線矩陣,定義業(yè)務(wù)域、數(shù)據(jù)域、業(yè)務(wù)過程、度量/原子指標(biāo)、維度、維度屬性、修飾詞、修飾類型、時(shí)間周期、派生指標(biāo)等。

業(yè)務(wù)域:比數(shù)據(jù)域更高維度的業(yè)務(wù)劃分方法,適用于特別龐大的業(yè)務(wù)系統(tǒng),且業(yè)務(wù)板塊之間的指標(biāo)或業(yè)務(wù)重疊性較小。例如傳媒業(yè)務(wù)可以分為新聞、公開課、紅彩等業(yè)務(wù)板塊。新聞業(yè)務(wù)板塊包含內(nèi)容、用戶、智子、PUSH、搜索、推薦等。

業(yè)務(wù)過程:業(yè)務(wù)過程可以概括為一個(gè)個(gè)不可拆分的行為事件,如曝光,點(diǎn)擊,瀏覽等業(yè)務(wù)過程/事件。這里的事件跟埋點(diǎn)的事件類似。

看到這一系列的名詞,很多人可能就開始懵逼了,業(yè)務(wù)域倒還能理解,簡單來說就是對不同業(yè)務(wù)的分類;業(yè)務(wù)過程也容易理解,相當(dāng)于畫業(yè)務(wù)流程圖唄。

那數(shù)據(jù)域又是何方神圣?

數(shù)據(jù)域,是聯(lián)系較為緊密的數(shù)據(jù)主題的集合,是對業(yè)務(wù)對象高度概括的概念層歸類,目的是便于數(shù)據(jù)管理與應(yīng)用。簡而言之,數(shù)據(jù)域就類似于我們電腦桌面要建立不同的文件夾來存儲(chǔ)數(shù)據(jù),這些個(gè)文件夾名就是數(shù)據(jù)域。

維度、維度屬性、修飾這些怎么理解?有什么用途?

維度:是度量的環(huán)境,用來反映業(yè)務(wù)的一類屬性,這類屬性的集合構(gòu)成一個(gè)維度,可以從who-where-when-what層面來看。

維度屬性:維度屬性隸屬于維度,相當(dāng)于維度的具體說明,如用戶維度中性別為男、女。

修飾詞:指除了統(tǒng)計(jì)維度以外指標(biāo)的業(yè)務(wù)場景。

修飾類型:對修飾詞的抽象劃分。

敲黑板?。?!

修飾詞和維度可以理解為原子指標(biāo)的一些限定條件,懂sql的會(huì)更好理解一些,一般是寫sql時(shí),放在where語句后邊的就是修飾詞,放在group by后面的就是維度。

指標(biāo)類型:包含原子指標(biāo)、派生指標(biāo)、復(fù)合指標(biāo)。

度量/原子指標(biāo):原子指標(biāo)和度量含義相同,某一業(yè)務(wù)行為事件下的度量,是業(yè)務(wù)定義中不可拆分的指標(biāo),如推薦量、搜索次數(shù)。

時(shí)間周期:用來明確數(shù)據(jù)統(tǒng)計(jì)的時(shí)間范圍或是時(shí)間點(diǎn),如最近7天、自然月、截至當(dāng)日等。

派生指標(biāo)

網(wǎng)易傳媒數(shù)據(jù)指標(biāo)體系建設(shè)實(shí)踐

派生指標(biāo)分為事務(wù)型指標(biāo)、存量型指標(biāo)

事務(wù)型:指標(biāo)是指對業(yè)務(wù)活動(dòng)進(jìn)行衡量的指標(biāo),一般會(huì)對應(yīng)一個(gè)事件。例如新增用戶數(shù)

存量型:指標(biāo)是指對實(shí)體對象某些狀態(tài)的統(tǒng)計(jì),例如文章總數(shù)、用戶總數(shù),這類指標(biāo)需維護(hù)原子指標(biāo)及修飾詞,在此基礎(chǔ)上創(chuàng)建派生指標(biāo),對應(yīng)的時(shí)間周期一般為“歷史截至當(dāng)前某時(shí)間”。

復(fù)合指標(biāo):建立在原子指標(biāo)、派生指標(biāo)之上,通過一定運(yùn)算規(guī)則形成的計(jì)算指標(biāo)集合,如CTR,次均瀏覽時(shí)長等。

4.3 模型設(shè)計(jì)

網(wǎng)易傳媒數(shù)據(jù)指標(biāo)體系建設(shè)實(shí)踐

(1)模型層次

網(wǎng)易傳媒數(shù)據(jù)指標(biāo)體系建設(shè)實(shí)踐

(2)表命名

ods(odm)層

數(shù)據(jù)表名:odm_{業(yè)務(wù)線}_{數(shù)據(jù)源}_{庫名}_{表名}_{增量(incr)/全量(full)}_{更新時(shí)間頻次}

例子:

1)mysql:odm_{業(yè)務(wù)線}_mysql_{db_name}_{mysql_table_name}_incr_day

2)hbase:odm_{業(yè)務(wù)線}_hbase_{db_name}_{hbase_table_name}_incr_day

3)kafka:odm_{業(yè)務(wù)線}_kafka_{cluster_name}_{topic_name}_incr_day

4)redis:odm_{業(yè)務(wù)線}_redis_{cluster_name}_incr_day

5)kudu:odm_{業(yè)務(wù)線}_kudu_{db_name}_{kudu_table_name}_incr_day

dwd(edm)層

數(shù)據(jù)表名:edm_{業(yè)務(wù)域}_{一級主題}_{二級主題}_{業(yè)務(wù)過程概要}_{增量(incr)/全量(full)}_{更新時(shí)間頻次}

例子:


edm_news_content_operation_bros_detail_incr_day:新聞業(yè)務(wù),內(nèi)容主題,內(nèi)容運(yùn)營每日增量入池內(nèi)容頭條閱讀表

dws(gdm)層

數(shù)據(jù)表名:gdm_{業(yè)務(wù)域}_{一級主題}_{二級主題}_{業(yè)務(wù)過程概要}_{增量(incr)/全量(full)}_{更新時(shí)間頻次}

app(adm)層

數(shù)據(jù)表名:adm_{業(yè)務(wù)域}_{功能域}_{統(tǒng)計(jì)描述}_{更新時(shí)間頻次}

例子:


adm_news_zhizi_second_bid_ad_report_day:新聞業(yè)務(wù),按天增量統(tǒng)計(jì)的智子二期競價(jià)廣告?zhèn)葓?bào)表

dim(ddm)層

數(shù)據(jù)表名:ddm_{業(yè)務(wù)域}_{主題}_{實(shí)體}_{增量(incr)/全量(full)}_{更新時(shí)間頻次}

例子:

ddm_content_doc_full_day:文章信息天級全量表

5

網(wǎng)易傳媒數(shù)倉指標(biāo)體系建設(shè)

之前,業(yè)務(wù)方經(jīng)常出現(xiàn)不同表里的指標(biāo)對不上的情況,開發(fā)查詢半天發(fā)現(xiàn),兩個(gè)指標(biāo)口徑是不一樣的,一個(gè)是整體的瀏覽量,一個(gè)是去掉異常數(shù)據(jù)的瀏覽量;分析師經(jīng)常會(huì)問,表里的瀏覽時(shí)長是毫秒還是秒?每每遇到這種問題,開發(fā)都要去代碼里看看,是除了1000還是沒有;原來的指標(biāo)都是寫到WIKI里,當(dāng)指標(biāo)口徑發(fā)生變化時(shí),無法及時(shí)更新,就算更新了也無法在表里體現(xiàn)出來……

自從用了網(wǎng)易有數(shù)大數(shù)據(jù)平臺(tái)的指標(biāo)系統(tǒng)和模型設(shè)計(jì)中心,這些情況少多了。下面介紹一下網(wǎng)易傳媒數(shù)倉在大數(shù)據(jù)平臺(tái)上的應(yīng)用。

5.1 準(zhǔn)備工作

(1)主題域配置

前面我們已經(jīng)根據(jù)業(yè)務(wù)線拆分了主題域,現(xiàn)在要把他配置到模型設(shè)計(jì)中心中,如圖:

網(wǎng)易傳媒數(shù)據(jù)指標(biāo)體系建設(shè)實(shí)踐

(2)分層配置

網(wǎng)易傳媒數(shù)據(jù)指標(biāo)體系建設(shè)實(shí)踐

(3)字典集配置

網(wǎng)易傳媒數(shù)據(jù)指標(biāo)體系建設(shè)實(shí)踐

(4)表設(shè)計(jì)規(guī)則管理

根據(jù)我們確定的表命名規(guī)范,錄入系統(tǒng)

網(wǎng)易傳媒數(shù)據(jù)指標(biāo)體系建設(shè)實(shí)踐

5.2 維度建設(shè)

(1)查找維度

網(wǎng)易傳媒數(shù)據(jù)指標(biāo)體系建設(shè)實(shí)踐

(2)新建維度

網(wǎng)易傳媒數(shù)據(jù)指標(biāo)體系建設(shè)實(shí)踐

5.3 指標(biāo)建設(shè)

(1)查找指標(biāo)

網(wǎng)易傳媒數(shù)據(jù)指標(biāo)體系建設(shè)實(shí)踐

(2)新建修飾詞

網(wǎng)易傳媒數(shù)據(jù)指標(biāo)體系建設(shè)實(shí)踐

(3)新建指標(biāo)

網(wǎng)易傳媒數(shù)據(jù)指標(biāo)體系建設(shè)實(shí)踐
網(wǎng)易傳媒數(shù)據(jù)指標(biāo)體系建設(shè)實(shí)踐

5.4 表建設(shè)

(1)表命名

網(wǎng)易傳媒數(shù)據(jù)指標(biāo)體系建設(shè)實(shí)踐

(2)基礎(chǔ)屬性及字段

字段命名

網(wǎng)易傳媒數(shù)據(jù)指標(biāo)體系建設(shè)實(shí)踐
網(wǎng)易傳媒數(shù)據(jù)指標(biāo)體系建設(shè)實(shí)踐

關(guān)聯(lián)維度和指標(biāo)

網(wǎng)易傳媒數(shù)據(jù)指標(biāo)體系建設(shè)實(shí)踐
網(wǎng)易傳媒數(shù)據(jù)指標(biāo)體系建設(shè)實(shí)踐

5.5 收益

(1)指標(biāo)系統(tǒng)

方便的查詢指標(biāo)間血緣關(guān)系

網(wǎng)易傳媒數(shù)據(jù)指標(biāo)體系建設(shè)實(shí)踐

方便查詢指標(biāo)被表引用情況,了解字段的口徑

網(wǎng)易傳媒數(shù)據(jù)指標(biāo)體系建設(shè)實(shí)踐

開發(fā)人員在建立指標(biāo)時(shí),一定要先確定指標(biāo)的口徑,這對于后面表腳本開發(fā)非常有幫助。

(2)模型設(shè)計(jì)中心

  • 規(guī)范表的命名
  • 清晰分層
  • 維度一致性

數(shù)倉使用指標(biāo)系統(tǒng)來管理指標(biāo)的業(yè)務(wù)口徑、計(jì)算邏輯和數(shù)據(jù)來源,通過流程化的方式,建立從指標(biāo)需求、指標(biāo)開發(fā)、指標(biāo)審核、指標(biāo)發(fā)布的全套協(xié)作流程。

數(shù)倉使用模型設(shè)計(jì)中心按照主題域、業(yè)務(wù)過程,分層的設(shè)計(jì)方式,以維度建模作為基本理論依據(jù),按照維度、度量設(shè)計(jì)模型,確保模型、字段有統(tǒng)一的命名規(guī)范。

本文經(jīng)授權(quán)發(fā)布,不代表增長黑客立場,如若轉(zhuǎn)載,請注明出處:http://gptmaths.com/quan/46225.html

(1)
打賞 微信掃一掃 微信掃一掃 支付寶掃一掃 支付寶掃一掃
上一篇 2021-08-18 20:41
下一篇 2021-08-18 20:48

增長黑客Growthhk.cn薦讀更多>>

發(fā)表回復(fù)

登錄后才能評論