什么是指標(biāo)體系?
百度百科的定義:指標(biāo)體系是指由若干個(gè)反映社會(huì)經(jīng)濟(jì)現(xiàn)象總體數(shù)量特征的相對獨(dú)立又相互聯(lián)系的統(tǒng)計(jì)指標(biāo)所組成的有機(jī)整體。
通俗講,指標(biāo)體系是將零散單點(diǎn)的具有相互聯(lián)系的指標(biāo),系統(tǒng)化的組織起來,通過單點(diǎn)看全局,通過全局解決單點(diǎn)的問題。完整的指標(biāo)體系是由指標(biāo)和維度組成的。
指標(biāo)
指將業(yè)務(wù)單元細(xì)分后量化的度量值,它使得業(yè)務(wù)目標(biāo)可描述、可度量、可拆解,它是業(yè)務(wù)和數(shù)據(jù)的結(jié)合,是統(tǒng)計(jì)的基礎(chǔ),也是量化效果的重要依據(jù),一般通過對某個(gè)字段的某種計(jì)算得到(比如求和、均值等)。
維度
其實(shí)是指把指標(biāo)按什么角度拆分來看,這個(gè)角度用的字段就是維度(比如按照平臺(tái),內(nèi)容類型,性別等),維度可以理解為我們看問題的角度。
一個(gè)好的指標(biāo)體系
- 能準(zhǔn)確快速的下結(jié)論,能定義業(yè)務(wù)運(yùn)作好壞的結(jié)論;
- 能滿足多數(shù)場景的歸因,即使出現(xiàn)異動(dòng),也能快速定位原因。
2
為什么建設(shè)指標(biāo)體系?
現(xiàn)階段互聯(lián)網(wǎng)發(fā)展已經(jīng)進(jìn)入精細(xì)化運(yùn)營時(shí)代,精細(xì)化運(yùn)營則要求產(chǎn)品能擁有完整、準(zhǔn)確且有效的數(shù)據(jù)。因此為自己的產(chǎn)品搭建一套數(shù)據(jù)指標(biāo)體系,對于促進(jìn)產(chǎn)品和業(yè)務(wù)增長是至關(guān)重要的。
指標(biāo)能夠量化的衡量業(yè)務(wù)的好壞,評價(jià)業(yè)務(wù)當(dāng)前情況,為業(yè)務(wù)的發(fā)展提供有效的指引,同時(shí)能使團(tuán)隊(duì)成員建立共同的目標(biāo)并為之努力。
3
如何搭建指標(biāo)體系?
3.1 北極星指標(biāo)法
北極星指標(biāo)也叫唯一關(guān)鍵指標(biāo)(OMTM,One metric that matters),產(chǎn)品現(xiàn)階段最關(guān)鍵的指標(biāo)。其實(shí)簡單說來就是公司制定的發(fā)展目標(biāo),不同階段會(huì)有不同的目標(biāo)。為什么叫“北極星”指標(biāo),其實(shí)大概的寓意就是要像北極星一樣指引公司前進(jìn)的方向,目標(biāo)制定最好是能符合SMART原則。
3.2 OSM模型
OSM模型是三個(gè)詞縮寫:目標(biāo)(Objective)、策略(Strategy)、度量(Measurement)。
它是一套業(yè)務(wù)分析框架,并非算法模型,適用于目標(biāo)已經(jīng)清晰、行動(dòng)方向已經(jīng)明確的情況。
以網(wǎng)易新聞業(yè)務(wù)為例:
O:結(jié)合北極星指標(biāo)法,首先確定公司級的目標(biāo),DAU增長。接下來運(yùn)行OSM模型可以把宏大的目標(biāo)拆解,對應(yīng)到部門內(nèi)各個(gè)小組具體的、可落地、可度量的行為上,從保證執(zhí)行計(jì)劃沒有偏離大方向。
S:DAU增長,可以做哪些策略呢?
- 提高新用戶規(guī)模
- 提高留存用戶規(guī)模
- 提高回流用戶規(guī)模
M:用什么來評價(jià)策略是否達(dá)成?
- 新用戶數(shù)
- 留存用戶數(shù)
- 回流用戶數(shù)
這只是做了第一級拆解,我們還可以把評價(jià)的度量再做成目標(biāo),繼續(xù)拆解。
O:新增用戶數(shù)
S:新用戶數(shù)增長,可以做哪些策略?比如站外渠道引流、老用戶拉新等
M:評價(jià)指標(biāo)是渠道新增用戶數(shù)、老用戶拉新人數(shù)。
通過一級一級的拆解,這樣就形成了指標(biāo)體系。
3.3 AARRR模型
麥克盧爾將創(chuàng)業(yè)公司最需要關(guān)注的指標(biāo)分為五大類:獲取用戶(Acquisition)、提高活躍(Activation)、提高留存率(Retention)、獲取營收(Revenue)和自傳播(Referral),簡稱AARRR。每個(gè)環(huán)節(jié)都有這個(gè)環(huán)節(jié)應(yīng)該關(guān)注的指標(biāo),這些環(huán)節(jié)并不一定遵循嚴(yán)格的先后順序。
以新聞業(yè)務(wù)為例:
在實(shí)際運(yùn)用中,會(huì)多種模型相結(jié)合,畢竟適合的才是最好的。
4
網(wǎng)易傳媒數(shù)倉體系架構(gòu)
網(wǎng)易傳媒大數(shù)據(jù)建設(shè)方法論:從業(yè)務(wù)架構(gòu)設(shè)計(jì)到模型設(shè)計(jì),從數(shù)據(jù)研發(fā)到數(shù)據(jù)服務(wù),做到數(shù)據(jù)可管理、可追溯、可規(guī)避重復(fù)建設(shè)。杭研把這套方法論沉淀為產(chǎn)品,網(wǎng)易有數(shù)大數(shù)據(jù)平臺(tái)(模型設(shè)計(jì)中心、指標(biāo)系統(tǒng)、數(shù)據(jù)地圖、離線開發(fā)、自助分析、質(zhì)量管理、資產(chǎn)管理等),方便各角色的同事使用。
4.1 業(yè)務(wù)線
傳媒業(yè)務(wù)線包括新聞、公開課、紅彩等。新聞主題域如下圖:
4.2 規(guī)范定義
概念:以維度建模作為理論基礎(chǔ),構(gòu)建總線矩陣,定義業(yè)務(wù)域、數(shù)據(jù)域、業(yè)務(wù)過程、度量/原子指標(biāo)、維度、維度屬性、修飾詞、修飾類型、時(shí)間周期、派生指標(biāo)等。
業(yè)務(wù)域:比數(shù)據(jù)域更高維度的業(yè)務(wù)劃分方法,適用于特別龐大的業(yè)務(wù)系統(tǒng),且業(yè)務(wù)板塊之間的指標(biāo)或業(yè)務(wù)重疊性較小。例如傳媒業(yè)務(wù)可以分為新聞、公開課、紅彩等業(yè)務(wù)板塊。新聞業(yè)務(wù)板塊包含內(nèi)容、用戶、智子、PUSH、搜索、推薦等。
業(yè)務(wù)過程:業(yè)務(wù)過程可以概括為一個(gè)個(gè)不可拆分的行為事件,如曝光,點(diǎn)擊,瀏覽等業(yè)務(wù)過程/事件。這里的事件跟埋點(diǎn)的事件類似。
看到這一系列的名詞,很多人可能就開始懵逼了,業(yè)務(wù)域倒還能理解,簡單來說就是對不同業(yè)務(wù)的分類;業(yè)務(wù)過程也容易理解,相當(dāng)于畫業(yè)務(wù)流程圖唄。
那數(shù)據(jù)域又是何方神圣?
數(shù)據(jù)域,是聯(lián)系較為緊密的數(shù)據(jù)主題的集合,是對業(yè)務(wù)對象高度概括的概念層歸類,目的是便于數(shù)據(jù)管理與應(yīng)用。簡而言之,數(shù)據(jù)域就類似于我們電腦桌面要建立不同的文件夾來存儲(chǔ)數(shù)據(jù),這些個(gè)文件夾名就是數(shù)據(jù)域。
維度、維度屬性、修飾這些怎么理解?有什么用途?
維度:是度量的環(huán)境,用來反映業(yè)務(wù)的一類屬性,這類屬性的集合構(gòu)成一個(gè)維度,可以從who-where-when-what層面來看。
維度屬性:維度屬性隸屬于維度,相當(dāng)于維度的具體說明,如用戶維度中性別為男、女。
修飾詞:指除了統(tǒng)計(jì)維度以外指標(biāo)的業(yè)務(wù)場景。
修飾類型:對修飾詞的抽象劃分。
敲黑板?。?!
修飾詞和維度可以理解為原子指標(biāo)的一些限定條件,懂sql的會(huì)更好理解一些,一般是寫sql時(shí),放在where語句后邊的就是修飾詞,放在group by后面的就是維度。
指標(biāo)類型:包含原子指標(biāo)、派生指標(biāo)、復(fù)合指標(biāo)。
度量/原子指標(biāo):原子指標(biāo)和度量含義相同,某一業(yè)務(wù)行為事件下的度量,是業(yè)務(wù)定義中不可拆分的指標(biāo),如推薦量、搜索次數(shù)。
時(shí)間周期:用來明確數(shù)據(jù)統(tǒng)計(jì)的時(shí)間范圍或是時(shí)間點(diǎn),如最近7天、自然月、截至當(dāng)日等。
派生指標(biāo)
派生指標(biāo)分為事務(wù)型指標(biāo)、存量型指標(biāo)
事務(wù)型:指標(biāo)是指對業(yè)務(wù)活動(dòng)進(jìn)行衡量的指標(biāo),一般會(huì)對應(yīng)一個(gè)事件。例如新增用戶數(shù)
存量型:指標(biāo)是指對實(shí)體對象某些狀態(tài)的統(tǒng)計(jì),例如文章總數(shù)、用戶總數(shù),這類指標(biāo)需維護(hù)原子指標(biāo)及修飾詞,在此基礎(chǔ)上創(chuàng)建派生指標(biāo),對應(yīng)的時(shí)間周期一般為“歷史截至當(dāng)前某時(shí)間”。
復(fù)合指標(biāo):建立在原子指標(biāo)、派生指標(biāo)之上,通過一定運(yùn)算規(guī)則形成的計(jì)算指標(biāo)集合,如CTR,次均瀏覽時(shí)長等。
4.3 模型設(shè)計(jì)
(1)模型層次
(2)表命名
ods(odm)層
數(shù)據(jù)表名:odm_{業(yè)務(wù)線}_{數(shù)據(jù)源}_{庫名}_{表名}_{增量(incr)/全量(full)}_{更新時(shí)間頻次}
例子:
1)mysql:odm_{業(yè)務(wù)線}_mysql_{db_name}_{mysql_table_name}_incr_day
2)hbase:odm_{業(yè)務(wù)線}_hbase_{db_name}_{hbase_table_name}_incr_day
3)kafka:odm_{業(yè)務(wù)線}_kafka_{cluster_name}_{topic_name}_incr_day
4)redis:odm_{業(yè)務(wù)線}_redis_{cluster_name}_incr_day
5)kudu:odm_{業(yè)務(wù)線}_kudu_{db_name}_{kudu_table_name}_incr_day
dwd(edm)層
數(shù)據(jù)表名:edm_{業(yè)務(wù)域}_{一級主題}_{二級主題}_{業(yè)務(wù)過程概要}_{增量(incr)/全量(full)}_{更新時(shí)間頻次}
例子:
edm_news_content_operation_bros_detail_incr_day:新聞業(yè)務(wù),內(nèi)容主題,內(nèi)容運(yùn)營每日增量入池內(nèi)容頭條閱讀表
dws(gdm)層
數(shù)據(jù)表名:gdm_{業(yè)務(wù)域}_{一級主題}_{二級主題}_{業(yè)務(wù)過程概要}_{增量(incr)/全量(full)}_{更新時(shí)間頻次}
app(adm)層
數(shù)據(jù)表名:adm_{業(yè)務(wù)域}_{功能域}_{統(tǒng)計(jì)描述}_{更新時(shí)間頻次}
例子:
adm_news_zhizi_second_bid_ad_report_day:新聞業(yè)務(wù),按天增量統(tǒng)計(jì)的智子二期競價(jià)廣告?zhèn)葓?bào)表
dim(ddm)層
數(shù)據(jù)表名:ddm_{業(yè)務(wù)域}_{主題}_{實(shí)體}_{增量(incr)/全量(full)}_{更新時(shí)間頻次}
例子:
ddm_content_doc_full_day:文章信息天級全量表
5
網(wǎng)易傳媒數(shù)倉指標(biāo)體系建設(shè)
之前,業(yè)務(wù)方經(jīng)常出現(xiàn)不同表里的指標(biāo)對不上的情況,開發(fā)查詢半天發(fā)現(xiàn),兩個(gè)指標(biāo)口徑是不一樣的,一個(gè)是整體的瀏覽量,一個(gè)是去掉異常數(shù)據(jù)的瀏覽量;分析師經(jīng)常會(huì)問,表里的瀏覽時(shí)長是毫秒還是秒?每每遇到這種問題,開發(fā)都要去代碼里看看,是除了1000還是沒有;原來的指標(biāo)都是寫到WIKI里,當(dāng)指標(biāo)口徑發(fā)生變化時(shí),無法及時(shí)更新,就算更新了也無法在表里體現(xiàn)出來……
自從用了網(wǎng)易有數(shù)大數(shù)據(jù)平臺(tái)的指標(biāo)系統(tǒng)和模型設(shè)計(jì)中心,這些情況少多了。下面介紹一下網(wǎng)易傳媒數(shù)倉在大數(shù)據(jù)平臺(tái)上的應(yīng)用。
5.1 準(zhǔn)備工作
(1)主題域配置
前面我們已經(jīng)根據(jù)業(yè)務(wù)線拆分了主題域,現(xiàn)在要把他配置到模型設(shè)計(jì)中心中,如圖:
(2)分層配置
(3)字典集配置
(4)表設(shè)計(jì)規(guī)則管理
根據(jù)我們確定的表命名規(guī)范,錄入系統(tǒng)
5.2 維度建設(shè)
(1)查找維度
(2)新建維度
5.3 指標(biāo)建設(shè)
(1)查找指標(biāo)
(2)新建修飾詞
(3)新建指標(biāo)
5.4 表建設(shè)
(1)表命名
(2)基礎(chǔ)屬性及字段
字段命名
關(guān)聯(lián)維度和指標(biāo)
5.5 收益
(1)指標(biāo)系統(tǒng)
方便的查詢指標(biāo)間血緣關(guān)系
方便查詢指標(biāo)被表引用情況,了解字段的口徑
開發(fā)人員在建立指標(biāo)時(shí),一定要先確定指標(biāo)的口徑,這對于后面表腳本開發(fā)非常有幫助。
(2)模型設(shè)計(jì)中心
- 規(guī)范表的命名
- 清晰分層
- 維度一致性
數(shù)倉使用指標(biāo)系統(tǒng)來管理指標(biāo)的業(yè)務(wù)口徑、計(jì)算邏輯和數(shù)據(jù)來源,通過流程化的方式,建立從指標(biāo)需求、指標(biāo)開發(fā)、指標(biāo)審核、指標(biāo)發(fā)布的全套協(xié)作流程。
數(shù)倉使用模型設(shè)計(jì)中心按照主題域、業(yè)務(wù)過程,分層的設(shè)計(jì)方式,以維度建模作為基本理論依據(jù),按照維度、度量設(shè)計(jì)模型,確保模型、字段有統(tǒng)一的命名規(guī)范。
本文經(jīng)授權(quán)發(fā)布,不代表增長黑客立場,如若轉(zhuǎn)載,請注明出處:http://gptmaths.com/quan/46225.html