對(duì)話張錦波：數(shù)據(jù)驅(qū)動(dòng)增長-字節(jié)A/B實(shí)驗(yàn)揭秘

張錦波：字節(jié)跳動(dòng)解決方案總監(jiān)

主持人：那么有問題的小伙伴可以在屏幕區(qū)打下你的問題，然后我們挑選三個(gè)問題進(jìn)行“ QA 環(huán)節(jié)”的問題解答。在錦波老師講座的過程中，我這邊從后臺(tái)已經(jīng)收到一些問題，就先選中其中的幾個(gè)問題，有請(qǐng)老師作解答。

問題1：目前的火山引擎對(duì)外(尤其是數(shù)據(jù)中臺(tái)和智能套件)有什么業(yè)務(wù)?

張老師：火山引擎是字節(jié)跳動(dòng)旗下的 ToB 品牌，它包含了從上層應(yīng)用的 SaaS，中間層的 PaaS ，以及基礎(chǔ)層的Laas 。綜合來說，火山引擎是具備核心能力的對(duì)外輸出和提供服務(wù)的平臺(tái)。

先從 SaaS 層面來說，我們提供了就像講座中提到的涉及營銷管理的組合功能模塊。包括我們的自動(dòng)化營銷的平臺(tái)、關(guān)于測試實(shí)驗(yàn)的 AB 測試實(shí)驗(yàn)平臺(tái)，以及用戶行為分析、埋點(diǎn)治理的相關(guān)功能而形成的平臺(tái)。還包含有，涉及全域的單個(gè)用戶洞察旅程的相關(guān)的體系。

不僅如此，我們還提供了內(nèi)容相關(guān)的服務(wù)，也會(huì)包含在我們的平臺(tái)當(dāng)中來提高用戶的使用體驗(yàn)。關(guān)于這部分內(nèi)容，如果展開來說，就比如是我們提供內(nèi)容的定制服務(wù)、內(nèi)容的管理、內(nèi)容的分發(fā)和推送。甚至還有一些很有趣的玩法，與之相關(guān)的，比如，我們有一些 H5 或者是視頻建站相關(guān)的一些工具和平臺(tái)，還有包括基于 AI 算法的互動(dòng)小工具，以及現(xiàn)在屬于比較火熱的，像虛擬形象的數(shù)字人 AR/VR 的一些相關(guān)的技術(shù)。同時(shí)，以及近期被大家所熟知的“元宇宙”，我們最近也收購了與“元宇宙”相關(guān)的技術(shù)，準(zhǔn)備往這個(gè)方向輸出相關(guān)的服務(wù)能力，給大家提供一些產(chǎn)品化方案化的能力。

那在中間的 pass 層。不知道大家是否了解字節(jié)跳動(dòng)，這家公司的內(nèi)部一直強(qiáng)調(diào)和秉承著一個(gè)小的業(yè)務(wù)前臺(tái)，大的中臺(tái)這樣一個(gè)理念。所以，當(dāng)我們面前對(duì)外輸出時(shí)，我們會(huì)把自己內(nèi)部沉淀多年的數(shù)據(jù)中臺(tái)、 AI 的中臺(tái)和研發(fā)技術(shù)的中臺(tái)，將他們進(jìn)行一定程度的封裝之后，實(shí)現(xiàn)比較的效果以后，用來服務(wù)和影響我們的終端客戶。

比如，我們也提供了AI-lab中臺(tái)能力，包含音視頻的，直播云的數(shù)據(jù)中臺(tái)、研發(fā)技術(shù)的中臺(tái)、算法的中臺(tái)等等。在底層，包括我們的存儲(chǔ)計(jì)算網(wǎng)絡(luò)以及我們基于流量的像短信服務(wù)的一套的能力附著在火山引擎當(dāng)中，實(shí)現(xiàn)了火山引擎完備的端到端的一站式的解決方案。不僅如此，在這過程當(dāng)中，也為我們的用戶提供更上層的基于行業(yè)、基于主題，或者是某些場景，提供方案和指導(dǎo)。

主持人：好的，還有一個(gè)同學(xué)問的可能稍微偏細(xì)節(jié)一點(diǎn)，看錦波老師這邊能否回答一下，他問的是“流量是如何切分的，是選取某一天的百分之十？還是選取用戶七天或者14天的進(jìn)組數(shù)據(jù)？”

問題2：流量是如何切分的，是選取某一天的百分之十？還是選取用戶七天或者14天的進(jìn)組數(shù)據(jù)？

張老師：是這樣的，關(guān)于測試實(shí)驗(yàn)用戶流量的切分。建議是所切分中的流量能夠盡可能多的覆蓋整個(gè)用戶場景。我們基本不建議說都是開 7 天甚至 14 天或者是更長時(shí)間以上。因?yàn)橛脩粼谒惶煲恢艿倪@樣一個(gè)時(shí)間周期內(nèi)，往往他的行為模式是不同的，所以要收集全。

如此得到的數(shù)據(jù)，其實(shí)是一個(gè)累積進(jìn)組的狀態(tài)，在這樣的場景下，我們對(duì)于流量的切分其實(shí)是有一個(gè)底層，遵循科學(xué)的隨機(jī)分組的一個(gè)分流系統(tǒng)。在實(shí)驗(yàn)開始的時(shí)候，我們就會(huì)開啟相關(guān)的配置。比如，實(shí)驗(yàn)中是配置 10% 或者是 20% 的流量，也可以選擇其它的比例來做小流量的測試。那么我們也會(huì)選擇滿足整個(gè)全域流量的百分比用戶數(shù)，比如，第一天新到的這個(gè)用戶；比如，布控了我們自己實(shí)驗(yàn)代碼的那個(gè)位置觸發(fā)規(guī)則的相關(guān)用戶。

一旦進(jìn)行了實(shí)驗(yàn)，實(shí)現(xiàn)了曝光，那么這個(gè)時(shí)候會(huì)請(qǐng)求一次分流，我們會(huì)根據(jù)它本身 ID 信息，來判斷具體落在了哪個(gè)分流桶里面，以及確定它是不是進(jìn)入了實(shí)驗(yàn)，以及如果進(jìn)到了實(shí)驗(yàn)里，具體是進(jìn)哪一個(gè)實(shí)驗(yàn)組。然后，這個(gè)時(shí)候相應(yīng)的對(duì)它進(jìn)行實(shí)驗(yàn)策略的曝光。那這也是每一天新來的用戶，通過這樣的方式，我們就可以把它累積下來，然后去進(jìn)行一個(gè)累積迭代的計(jì)算。

最開始的時(shí)候我們會(huì)分天計(jì)算，當(dāng)然方式可能從整個(gè)數(shù)據(jù)科學(xué)層面來評(píng)價(jià)的話，會(huì)不是特別的完備，后續(xù)話我們更科學(xué)地優(yōu)化了整個(gè)底層的統(tǒng)計(jì)策略，然后是按照累積的這種方式去計(jì)算每一天新進(jìn)組的用戶，和這些用戶本身帶過來的指標(biāo)上的一些顯著性的變化。

主持人：好的，還有一個(gè)用戶比較有意思，他在問：“比如說在用戶規(guī)模 DAU 為5000的情況下，AB測試實(shí)驗(yàn)是否還能體現(xiàn)出價(jià)值？”

問題3：比如說在用戶規(guī)模 DAU 為5000的情況下，AB測試實(shí)驗(yàn)是否還能體現(xiàn)出價(jià)值？

張老師：其實(shí)，我們?cè)谧铋_始的時(shí)候也是遇到 DAU 非常少的情況，但是也是可以開啟相關(guān)的一些實(shí)驗(yàn)的。但是說到底，確實(shí)，我們還是需要在大流量的情況下，才能更好夠保證我們的抽樣誤差能夠盡可能的更小一些。

如果在流量比較小，或者說樣本比較少的情況下，有些實(shí)驗(yàn)的進(jìn)行就會(huì)有出現(xiàn)一些問題。所以，我們會(huì)根據(jù)一些底層的統(tǒng)計(jì)策略，比如降方差等，然后同時(shí)也會(huì)有一些自動(dòng)流量調(diào)優(yōu)的方式，去持續(xù)和去探索我們最優(yōu)化的一些策略，也會(huì)通過產(chǎn)品化的或底層統(tǒng)計(jì)策略的方式去幫助我們來處理這最開始的時(shí)候，在產(chǎn)品能啟動(dòng)的這個(gè)階段，在 DAU 沒那么高的情況下，能夠盡快的拿到一些數(shù)據(jù)，這是都可以做到的。底層是有非常多統(tǒng)計(jì)算法、統(tǒng)計(jì)策略上的一些優(yōu)化迭代和產(chǎn)品上在 AI 控流這個(gè)算法模型上的一些優(yōu)化。

主持人：觀眾們比較熱情，我最后再挑一個(gè)問題，也可能有一些 B 端的企業(yè)比較關(guān)心，這個(gè)問題是 “B 端企業(yè)的數(shù)據(jù)是否可以與火山引擎集成？如果集成都有哪些集成方式？”

問題4：B 端企業(yè)的數(shù)據(jù)是否可以與火山引擎集成？如果集成都有哪些集成方式？

張老師：在火山引擎的平臺(tái)內(nèi)關(guān)于企業(yè)的數(shù)據(jù)接入，平臺(tái)上是已經(jīng)提供了非常多的工具，支持平臺(tái)接入各式各樣的場景。比如。通過私有化部署等。我們的客戶也是有不少來自這樣的場景，希望通過平臺(tái)來實(shí)現(xiàn)數(shù)據(jù)經(jīng)營的閉環(huán)，通過套件實(shí)現(xiàn)量化分析，這其中用到的都是企業(yè)用戶自己的數(shù)據(jù)。

比如說，通過企業(yè)用戶的 SDK 埋點(diǎn)，采集到企業(yè)自有 App 上的數(shù)據(jù)，或者在自己的私域觸點(diǎn)上采集到榜上的數(shù)據(jù)，在進(jìn)行對(duì)應(yīng)的數(shù)據(jù)加工、處理和治理之后形成數(shù)據(jù)產(chǎn)品的輸出，比如用于經(jīng)營分析的看板或者是報(bào)表。也就是說，我們保證了即使是在 SAAS 上的多租戶的模式，各個(gè)不同的企業(yè)之間他們的數(shù)據(jù)的一個(gè)安全性和隔離性。那么我們同時(shí)也提供了這種 ocram 類似的私有化部署的方式，完全能夠在我們整個(gè)用戶自有的數(shù)據(jù)中心里面去做數(shù)據(jù)的流轉(zhuǎn)，達(dá)到自主可控。

我是否可以這樣理解這位提問的線上小伙伴的這個(gè)問題，其實(shí)他想問的是不是可以和自己的一些業(yè)務(wù)功能數(shù)據(jù)去做一些融合和打通，現(xiàn)在畢竟是“斷直連”了，就有一些這種強(qiáng)監(jiān)管的一些措施的出臺(tái)。這確確實(shí)實(shí)是我們現(xiàn)在都需要認(rèn)真考慮和面對(duì)的問題，我們也會(huì)通過向隱私計(jì)算或者聯(lián)邦學(xué)習(xí)等方式去進(jìn)行一些探索，會(huì)有這樣的一些工具或者是能力在持續(xù)不斷的輸出和共創(chuàng)。