詹坤林：58同城智能客服系統(tǒng)“幫幫”技術(shù)揭秘

本文根據(jù)58同城AI Lab負(fù)責(zé)人詹坤林在2018年DataFunTalk人工智能技術(shù)沙龍所分享的《五八同城智能客服系統(tǒng)“幫幫”技術(shù)揭秘》編輯整理而成，在未改變?cè)獾幕A(chǔ)上稍做整理。

58同城提供租房、二手房、找工作、二手車、黃頁等信息，這些業(yè)務(wù)分布于房產(chǎn)、招聘、二手車、黃頁等不同業(yè)務(wù)部門，不同業(yè)務(wù)部門都有各自獨(dú)立的客服團(tuán)隊(duì)，我們的目標(biāo)是設(shè)計(jì)一套通用的智能客服平臺(tái)來解決所有客服問題，以提高客服效率。

今天的分享將從以下幾個(gè)方面展開：首先介紹智能客服的背景，然后介紹總體技術(shù)架構(gòu)、算法和工程架構(gòu)，最后做一下總結(jié)。主要想通過這次分享使大家了解到智能客服系統(tǒng)中的技術(shù)全貌，希望對(duì)大家有些啟發(fā)。

01

智能客服的背景

傳統(tǒng)客服工作模式包括客服網(wǎng)站和電話客服兩種：

（1）公司提供一個(gè)客服網(wǎng)站給用戶，用戶通過網(wǎng)站提交問題反饋，這些反饋信息會(huì)通過一個(gè)系統(tǒng)展示給客服人員，客服人員每天逐個(gè)解決這些問題，解決后通過站內(nèi)信或者短信回復(fù)用戶。這種模式下，用戶在客服網(wǎng)站上的操作往往較繁瑣，并且問題解決流程周期長(zhǎng)，可能會(huì)耗時(shí)數(shù)小時(shí)甚至數(shù)天，用戶體驗(yàn)差。

（2）公司提供一個(gè)客服電話給用戶，用戶通過電話咨詢客服。這種模式盡管直接，但是可能存在問題描述不清、溝通成本高的問題，例如客服在解決某個(gè)問題時(shí)往往需要用戶提供額外信息，一通電話會(huì)持續(xù)較長(zhǎng)時(shí)間。一般一個(gè)客服每天能完成60-80個(gè)電話的接線，服務(wù)效率較低，而且客服人力成本高。

大部分客服問題其實(shí)是高頻重復(fù)問題，這些問題往往都有標(biāo)準(zhǔn)的答案，這可以利用機(jī)器去解決，可以構(gòu)建一套智能問答系統(tǒng)去自動(dòng)回答用戶的提問，當(dāng)用戶對(duì)答案不滿意時(shí)，他可以再尋求人工客服的幫助。這種機(jī)器自動(dòng)問答和人工客服輔助的模式下，大部分客服問題通過機(jī)器解決了，只有少部分機(jī)器解決不了的復(fù)雜問題才會(huì)由人工客服來解決，這不僅提升了用戶體驗(yàn)也提高了客服人員的人效。

58同城舊有客服體系就是通過客服網(wǎng)站和客服電話來提供客服服務(wù)，我們需要重塑這種模式，構(gòu)建一套新的客服體系。在新的客服體系下，用戶所有的客服咨詢首先都會(huì)經(jīng)過智能客服系統(tǒng)“幫幫”，由“幫幫”來自動(dòng)回答用戶的問題，若用戶對(duì)答案不滿意，他可以轉(zhuǎn)接人工客服。人工客服包括舊有的電話客服和新設(shè)計(jì)的IM（即時(shí)通訊）在線客服，IM在線客服是指通過IM聊天的方式提供客服服務(wù)，用戶可以和客服人員通過聊天窗口直接一對(duì)一進(jìn)行溝通，智能客服和IM在線客服會(huì)無縫整合在同一個(gè)聊天窗口中。轉(zhuǎn)接人工客服時(shí)我們會(huì)首先轉(zhuǎn)接到IM在線客服上，若用戶仍不滿意才會(huì)通過電話的方式解決問題。新的客服體系下，用戶可以獲取到業(yè)務(wù)咨詢、投訴建議、產(chǎn)品反饋、閑聊以及工單處理等客服服務(wù)。

這種新的客服模式相比舊有模式的優(yōu)點(diǎn)有：

（1）用戶體驗(yàn)好。傳統(tǒng)客服網(wǎng)站的方式用戶獲取答案周期長(zhǎng)，這是因?yàn)榭头藛T需要手動(dòng)解答客服網(wǎng)站上收集的每個(gè)用戶問題，由于每日問題量大而且客服人員數(shù)量有限，大部分用戶的問題不能即時(shí)得到解答。新的模式下用戶可以通過IM聊天窗口咨詢問題并即時(shí)獲取答案，簡(jiǎn)單高效。

（2）客服人效高。“幫幫”能夠自動(dòng)回答大部分問題，人工客服只需要利用IM在線客服聊天工具去解答少部分復(fù)雜問題，機(jī)器和人工處理問題的比例大約是8:2。每個(gè)IM客服人員一天大約能處理120-150個(gè)用戶的咨詢，這遠(yuǎn)比電話客服每天處理60-80個(gè)用戶的咨詢要高，因此我們會(huì)盡量讓用戶咨詢先流轉(zhuǎn)至IM在線客服，只有最復(fù)雜的問題才會(huì)流轉(zhuǎn)至電話客服。通過這種智能客服到IM在線客服再到電話客服的方式，我們可以利用有限的客服人員處理更多的用戶咨詢。

—

02

幫幫智能客服系統(tǒng)

“幫幫”智能客服系統(tǒng)是一套基于深度學(xué)習(xí)和自然語言理解技術(shù)實(shí)現(xiàn)的自動(dòng)問答對(duì)話機(jī)器人，產(chǎn)品界面如圖所示，用戶通過聊天窗口的形式和“幫幫”進(jìn)行對(duì)話。對(duì)話機(jī)器人一般分為業(yè)務(wù)咨詢類、任務(wù)類和閑聊類三種，“幫幫”也支持這三種功能：

最主要的是提供業(yè)務(wù)咨詢功能，幫助用戶解決業(yè)務(wù)類問題；其次支持任務(wù)類型的回答，用戶可以實(shí)現(xiàn)查詢帖子被刪除原因、注銷賬號(hào)等任務(wù)；此外，為豐富“幫幫”的功能，也支持閑聊功能，用戶可以在聊天窗口與機(jī)器人寒暄閑聊。

“幫幫”整體技術(shù)架構(gòu)如圖所示，包括基礎(chǔ)服務(wù)層、應(yīng)用服務(wù)層、編輯運(yùn)營層、接入層以及在線客服系統(tǒng)。

基礎(chǔ)服務(wù)層提供對(duì)話系統(tǒng)的基礎(chǔ)技術(shù)能力，系統(tǒng)需要對(duì)用戶輸入的一段語句進(jìn)行理解，這里需要自然語言理解模塊，對(duì)語句進(jìn)行分詞、詞性標(biāo)注、實(shí)體識(shí)別、關(guān)鍵詞抽取和句法分析等；同時(shí)需要識(shí)別用戶的意圖，包括通用意圖和業(yè)務(wù)意圖，通用意圖是指用戶是來做業(yè)務(wù)咨詢還是閑聊，業(yè)務(wù)意圖是指若用戶是做業(yè)務(wù)咨詢，具體咨詢什么業(yè)務(wù)，這里會(huì)使用文本分類的技術(shù)去識(shí)別用戶意圖。

基礎(chǔ)服務(wù)之上是應(yīng)用服務(wù)層，這一層具體實(shí)現(xiàn)了KB-Bot基于問答知識(shí)庫的機(jī)器人、Task-Bot任務(wù)對(duì)話型機(jī)器和Chat-Bot閑聊類型機(jī)器人，這是“幫幫”系統(tǒng)的三種核心能力。編輯運(yùn)營層是指有一個(gè)編輯團(tuán)隊(duì)支撐著“幫幫”的算法策略迭代，主要完成數(shù)據(jù)標(biāo)注、問答運(yùn)營、數(shù)據(jù)分析和效果評(píng)估的工作，這些工作輸出會(huì)作用到基礎(chǔ)服務(wù)層和應(yīng)用服務(wù)層。基于應(yīng)用服務(wù)層，對(duì)外提供通用的接口服務(wù)以便于業(yè)務(wù)方接入，我們支持Android、iOS和web端的接入。此外，機(jī)器不是萬能的，用戶有很多復(fù)雜的問題仍需要人工解決，這里有一套在線客服系統(tǒng)提供了人工在線客服的能力，應(yīng)用服務(wù)層會(huì)和這套在線客服系統(tǒng)做無縫對(duì)接。

“幫幫”系統(tǒng)的核心是提供KB-Bot、Task-Bot和Chat-Bot三種能力，下面分別介紹下這里使用到的技術(shù)。

KB-Bot是指基于問答知識(shí)庫的對(duì)話機(jī)器人，它主要實(shí)現(xiàn)了“幫幫”最重要的能力——提供業(yè)務(wù)咨詢類服務(wù)。

58的用戶使用幫幫主要是來進(jìn)行業(yè)務(wù)咨詢，例如詢問賬號(hào)為何被鎖、帖子為何被刪、如何購買帖子置頂服務(wù)等等。業(yè)務(wù)咨詢類的回答需要基于問答知識(shí)庫來實(shí)現(xiàn)，這里的問答知識(shí)庫是一個(gè)包含眾多問答對(duì)的數(shù)據(jù)集。我們將問題劃分為標(biāo)準(zhǔn)問題和擴(kuò)展問題，例如“為什么刪除我的帖子”這個(gè)是一個(gè)標(biāo)準(zhǔn)問題，語句表達(dá)很標(biāo)準(zhǔn)，它會(huì)有一個(gè)標(biāo)準(zhǔn)答案，其近似的問法我們稱之為擴(kuò)展問題，例如“為什么刪我貼”、“告訴我為啥刪帖”等，這些都表達(dá)的是一個(gè)意思，這些問題同樣對(duì)應(yīng)的是相同的標(biāo)準(zhǔn)答案。有了問答知識(shí)庫，用戶來詢問時(shí)就是一個(gè)問題匹配的過程了，只需要將用戶輸入的問題和知識(shí)庫中的問題做匹配，得到意思最相近的那條問題，然后將對(duì)應(yīng)的答案返回給用戶，這就完成了一次問答操作。問答知識(shí)庫的構(gòu)建非常關(guān)鍵，這里會(huì)首先對(duì)客服團(tuán)隊(duì)歷史積累的問題數(shù)據(jù)進(jìn)行抽象，形成標(biāo)準(zhǔn)問題，然后結(jié)合算法和標(biāo)注對(duì)標(biāo)準(zhǔn)問題做擴(kuò)展，形成初始問答知識(shí)庫，在系統(tǒng)上線后，對(duì)新產(chǎn)生的數(shù)據(jù)又會(huì)進(jìn)行挖掘，不斷擴(kuò)充知識(shí)庫。

基于知識(shí)庫的問答可以使用檢索或者分類模型來實(shí)現(xiàn)。

檢索式回答的流程是：首先對(duì)用戶的輸入問題做處理，如分詞、抽取關(guān)鍵詞、同義詞擴(kuò)展、計(jì)算句子向量等；然后基于處理結(jié)果在知識(shí)庫中做檢索匹配，例如利用BM25、TF-IDF或者向量相似度等匹配出一個(gè)問題集合，這類似推薦系統(tǒng)中的召回過程；由于我們是一個(gè)問答系統(tǒng)，最終是直接返回給用戶一個(gè)答案，因此需要從問題集合中挑出最相似的那個(gè)問題，這里會(huì)對(duì)問題集合做重排序，例如利用規(guī)則、機(jī)器學(xué)習(xí)或者深度學(xué)習(xí)模型做排序，每個(gè)問題會(huì)被打上一個(gè)分值，最終挑選出top1，將這個(gè)問題對(duì)應(yīng)的答案返回給用戶，這就完成了一次對(duì)話流程。在實(shí)際應(yīng)用中，我們還會(huì)設(shè)置閾值來保證回答的準(zhǔn)確性，若最終每個(gè)問題的得分低于閾值，會(huì)將頭部的幾個(gè)問題以列表的形式返回給用戶，最終用戶可以選擇他想問的問題，進(jìn)而得到具體的答案。

這里還可以使用分類模型來實(shí)現(xiàn)問答，一個(gè)標(biāo)準(zhǔn)問題有多種擴(kuò)展問法，每個(gè)標(biāo)準(zhǔn)問題可以看做是一個(gè)分類，將用戶的輸入映射到標(biāo)準(zhǔn)問題上即可完成回答，因此可以將問答看做是一個(gè)大規(guī)模短文本分類的問題。我們采用了多特征、多模型、多分類結(jié)果融合的方式來完成短文本分類，在特征層嘗試使用了單字、詞、詞性、詞語屬性等多種特征，在模型層應(yīng)用了FastText、TextCNN和Bi-LSTM等模型，各模型的結(jié)果輸出最終會(huì)做融合得到最終分類結(jié)果。

Task-Bot任務(wù)型機(jī)器人是在特定條件下提供服務(wù)，為了滿足帶有明確目的的用戶，例如查天氣、查物流、訂機(jī)票等任務(wù)型場(chǎng)景。用戶的需求一般較復(fù)雜，通常需要機(jī)器人和用戶做多輪互動(dòng)以幫助用戶明確目的。我們實(shí)現(xiàn)了一個(gè)標(biāo)準(zhǔn)的多輪會(huì)話系統(tǒng)，首先自然語言理解模塊會(huì)識(shí)別出當(dāng)前輸入問題的意圖和槽位，然后輸入到對(duì)話管理器去決定下一步的回答動(dòng)作，最終再通過自然語言生成模塊生成答案返回給用戶。

這是一個(gè)具體的應(yīng)用實(shí)例，用戶輸入“為啥刪我貼”，經(jīng)過自然語言理解處理后，意圖識(shí)別模塊會(huì)將其識(shí)別為任務(wù)類型的服務(wù)，用戶是想詢問刪除帖子的原因，通常情況下問答系統(tǒng)會(huì)反問用戶，要求用戶提供帖子ID才能查詢，這里我們通過另一種設(shè)計(jì)來完成：首先調(diào)用發(fā)布中心接口拉取用戶已發(fā)布的貼子列表展示給用戶，讓用戶去自主選擇相應(yīng)的帖子，用戶點(diǎn)擊具體帖子之后，帖子ID會(huì)傳遞給問答系統(tǒng)，問答系統(tǒng)會(huì)再調(diào)用相關(guān)接口查詢到帖子刪除原因返回給用戶。這一整套流程是用戶的自助查詢過程，相比以往用戶需要查詢自己的帖子ID給客服人員，客服人員登錄相關(guān)系統(tǒng)并輸入貼子ID查詢結(jié)果要高效很多。

閑聊服務(wù)是基于一個(gè)閑聊語料庫，采用模板匹配、檢索式回答以及生成式對(duì)話等多種技術(shù)來實(shí)現(xiàn)的。模板匹配使用了AIML和正則表達(dá)式匹配；檢索式回答類似KB-Bot中的方式首先檢索然后利用模型排序；當(dāng)模板匹配和檢索式回答都不能給出閑聊回答時(shí)，我們會(huì)采用SeqSeq生成式對(duì)話，我們使用了一個(gè)標(biāo)準(zhǔn)的Seq2Seq模型，問題會(huì)首先輸入到一個(gè)雙向LSTM編碼器，然后加入Attention機(jī)制，最終使用一個(gè)單層LSTM做解碼，從而得到結(jié)果輸出。生成式對(duì)話往往會(huì)生成一些讓人難以理解的答案，這也是業(yè)界難以解決的問題。

當(dāng)“幫幫”給出的答案用戶不滿意時(shí)，用戶會(huì)尋求人工服務(wù)?！皫蛶汀敝С秩斯ぴ诰€客服的無縫轉(zhuǎn)接，用戶只需在聊天窗口一鍵點(diǎn)擊按鈕便能連接到IM人工在線客服，實(shí)現(xiàn)一對(duì)一聊天。在轉(zhuǎn)接人工客服成功后，人工客服會(huì)在客服工作臺(tái)中通過一個(gè)類似微信的聊天窗口和用戶溝通。雖然用戶在前端操作簡(jiǎn)單，其實(shí)后面是有一套功能復(fù)雜的在線客服系統(tǒng)在支撐。

在線客服系統(tǒng)是用戶和客服人員溝通的橋梁，在58業(yè)務(wù)場(chǎng)景下，它支持多個(gè)業(yè)務(wù)部門的不同客服團(tuán)隊(duì)注冊(cè)使用，不同客服團(tuán)隊(duì)可以管理自己的客服人員。當(dāng)用戶在智能客服窗口點(diǎn)擊轉(zhuǎn)接人工客服按鈕時(shí)，智能客服會(huì)識(shí)別出用戶轉(zhuǎn)向的目標(biāo)客服團(tuán)隊(duì)，在線客服會(huì)分配一名客服人員和用戶進(jìn)行溝通。在線客服系統(tǒng)支持用戶排隊(duì)功能，當(dāng)同時(shí)轉(zhuǎn)接人工客服的用戶較多而客服人員人力有限時(shí)，用戶便會(huì)進(jìn)入等待隊(duì)列。智能客服識(shí)別用戶業(yè)務(wù)意圖往往存在一定錯(cuò)誤率，有時(shí)候客服人員在和用戶溝通一段時(shí)間后會(huì)發(fā)現(xiàn)用戶的業(yè)務(wù)問題需要其他客服團(tuán)隊(duì)來解決，此時(shí)客服人員會(huì)將會(huì)話轉(zhuǎn)交給其他業(yè)務(wù)團(tuán)隊(duì)，因此在線客服系統(tǒng)還需支持會(huì)話流轉(zhuǎn)的功能。此外，溝通過程中的數(shù)據(jù)是非常重要的，例如可以根據(jù)人工的溝通記錄去優(yōu)化自動(dòng)問答的答案，因此數(shù)據(jù)監(jiān)控也是必須必備的功能。

智能客服系統(tǒng)需要有一個(gè)完備的評(píng)價(jià)體系去評(píng)價(jià)它的好壞，在我們的評(píng)價(jià)體系中有基于人工標(biāo)注的評(píng)價(jià)和基于用戶反饋的評(píng)價(jià)兩種方式：

（1）基于人工標(biāo)注的評(píng)價(jià)

“幫幫”能夠自動(dòng)回答業(yè)務(wù)咨詢、任務(wù)和閑聊類型的回答，業(yè)務(wù)咨詢類是基于問答知識(shí)庫來回答的，系統(tǒng)的回答能力受限于知識(shí)庫的豐富程度，因此并非能回答用戶的所有問題，系統(tǒng)最佳的狀態(tài)是將能回答的全部回答準(zhǔn)確，不能回答的全部拒識(shí)，即拒絕回答。因此這里的評(píng)價(jià)指標(biāo)包括有結(jié)果率、拒識(shí)率、召回率和準(zhǔn)確率等，我們的目標(biāo)是讓系統(tǒng)的有結(jié)果率無限接近數(shù)據(jù)的真實(shí)有結(jié)果率，召回率和準(zhǔn)確率盡量高。這里我們是通過標(biāo)注標(biāo)準(zhǔn)評(píng)測(cè)集來計(jì)算系統(tǒng)的各項(xiàng)指標(biāo)，我們會(huì)從每日的全量數(shù)據(jù)集中抽樣出一個(gè)小數(shù)據(jù)集，保證小數(shù)據(jù)集的數(shù)據(jù)分布盡量符合全量數(shù)據(jù)集，然后由標(biāo)注團(tuán)隊(duì)對(duì)數(shù)據(jù)集做標(biāo)注，標(biāo)注出每個(gè)問題的實(shí)際答案，一般標(biāo)注完成后還有質(zhì)檢的環(huán)節(jié)，以保證標(biāo)注結(jié)果盡量準(zhǔn)確，這樣便生成了每日數(shù)據(jù)的標(biāo)準(zhǔn)評(píng)測(cè)集。

基于該標(biāo)準(zhǔn)評(píng)測(cè)集我們會(huì)去評(píng)價(jià)系統(tǒng)的好壞，并且每次做新模型迭代時(shí)都會(huì)使用標(biāo)準(zhǔn)評(píng)測(cè)集去評(píng)價(jià)新模型，只有新模型的效果好了才允許上線。

（2）基于用戶反饋的評(píng)價(jià)

人工評(píng)價(jià)能夠評(píng)價(jià)智能客服系統(tǒng)的準(zhǔn)確率，但是答案是否合理，能否為用戶解決問題，需要用戶去反饋評(píng)價(jià)，整個(gè)智能客服系統(tǒng)的最終目標(biāo)是幫助用戶解決問題。我們會(huì)在產(chǎn)品上設(shè)計(jì)智能客服和在線客服的評(píng)價(jià)功能，例如會(huì)讓用戶評(píng)價(jià)智能客服的每個(gè)答案或者某次會(huì)話，在和人工客服聊天完畢會(huì)發(fā)送評(píng)價(jià)卡片給用戶去評(píng)價(jià)滿意度。最終我們會(huì)統(tǒng)計(jì)參評(píng)比例、滿意度等指標(biāo)，這些指標(biāo)能夠真正反應(yīng)智能客服系統(tǒng)的好壞。實(shí)際中往往用戶參評(píng)比例低，我們會(huì)使用各種方法去刺激用戶評(píng)價(jià)。

上述內(nèi)容介紹了“幫幫”智能客服系統(tǒng)中的技術(shù)和評(píng)價(jià)體系，我們?cè)谧鏊惴ú呗缘鷷r(shí)會(huì)不斷優(yōu)化評(píng)價(jià)指標(biāo)。首先在離線模型迭代時(shí)，會(huì)基于標(biāo)準(zhǔn)評(píng)測(cè)集計(jì)算離線指標(biāo)，只有指標(biāo)提高了才允許模型上線。上線時(shí)會(huì)做ABTest上線，首先將新模型小流量上線，然后看數(shù)據(jù)效果，若效果好會(huì)切換更多的流量進(jìn)行上線。

“幫幫”后臺(tái)系統(tǒng)總體架構(gòu)如圖所示，“幫幫”前端頁面是一個(gè)IM聊天窗口，用戶在聊天窗口中可以和“幫幫”即時(shí)對(duì)話。

這里的具體實(shí)現(xiàn)分為兩種：

第一種是通過微聊（58同城TEG自研的IM即時(shí)聊天工具）來實(shí)現(xiàn)，用戶在前端的提問會(huì)被當(dāng)做一條消息發(fā)送給微聊，我們有一個(gè)IM消息中轉(zhuǎn)模塊從微聊接收消息，并將消息轉(zhuǎn)發(fā)給問答引擎，問答引擎是一個(gè)RPC服務(wù)，使用SCF框架（五八同城TEG自研的服務(wù)通信框架）實(shí)現(xiàn)，問答引擎給出答案后返回給IM消息中轉(zhuǎn)模塊，中轉(zhuǎn)模塊將答案組裝成消息發(fā)送給微聊，最終微聊返回消息給用戶，這種方式的實(shí)現(xiàn)需要使用我們的微聊通道。

還有一些業(yè)務(wù)方不希望通過微聊來獲取“幫幫”自動(dòng)問答功能，只希望我們提供一個(gè)接口，業(yè)務(wù)方輸入問題，接口能夠返回答案即可，針對(duì)這種方式我們?cè)趩柎鹨嬷戏庋b了一層http服務(wù)，業(yè)務(wù)方只需要調(diào)用該服務(wù)即可。

下面介紹下問答引擎的后臺(tái)架構(gòu)，問答引擎分為數(shù)據(jù)層、邏輯層和接入層。

數(shù)據(jù)層包括問答知識(shí)庫、標(biāo)注和運(yùn)營數(shù)據(jù)以及構(gòu)建的問答索引。邏輯層里各個(gè)功能模塊都基于SCF框架封裝成微服務(wù)，包括NLU服務(wù)、模板匹配服務(wù)、檢索服務(wù)、排序服務(wù)、預(yù)測(cè)服務(wù)、閑聊服務(wù)、主體服務(wù)，主體服務(wù)負(fù)責(zé)對(duì)外提供通用接口，接收問答請(qǐng)求，調(diào)用各個(gè)子服務(wù)完成問答邏輯以得到答案，并將答案返回給接入層。這里我們會(huì)做ABTest實(shí)驗(yàn)，主體服務(wù)會(huì)請(qǐng)求ABTest平臺(tái)“日晷”（自研的包括請(qǐng)求分流和數(shù)據(jù)監(jiān)控功能的ABTest平臺(tái)）獲取具體分流實(shí)驗(yàn)信息。此外，我們的所有算法迭代都是通過自研的人工智能平臺(tái)來實(shí)現(xiàn)，標(biāo)注和運(yùn)營數(shù)據(jù)由Web標(biāo)注管理系統(tǒng)來提供。

我們還會(huì)通過運(yùn)營來提高問答效果，針對(duì)問答系統(tǒng)的高頻badcase回答，我們會(huì)進(jìn)行人工修正，并即時(shí)同步到線上系統(tǒng)，以保證回答準(zhǔn)確。

“幫幫”每天產(chǎn)生的問答數(shù)據(jù)，我們會(huì)抽樣一部分去做標(biāo)準(zhǔn)評(píng)測(cè)集的標(biāo)注，從標(biāo)注結(jié)果中我們可以看到哪些問題回答錯(cuò)誤了，我們會(huì)將這些問題標(biāo)上正確答案并即時(shí)上線。這是因?yàn)榫€上問答模型的更新周期較長(zhǎng)，一般是數(shù)天或者一周，通過人工運(yùn)營可以快速將badcase給去掉。標(biāo)準(zhǔn)評(píng)測(cè)集數(shù)據(jù)較少，只會(huì)包含少量的badcase，我們還會(huì)挖掘每日的全量數(shù)據(jù)，發(fā)現(xiàn)高頻相似問題，并交由標(biāo)注同事標(biāo)注，若回答錯(cuò)誤，也會(huì)進(jìn)行標(biāo)注運(yùn)營上線。通過這種結(jié)合人工運(yùn)營的方式，我們可以提高“幫幫”的回答準(zhǔn)確率。

我們還會(huì)通過產(chǎn)品設(shè)計(jì)來提高問答準(zhǔn)確率，“幫幫”最主要的功能是解決業(yè)務(wù)咨詢，這是基于我們構(gòu)建的問答知識(shí)庫做回答的。因此，可以設(shè)計(jì)一個(gè)輸入提示的功能，在用戶輸入問題時(shí)去問答知識(shí)庫中匹配相關(guān)的問題，若匹配到，用戶直接選擇相關(guān)問題即可，此時(shí)我們的回答邏輯就是在知識(shí)庫硬匹配，而不用走算法模型匹配，可以大大提高回答準(zhǔn)確性。在實(shí)際應(yīng)用中，我們發(fā)現(xiàn)有很大一部分問題會(huì)從輸入匹配中匹配到，這種方式最終給回答準(zhǔn)確率帶來了8%的提升，效果非?？捎^。

智能客服系統(tǒng)有一個(gè)主要目標(biāo)是提高人效，我們會(huì)將很多較復(fù)雜的咨詢服務(wù)做到聊天窗口中，讓用戶去自助完成，而不是像原來那樣用戶和人工客服溝通，人工客服去操作內(nèi)部各個(gè)系統(tǒng)以得到答案返回給用戶。這樣可以減輕我們客服人員的壓力，并能提升用戶體驗(yàn)。例如用戶需要徹底刪除自己發(fā)布的帖子，舊模式下必須讓客服人員去操作，新模式下，只要用戶在“幫幫”界面上問到了該問題，我們便會(huì)向用戶返回他的發(fā)布列表，他可以選擇某條貼子，直接點(diǎn)擊徹底刪除按鈕即可完成刪除。

“幫幫”是一個(gè)通用的智能客服平臺(tái)，需要對(duì)接58集團(tuán)內(nèi)多個(gè)業(yè)務(wù)方，為了提高接入效率，我們?cè)O(shè)計(jì)了一個(gè)通用的Web接入平臺(tái)。業(yè)務(wù)方注冊(cè)登錄接入平臺(tái)后，只需要簡(jiǎn)單配置機(jī)器人和導(dǎo)入知識(shí)庫即可獲得智能客服能力，例如配置機(jī)器人歡迎語、熱門問題、配色等，平臺(tái)會(huì)自動(dòng)生成一個(gè)前端頁面的鏈接，業(yè)務(wù)方可以嵌入到相關(guān)入口上。智能客服上線后，我們會(huì)將線上數(shù)據(jù)反饋給接入方，接入方可以再Web平臺(tái)上查看統(tǒng)計(jì)數(shù)據(jù)和明細(xì)數(shù)據(jù)。另外要強(qiáng)調(diào)的一點(diǎn)是，我們將知識(shí)庫的管理開放給接入方來管理，接入方可以導(dǎo)入和更新自己的問答知識(shí)庫，我們也會(huì)對(duì)問答數(shù)據(jù)做分類、聚類、主題抽取等操作，將相關(guān)中間結(jié)果提供給業(yè)務(wù)方，業(yè)務(wù)方基于此來更新知識(shí)庫。

“幫幫”已接入了五八集團(tuán)內(nèi)五八、趕集和安居客三大平臺(tái)的三十多個(gè)業(yè)務(wù)場(chǎng)景，每日可以解決數(shù)萬用戶的客服咨詢，此外，“幫幫”也被應(yīng)用于公司內(nèi)部的HR、行政和運(yùn)維系統(tǒng)之中，以提高內(nèi)部工作人員的辦公效率。經(jīng)過我們持續(xù)開展算法策略迭代，目前“幫幫”問答系統(tǒng)召回率達(dá)到了90%，準(zhǔn)確率達(dá)到了85%。

今天的分享就到這里，謝謝大家。

分享嘉賓

詹坤林，58集團(tuán)AI Lab負(fù)責(zé)人，算法高級(jí)架構(gòu)師，負(fù)責(zé)推動(dòng)AI技術(shù)在58生活服務(wù)行業(yè)的落地，為集團(tuán)打造全面AI能力。曾任騰訊高級(jí)工程師，負(fù)責(zé)騰訊微博/騰訊新聞推薦算法研發(fā)。