產品經理思維：談AI 時代的智能服務管理

機器之心專欄

作者：Phoenix 追一科技資深產品經理

企業服務智能化管理，都面臨哪些痛點？針對這些痛點，市場上都有哪些解決之道，各自優劣區別如何？對你的企業來說，什麼才是最優求解方案？在 AI 的產品開發應用上，有哪些誤區和經驗，又如何實現敏捷開發？本文為追一的實踐和探索的經驗之談。

智能管理的四個階段

提到智能管理，可能大家首先想到的就是智能質檢，這類應用與客服機器人有著本質的區別。前者是 AI 幫助人做數據挖掘、人機協同，後者是機器完全替代人來完成封閉場景的對話交互。

我們將智能管理的發展劃分為 4 個階段：

第一階段：基於傳統專家系統的智能質檢。

通過關鍵詞模版、正則表達式對客戶和坐席的會話日誌進行分析，生成文本質檢報告；在此基礎上前置一層 ASR，可以為通話錄音生成語音質檢報告。但這類實現方式在準確率、泛化能力和運營有效性上都存在明顯的瓶頸。

第二階段：基於深度學習（語音 語義）的智能質檢。

有些客戶找到我們說想要更換質檢系統，原因是老系統要維護關鍵詞模版，效率低下，還容易出現漏命中、誤命中的情況。這些痛點恰恰可以靠深度學習來彌補，比如用 RNN 實現語義理解，用 CNN、RNN 實現聲學和文本的情感分析，用 CNN、Bi-LSTM 實現 VAD（語音活動檢測）。監督學習依賴標註數據，初始化階段需要一定的人力投入。但長期來看 AI 訓練師的投入會逐步遞減，整體的 ROI 遠超專家系統。

第三階段：利用自學習的運維工具，大幅提升質檢引擎的運營有效性。

基於深度學習的 B 端產品能否取得成功，不僅取決於神經網路等底層技術，很大程度上取決於工程化、產品化和運營的成熟度。模型效果可以決定產品的下限，而運營有效性、用戶體驗、交付和售後服務則決定了產品的上限。

客戶拿到產品後，大量的訓練數據需要人工標註，規則策略需要人工編寫，Badcase 需要人工核查，效果調優需要人工操作。高門檻、高頻的人工操作，已經成為 B 端 AI 產品的最核心痛點。為了解決這一痛點，我們做了兩件事：

1、提供智能化運維工具包。

例如：數據標註、深度學習訓練平台、語義快速教育、新語義發現、語義智能消歧以及模型調試等工具，盡最大可能減少維護的難度。

2、授人以魚不如授人以漁。

將運營過程中的經驗、方法論沉澱成《智能管理運營手冊》，詳細描述智能冷啟和持續運營的 5 個階段。它可以作為指導教材，幫助 AI 訓練師有坡度、有溫度地掌握工具，幫助企業牢牢守護住運維 ROI。

第四階段：事前 事中 事後的閉環智能管理解決方案。

隨著企業對風控、質控的要求越來越高，事後質檢很難滿足時效性的需求。所以培訓機器人和坐席助手兩種產品形態就應運而生，它們分別補全了事前培訓和事中人機協同的環節，配合智能質檢覆蓋了整個坐席服務的周期。

我們回顧一下智能管理的四個發展階段：從專家系統到深度學習，從窮舉式運維到智能化運維，從事後質檢到全周期服務管理，共發生了三次質變。

閉環化的智能管理產品

目前在智能管理方向上，絕大多數廠商處於第一階段，第二階段的廠商只有幾家。追一科技能提供三款閉環產品 基於深度學習的語義理解 智能化運維工具包，並支持標準化交付。

下面分別介紹智能管理的三款產品：

1、See：智能質檢

See 的定位是對坐席與客戶的通話錄音、文本會話進行質檢分析。其模塊包含質檢引擎、分角色的工作台（人工抽檢、客服申訴、複審、訓練師）和數據統計等功能。質檢引擎包含 12 個維度的分析運算元，幫助質檢員實現更加精準的質控。

See 的分析引擎支持十幾種運算元，除了關鍵詞、正則、RNN、情緒等文本運算元以外，還支持語音情緒、語速、搶話、靜音等聲學運算元。初始化階段會有一定的 AI 訓練師投入，後期業務方每周只需要投入少量時間即可完成調優工作。

2、Pal：坐席助手

Pal 的定位是坐席的智能助手，在電話服務過程中為客服坐席提供人機協同能力。包括合規管理、流程導航、用戶畫像、話術推薦、智能表單和一鍵直達等功能，幫助提升業務效率、降低上崗門檻，提升營銷轉化。

客服坐席在通話過程中會伴隨大量業務操作，比如工單系統、CRM。好的產品是用完即走的，Pal 如何以貼心助手的角色融入到場景中呢？我們為它設計了三種模式：隱藏模式、簡單模式和完整模式。只有當坐席需要的時候，各項功能才會冒出來與坐席交互，多數情況下在後台就偷偷完成分析過程。

3、Learn：智能培訓

Learn 的定位是對新手或者有短板的坐席進行場景模擬練習。客服行業人員流動率非常高，傳統的老帶新培訓模式效率較低，老員工的耐心有限，但機器人是不知疲倦的。

Learn 分為學、練、考、評四個模塊：

1）、學習：坐席通過教學視頻、PPT 等素材完成學習輸入的過程。

2）、練習：坐席與機器人模擬接聽、外呼等場景，反覆模擬練習，直到掌握業務。

3）、考試：場景交互過程比練習模式增加了難度，去掉了提示指引。除了場景交互考題，也有選擇、判斷等傳統題型。

4）、評分：自動化閱卷生成評分，將多維考評項合成能力臉譜，為學員指明提升路徑。

以上就是三款產品的介紹，整套智能管理解決方案是一套閉環的服務。Learn 在服務前幫助學員達到上崗門檻；Pal 輔助坐席完成服務過程，將語音流、實時分析結果給到 See 做進一步的挖掘；See 輸出坐席畫像、將優質案例和反面案例給到 Learn 做為課件和題目的參考素材，並根據坐席能力短板推薦課程和考題。三款產品貫穿服務的全流程，實現了數據的高效復用。

做產品創新的公司，需要主動承擔起定義標準、解釋標準和推廣標準的責任。我們為智能管理制定了一套驗收標準，包含功能模塊、效果指標、用戶體驗等三個方面。項目實施的過程中，客戶會收到詳細的自測驗收報告。

挑戰與思考

在做產品的過程中，我們也遇到過一些挑戰和思考：

（一）智能分析引擎應該依賴深度學習還是專家系統？

先來看下 RNN 和關鍵詞主要有哪些差異：

1、匹配模式不同

關鍵詞是精準匹配，優勢是可解釋性，配置後立即生效。RNN 有更強的泛化能力，局限是不可解釋，無法做可控的調優（AI 訓練師可以憑藉經驗做一定的優化）。舉個例子，當 ASR 轉譯出錯的時候，用關鍵詞匹配就很難正確命中。

2、數據來源和運維效率不同

關鍵詞和正則更依賴用戶對業務的理解，需要人工梳理出關鍵詞；而 RNN 的訓練數據主要來源於生產系統的會話日誌，後期的維護效率也比關鍵詞高 1.5 到 2 倍。

3、適用的語境不同

開頭語、結束語、禮貌用語、禁用語就很適合用專家系統，例如「你好，很高興為您服務」，這種講話的定式很容易用正則來窮舉。但像【客戶表達不滿】這種相對發散的語義，敘述方式靈活多變，更適用 RNN 來匹配。

為了分析 RNN 和關鍵詞的取捨問題，我們拿實際落地的項目做了些研究。在確保質檢引擎準確率≥90% 的前提下，尋找效果最優的配置邏輯，不刻意偏重關鍵詞或 RNN。結果某基金公司有 80% 的質檢規則使用 RNN 關鍵詞，10% 的規則純用關鍵詞，10% 的規則用聲學運算元；某新能源車企的 33 條質檢規則都同時使用 RNN 和關鍵詞；其他項目大多數規則也是兩種運算元共存。

所以結論是：關鍵詞決定了質檢水平下限，RNN 決定了質檢水平的上限。過度依賴其中的一種，都是產品不夠成熟的表現，二者互相結合才能做出好的效果。

除了運算元的選取，影響質檢引擎效果的因素還有很多，比如分類體系、語料歧義、數據量、數據粒度、話者分離等。在講智能管理髮展階段的時候，我提到了運營有效性和方法論。通過《智能管理運營手冊》和行業數據積累，可以幫助客戶完成高效的智能冷啟和持續運營。

（二）如何做好語音交互的場景化？

B 端產品最終也是給人用的，我們在打造智能管理的過程中，很多場景體驗都按照 C 端的標準。

語音類產品的場景化有三個原則：

1、單場景的極致閉環：例如 Pal 坐席助手的 5 個模塊有相互獨立的觸發條件，流程上相互照應，交互體驗和諧統一。

2、跨場景的無縫銜接：例如智能管理將實時、事前和事後的三個場景銜接貫通，共用分析引擎和訓練數據；質檢分析結果迴流到培訓系統中，形成服務閉環。

3、人性化的交互體驗：例如機器人的 TTS 播報略顯生硬，如果用錄音來代替，交互的感受就更有溫度。同時也減少調用 TTS 服務的時間，還能砍掉 TTS 的成本；在 VUI 邏輯中，我們加入了容錯輪次，給坐席一次重說的機會，避免了學員的尷尬。

在技術選型上，也需要忠於用戶體驗。對於偏流程化、目的性強的語音場景，業界一般用任務型來實現。但培訓機器人和智能外呼的角色完全對調，我們反覆推敲了二者的差異性，最終決定只引入任務型的設計思想，沒有拿外呼的 NLP 方案來生搬硬套。

（三）客戶對 AI 產品的過高期望和誤解

1、客戶應該對 AI 抱有怎樣的期望？

有人提出要用機器代替人去扛營銷轉化率，其實營銷是一門體現情商和柔性技巧的學問，連人類都未必能扛得住營銷轉化率。在營銷場景中，機器輔助人的可落地性遠遠強於機器人代替人。如果一定要用 Bot 直接做營銷，可以盡量避免過於發散的場景，截取一段相對收斂的流程用任務型來實現。

就連大家津津樂道的 Alpha Go，也是挑選了收斂的圍棋場景，在既定規則內最大化發揮出計算性能的優勢。深度學習的根基是統計學，神經網路的抽象層級還比較淺。相比於人類，AI 不具備背景常識，更沒有自我意識和感情，不要苛求它去做特別深刻的邏輯推理。

2、AI 技術是場景落地的主要瓶頸么？

技術實力的確是落地的核心基礎，但發展到一定規模後，產品運營、後端資源、服務能力會成為商業化成功的關鍵。即便是擁有超強演算法能力的 AI 巨頭，也沒有精力做好每個細分領域的產品。各種演算法模型從實驗階段到工程化、產品化、規模化交付再到口碑運營，中間有太長的路要走。

3、如何快速驗證一款深度學習產品的水平？

任何廠商都可以對外宣稱自己擁有某項 AI 技術，但產品的落地依託於真實的投入與沉澱。很多客戶都沒意識到這一點，也很難分辨出廠商之間的真正差距在哪裡。其實到底有沒有，拉出來遛一遛就知道了。

分享個小技巧：讓廠商實際操作數據標註、模型訓練和模型調用的流程，證明自己有基於深度學習的智能運維工具。然後看這套工具是否跟產品系統融合統一，給到用戶的交互界面是否友好。如果這些都滿足，就說明產品相對成熟，技術也差不到哪裡去。

4、深度學習 or專家系統？

現在有很多 AI 廠商過度渲染深度學習的優勢，也有更多專家系統的廠商攻擊深度學習冷啟動周期的弊端，其實這些都是有局限性的無意義對比。比如智能管理場景的最優方案，就是通過專家系統 深度學習的多維運算元疊加來實現。並不絕對依賴於某一種技術，同時也能確保運維的效率。鼓吹其中的任何一種，都是產品不成熟的表現。

5、一些訓練數據或模型能否復用？

關鍵看場景的重合度，比如智能管理的 3 款產品之間有部分模型可以復用，而外呼機器人跟智能質檢的模型就無法強行復用。客戶想要復用模型，其本質訴求無非就是降本升效。我們假設模型真的可以復用，也就只提升了 1 倍的運維效率，依然無法應對業務迭代的情況，而我們提供的【新語義發現】 【快速教育】工具卻可以將運維效率提升十倍以上。

6、會話輪數是不是越多越好？

會話輪數從來都不會成為考核 Bot 交互能力的指標。關鍵是多輪會話的目的是要完成一項清晰的任務，還是完成一通閑聊？如果是為了完成任務，就要將場景儘可能收斂，交互路徑儘可能縮短。聊的越久，越容易出錯。

（四）AI 時代團隊如何敏捷進化？

最後是一些關於敏捷的思考。我們團隊是公司的一個產品研發小組，在 18 年 3 月上線 See，6 月上線 Pal，9 月上線 Learn，12 月份做出其他創新型產品，奔跑速度已經不弱於互聯網公司。

快速裂變的過程中，蒙眼狂奔一定會掉鏈子，關鍵看如何堅守克制與取捨。我國的 toB 大環境下很難避開定製化，如何尋找標準化與定製化的平衡點呢？

這非常考驗產品團隊的基本功，我經常拿 2 個問題來挑戰組員：

1、給產品做加法時，能解決人無我有的問題，還是人有我優的問題？

2、最終能獲勝的憑什麼是你？需要講清楚背後的隱性邏輯。

做產品必須要敢於接受直逼靈魂的拷問。這是個不缺腦暴的時代，模糊、發散的 idea 並不值錢。只有當我們對核心細節做到入微操控，推演出金字塔尖的東西時，才可能做出核心競爭力。

同時，敏捷進化只靠內部努力還遠遠不夠，更需要群智效應和創造力賦能。群智效應是指業務方、廠商一起貢獻智慧。創造力賦能是指價值傳遞過程中，給到客戶的不僅是工具本身，更包含駕馭工具、探索新事物的能力。

目前 AI 行業競爭非常激烈，各公司的保密工作都很到位。外界對 AI 公司有強烈的好奇心，希望能得到業內的更多分享。AI 公司也渴望通過更多合作來獲取數據、打磨場景，提升業務縱深能力和規模化落地能力。

產品和業務本質上是共生關係，脫離業務的 AI 產品就是沒有靈魂的軀殼，所以我們一直都在嘗試向客戶與合作夥伴傳遞產品理念。還是希望業務方和 AI 公司都持有更加開放的心態，如果大家能坐下來深入探討，就一定能挖掘出有價值的解決方案。

本文為機器之心專欄，轉載請聯繫本公眾號獲得授權。

------------------------------------------------

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！