只聞其聲也能「看透」你，來自「聲音畫像師」的秘密

知識 04-22

你感到抑鬱嗎？會在開車時打瞌睡嗎？有被騙保經歷嗎？有心臟病隱患嗎？AI 或許能夠過傾聽你的聲音來解決這些問題。

人類的聲音中蘊藏著比我們想像中還要豐富的信息，你的年齡、身高、體重、精神、情緒、甚至情感、氣質、進取心、創造力……與此同時，聲音似乎比圖像更加安全可控。

基於 AI 演算法與聲音分析學的融合，「聲音畫像師」正在幫助醫院可以提早發現神疾病及身體疾病，讓呼叫中心進行個性化營銷，為公司篩選出更為合適的求職者……

作者 | John McCormick

編譯 | 張璽

日益強大的機器學習方法，使一切變得皆有可能。

AI 系統可以測量音調、節奏及其他語音特徵，並將其與存儲的語音模式，包括快樂、悲傷、瘋狂及其他情緒進行比較。

雖然聲音分析學已經發展了幾十年，但成本更低廉的計算力與新一代的 AI 工具，如谷歌的 TensorFlow，才使那些雄心勃勃的項目成為可能。

在情感 AI 或情感計算領域，該技術與計算機視覺結合後，功能將變得愈加強大。例如，車載語音系統可判斷駕駛員是否哈欠不斷，視覺系統則能判斷駕駛員是否在打瞌睡。

諮詢公司 Gartner 認為，情感 AI 甚至可能進入消費品市場，Gartner 預測，到 2022 年，10% 的個人設備（目前這一比例少於 1%）將具備情感 AI 功能，如監測個人精神狀態的可穿戴設備，和基於玩家情緒自動調整的視頻遊戲。

但在情感 AI 成為主流之前，必須先克服一個巨大的阻礙：人們的不適應情緒。Gartner 在去年發布的一份調查報告指出，來自美國和英國的 4000 多名受訪者中，有 52% 的人表示不希望 AI 分析自己的面部表情，63% 的人表示不希望 AI 為了解她/他們而經常「入侵」其工作與生活。

此外，消費者還特別關心自身隱私，約有 65% 的人堅信，AI 會侵犯其隱私。

Gartner 分析師 Annette Zimmermann 撰寫了關於情感 AI 的報告，她表示：「人們普遍不相信 AI。至於大家對 AI 的感受，我認為這是仁者見仁、智者見智的問題，但的確有許多理由令人生疑。」

Zimmermann 表示，系統都不完美，最佳系統的精確率也不超過 85%。

CMU（Carnegie Mellon University，美國卡耐基梅隆大學）語音學家 Rita Singh 說，「這不完全正確。而且我們也不知道系統何時才能變得精確。但是，快了。」

帶著上述防止誤解的說明，我們來了解下 AI 語音分析技術已經影響以及即將顛覆的領域。

01 醫學領域：疾病監控師

2017 年，根據美國國家精神衛生研究所的數據，2017 年，全美有五分之一的人（約 4660 萬）飽受精神疾病的困擾。據估計，接受治療的人僅占需要接受治療的人數的一半，而新興的語音技術可能使該問題更容易被發現。

2018 年底，從行為分析公司 Cogito 衍生出的 CompanionMx 公司發布了一款名為 Companion 的移動心理健康監測系統。該系統由美國國防高級研究計劃局、美國退伍軍人事務部及美國國家精神衛生研究所資助研發。

正接受抑鬱症、雙相情感障礙和其他疾病治療的患者，可通過 Companion 下載一個 APP，在智能手機上創建音頻日誌。系統要求患者定期描述個人感受，並將信息自動傳輸到 AI 模塊進行分析。

運用 Cogito 研發的情感 AI 技術，CompanionMX 可以分析患者的音頻及某些行為數據，以了解其情感、情緒或行為的變化。譬如，CompanionMX 通過監測智能手機活動，看患者是否減少與外界的聯繫。如果護理人員看到有問題的跡象，他們會主動聯繫患者。

美國國家精神衛生研究所資助了一項關於該 APP 的研究項目，自 2015 年 5 月至 2017 年 8 月。

「研究結果十分令人鼓舞。」項目聯合首席研究員、布萊根婦女醫院 (Brigham and Women"s Hospital) 與哈佛醫學院數字行為健康與信息學研究項目負責人 David Ahern 說。

Ahern 表示，這款 APP 可以作為護理人員的早期監測系統。因為多數需要治療的患者直到病情嚴重才會尋求治療，所以，此款 APP 是一個非常必要的工具。

根據疾病控制和預防中心 (Centers for disease Control and Prevention) 的數據，全美每年有 60 多萬人死於心臟病。研究人員正嘗試使用語音 AI 發現警告信號，幫助人們快速獲得治療。

梅奧診所進行了一項為期兩年的研究項目（2017 年 2 月結束），旨在驗證語音分析是否能夠檢測出冠心病。梅奧醫學中心心血管研究中心主任 Amir Lerman 解釋說，每個人的聲音頻率不盡相同，它們可以被分析。

梅奧與語音 AI 公司 Beyond Verbal 合作，採用機器學習識別冠心病的語音生物特徵判定標識，而後，在計划進行血管造影的患者人群中展開測試。

所有研究參與者都在手機 APP 上錄製了自己的聲音，而後，Beyond Verbal 對這些聲音進行了分析。研究發現：在血管造影上有冠心病病症的患者也有該疾病的語音生物特徵判定標識。

Lerman 博士表示，梅奧希望在不久的將來部署這項技術。「我認為這是一個令人驚嘆的新領域，為我們如何治療患者打開了新的大門。」他說。

02 智能駕駛：評估駕駛員精神狀態

根據國家公路交通安全管理局 2017 年 10 月的統計數據，在 2015 年，有 800 多名美國人因為疲勞駕駛而喪生，超過 3 萬人在司機疲勞駕駛導致的撞車事故中受傷。

現如今，許多大型汽車公司與 AI 公司正在設計一種 AI，運用語音分析與面部識別技術評估駕駛員的警覺性及情緒狀態。

你能看出我生氣了嗎？

聲譜圖可用於分析說話人的聲音特徵。諧波（深色平行線）表示說話人音調和語調的變化。

高情緒活動

線條的劇烈運動反應了語調的快速變化。在較高頻率下，線條顏色越深，其代表語音質量越高。

低情緒活動

聲音更柔和、平靜，諧波的強度要小的多，特別是在高頻率下。

請輸入圖片描述

來源：Cogito

去年的消費電子展（CES）上，豐田發布了一款概念車 Concept-i，它可以識別面部表情及語音聲調。該車在轉向柱上安裝了一個紅外攝像頭，在儀錶盤上安裝了一對 3D 感測器，還搭載了語音識別與對話系統。

系統協同工作，以評估駕駛員的狀態。例如，頭部下垂、彎腰駝背的姿勢、睏倦或低沉的聲音（或者打呵欠的聲音）都表示駕駛人員處於疲憊狀態。如果系統注意到駕駛人的疲憊狀態，會迅速做出反應。

例如，車載語音助手可以與駕駛員進行對話，提高其警覺級別。並且，隨著時間點的推移，對話系統會知道哪些話題最可能吸引駕駛員的注意。

去年 9 月，兩家 AI 公司──Affectiva 與 Nuance Communications 表示，他們將攜手合作，把情感智能融入 Nuance 的對話型汽車助手中，理解並回應駕駛員需求。

Nuance 聲稱，目前在奧迪、寶馬、戴姆勒、菲亞特、福特、通用、現代和豐田等 2 億多輛汽車上都可以找到這款名為 Dragon Drive 的對話型汽車助手。

該項由 lovetiva 和 Nuance 公司研發的新技術將使用攝像頭來檢測面部表情（如微笑），採用麥克風識別聲音情緒（如憤怒）。他們的演算法採用深度學習、計算機視覺與語音技術，來識別情緒和疲憊的特徵指標。

如果駕駛人員已顯露疲態，語音助手可通過一些簡單的話語提示駕駛員，如「你看起來很疲倦，你想停車休息一下嗎？」

目前，上述技術仍處於研發階段，但是據 Nuance CEO Joe Petro 透露，這些技術或將於幾年內正式投入使用。

03 智能營銷：個性化的呼叫中心

房地產諮詢服務商 Site Selection Group 的數據顯示，儘管許多公司將客服業務轉移到了海外，但全美仍有 7400 座呼叫中心僱傭了 300 多萬名員工。

包括哈門那（Humana，美國大的醫療保險公司）、美國大都會人壽保險公司（MetLife）在內的許多公司，已經部署 Cogito 的 AI 軟體，以此來保持保險經紀人的敏銳度及客戶滿意度。

該系統分析保險經紀人與客戶之間的對話，實時跟蹤其交互方式。

當呼叫中心接到電話後，會將其流處理至 Cogito 的系統，該系統可評估成百上千個數據點，包括語速、音調等。如果保險經紀人在回答問題前停頓，那可能表明其分心了。如果顧客提高嗓門，這可能是一種沮喪的跡象。

當 Cogito 的系統檢測到呼叫過程中可能出現問題時，它將以圖標或簡訊息的形式推送通知到員工的屏幕上，幫助保險經紀人識別、了解客戶的情緒。

Cogito CEO Joshua Feast 表示，該系統的主要目標是訓練保險經紀人，讓她/他們更自信、更投入，更有同情心，「學會與各式各樣的客戶交談是一項真正的技能，並非與生俱來，必須後天習得。」

Cogito 表示，其呼叫中心產品的準確性因各類使用場景（如客戶服務中心、銷售部或理賠管理部）和在各領域中的監控行為而異。

總體上，Cogito 稱，該產品的平均準確率為 82%。該公司表示，他們通過人工評審呼叫效果、客戶反饋及機器學習分析來驗證結果。

大都會保險全球客戶解決方案負責人 Kristine Poznanski 表示，大約 15 個月前，大都會在其客戶服務中心部署了 Cogito 的系統。

該系統除了為客戶服務代表提供呼叫即時反饋及實時指導，還能向經理展示呼叫實時狀態。呼叫中心經理可通過數據監控正在進行的呼叫，或者在呼叫結束後與保險經紀人一起複盤呼叫過程。

Poznanski 說道，自從部署該系統以來，公司可追蹤客戶情緒以評估其接受推薦品牌的可能性，而呼叫中心的首次呼叫解決率和凈推薦值也增加了 10%。

04 人事招聘：尋找合適的求職者

根據人事公司 Robert Half International 的數據，超過八成以上的企業老闆和經理人表示他們碰到過招錯人的情況。通常，新員工難以適應企業文化是問題關鍵所在。

Voicesense 是一款基於語音的 AI 系統，可改善篩選求職者的效率。

Voicesense CEO Yoav Degani 表示，用人方可將視頻、音頻面試資料上傳至 Voicesense 的雲端，該公司的系統會分析 200 多個語音參數，包括語調和節奏等。該系統創建了一個囊括求職者氣質、進取心、可靠性、創造力等特徵的行為模型。

用人方可以根據系統評分判斷求職者是否適合這份工作。Degani 說道，例如，一個組織希望聘用一名銷售員，系統就會將一個在對話中表現極其主動且參與度極高的人列為可能的匹配對象。但 Degani 也承認，該公司的模型提供的僅僅是可能性，而非確定性。

Degani 表示，在隱私保護方面，Voicesense 不會存儲任何數據，並且其工具只分析語音模式，不分析具體的對話內容。AdventHealth Orlando 是 AdventHealth 醫療系統的一部分，它正採用另外一套分析系統 HireVue 輔助招聘工作。該公司在佛羅里達州擁有 8 家醫院，員工數超過 25000 人，每年招聘 8000 人。AdventHealth 的人力資源總監 Karla Muniz 表示，上述數據意味著要審核 35000 多份申請。

每一位符合基本工作要求的求職者都會被邀請參加 HireVue 線上面試，系統演算法會評價求職者的面試應答情況，如語音和片語，並結合視覺分析，快速檢測面部表情（即微表情）。

而後，評估信息會與每項工作相對應的數據點進行匹配，得分最高的求職者會被邀請參加面試。

Muniz 說，從採用 HireVue 以來，AdventHealth 已將招聘一個人的周期從 42 天降低到 36 天。

05 保險業：反欺詐的第一步

根據行業貿易集團保險信息研究所發布的數據，每年財產險和意外傷害險的欺詐金額超過 300 億美元。

安聯集團（Allianz group）子公司 Allianz-SP Slovakia（保險公司）運用 Nemesysco 的語音壓力分析技術處理索賠。該技術可獲取針對理賠員提出一系列流程問題時人們的反應情況。根據該公司的說法，系統會尋找標識組合，如說話時的短暫停頓（這可能代表發言人正在提供虛假信息）。

Allianz-SP Slovakia 控制和特殊活動負責人 Jaroslava Zemanová表示，「我們的目標是在沒有任何問題的情況下立即賠付，並防止任何類似欺詐的誇大索賠。」

Allianz-SP Slovakia 指出，語音分析並不能證明存在任何不當行為，這只是發現可能欺詐行為的第一步。公司的調查團隊需要額外的證據才能拒絕索賠。儘管如此，公司表示，該系統幫他們節省了時間和金錢。

06 刑事偵查：模擬還原罪犯

在某些情況下，語音分析不僅可以提供關於人們健康或情感狀態的信息，還能提供關於其外貌的信息。

2014 年，美國海岸警衛隊試圖追蹤一名發出 28 次虛假求救信號的人，對這些電話的緊急反響應費用估計為 50 萬美元。

海岸警衛隊調查服務中心切薩皮克區域負責人 Marty Martinez 說，這不僅僅是經濟上的損失，「它佔用了那些真正陷入困境的人的資源。」

除了緊急呼叫錄音之外，海岸警衛隊調查員基本沒有其他線索。然後，她/他們去見了 CMU 的 Singh，Singh 一直致力於計算機語音識別研究。

Singh 僅憑錄音就能夠確認惡作劇報警人年齡、身高和體重。Martinez 表示，案件目前正在進行中。

Martinez 補充道，該項技術已應用於十多起案件，「它幫助我們縮小調查範圍，聚焦調查工作。」

原理是什麼？Singh 解釋道，人類聲音所包含的信息與其身體、生理、人口統計學、醫學、環境等其他特徵有關。研究人員正在發現這些微特徵，並利用它們進行分析。

Singh 說，「我稱之為聲音畫像學。」

Singh 承認，該項技術並不完美，譬如無法精確預測年齡：只能在三年範圍內預測。但是技術研究可提高其精度，並將其納入新領域。