CVPR 2019 論文解讀：人大 ML 研究組提出新的視頻測謊演算法 | CVPR 2019

雷鋒網AI 科技評論按：計算機視覺頂會 CVPR 2019 即將於 6 月在美國長灘召開，今年有超過 5165 篇的大會論文投稿，最終錄取 1299 篇。隨著會議臨近，無論是學術界還是業界都迎來了一波 CVPR 2019 入選論文解讀熱潮。

今年的 CVPR 2019，盧志武博士領導的中國人民大學信息學院機器學習（ML）組共有 3 篇論文被錄用，論文主題涵蓋視頻識別、小樣本學習、視覺對話等熱點問題，本文中要解讀的論文便是其中關於視頻識別的一篇：《面向視頻測謊的聚焦人臉的跨幀雙流網路》「Face-Focused Cross-Stream Network for Deception Detection in Videos」。

該論文提出了一種新穎的視頻測謊演算法，這種演算法只需要少量的視頻數據進行訓練，並在訓練後對短視頻進行測試。實驗結果顯示，該測謊演算法的準確率高達 90% 以上，同時在結合語音和 word2vec 信息後，這一準確率可以進一步提高至 95% 以上。

視頻測謊，即是檢測視頻中的人物對象是否說謊。目前，視頻測謊問題還面臨著兩大挑戰：(1) 如何有效地融合面部和動作信息來判斷視頻中人物對象是否說謊；(2) 真實的視頻數據集規模很小，如何將深度學習應用在數量有限的訓練數據上。為了解決這兩個問題，本文提出了 face-focused cross-stream network（FFCSN）模型（如圖 1）。

圖 1：視頻測謊深度學習模型 FFCSN

不同於常見的雙流網路模型（two-stream network）利用空間流捕捉視頻幀整體靜態空間特徵以及利用時間流捕捉視頻光流動態特徵的做法，FFCSN 模型考慮將人臉檢測用於空間流來捕捉面部特徵，並在整個網路中利用相關學習來融合時空特徵進行聯合訓練。

同時，論文作者結合心理學知識（即說謊者由於緊張, 其面部表情和身體姿勢往往會不一致），發現雙流法中的圖像特徵和光流特徵逐幀對應匹配並不是視頻測謊的最優解決方案。因此，作者提出了跨幀的雙流網路 (cross-stream network)——這種網路可以捕捉面部表情和身體姿勢不一致的關係。利用這種網路，視頻中的每一個面部表情幀都隔一定間距匹配五個光流幀，並讓模型自動學出這五幀之間的權重關係。此外，論文作者還將時間流 ResNet 的 block3 使用全局池化層將其變為向量，使得模型經過兩組全連接和一個 softmax 層後，能夠學習到五個動作幀之間的權重關係。通過學習這個模塊，模型具有了對不同的動作幀賦予不同權重的能力。

跨幀匹配模型的具體網路結構如下:

圖 2：cross-stream network

具體來說，該方法將每個視頻分成 K 個片段

，對於每一個片段，隨機抽樣一幀表情幀

和五個動作幀

（見圖一橙色框處）。這樣，對於每一個片段，可以得到如下數據：

其中

代表這五個動作幀之間的權重，

的總和為 1。令

代表模型對

的分類概率以及

代表對一個視頻所有片段的平均分類概率，那麼損失函數定義如下:

此外，FFCSN 模型還引入了元學習（meta learning）和對抗學習（adversarial learning）來解決訓練數據量小的問題。元學習使用了 relation 的思想, 通過學習數據之間的關係來提高模型的泛化能力，而對抗學習在訓練時使用生成的「假」特徵向量攻擊模型分類器來達到擴充數據量的目的。

圖 3：relation 結構圖示

元學習模塊的網路結構具體如圖 3 所示。容易看出，模型從每個 mini-batch 中選出了兩對六元組，每一對六元組中有兩個樣本來自同一類別，另外四個樣本則來自不同類別。取相同類別的兩個樣本其中的一個作為 anchor，讓它與另外五個配對組成五對數據，因此這樣得出的結構就有一對類別相同的樣本和四對類別不同的樣本，接著在訓練後，再由卷積和全連接層後對這五對數據進行分類，使模型能夠選出類別相同的一對。結果證明，這種度量學習的思想對於小數據集上的增益十分明顯。

對抗學習模塊見圖 1 紫色框的部分，此處是用 G（Generator）生成虛擬的 feature vector，之後用 D（Discriminator）進行判別以增強模型的魯棒性，從而解決小樣本的問題。損失函數和 GAN 類似，如下式所示：

由於模型由前面介紹的三個子模塊組成，總的損失函數即為這三部分的加和。論文作者將這三部分聯合訓練，取得了不錯的實驗結果。

FFCSN 模型在公開的真實庭審視頻數據集上取得了當前最好的結果，驗證了該模型在視頻測謊中非常有效, 實驗結果也說明了說謊者在表情和動作上很容易出現不一致的問題。如圖 4，說謊者在面部表情和第二幀光流匹配時有明顯的下降，這種波動為模型判斷說謊提供了依據。

圖 4 說謊者在表情和動作上的不同步

為了驗證模型的不同模塊均是有效的，論文作者進行多組消融實驗。從表 1 可以看出，與只使用 face 或者只使用 motion 相比，同時利用面部和動作兩個信息的模型所取得的效果有較大的提升。而在加入了 cross-stream 的匹配 (CL) 之後, 模型精度有了進一步的提升。此外，為了克服數據量過小的問題,，作者在模型中加入了元學習 (ML) 和對抗學習 (AL) 模塊, 這些都對提高模型的魯棒性有很大的幫助。

表 1：模型不同模塊效果

為了驗證模型的擴展性，作者也在表情識別數據集上做了實驗,，並在 youtube-8 數據集上取得了目前最高的精度。youtube-8 dataset 包括 1101 個視頻，分為 8 種表情。從表 2 的實驗結果可知，雖然作者只使用了 visual 單模態，但仍取得了準確率比其他使用更多模態 (語音和屬性) 的方法高 5% 的好成績。

表 2：微表情識別結果

中國人民大學信息學院機器學習（ML）組由盧志武博士，以及 20 名博士生與碩士生組成，隸屬於文繼榮教授的大數據分析團隊。目前，人大 ML 組已經在 TPAMI、IJCV、NIPS、CVPR 等國際頂級期刊/會議上發表 40 余篇論文，主持了 NSFC、KJW 等多個國家科研項目，還曾獲人工智慧國際權威評測 ImageNet 2015 視頻檢測任務亞軍。

參考文獻：

M. Ding, A. Zhao, Z. Lu, T. Xiang, and J.-R. Wen, Face-Focused Cross-Stream Network for Deception Detection in Videos, CVPR 2019

論文下載網址：https://arxiv.org/abs/1812.04429

特別鳴謝盧志武博士為雷鋒網 AI 科技評論提供相關資料。雷鋒網

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！