警察必備工具！用空間融合卷積神經網路鑒別偽裝的「壞蛋」

GIF/1.7M

原文來源：arxiv

「機器人圈」編譯：嗯~阿童木呀、多啦A亮

劍橋大學、印度國家技術學院近日聯合發布了一篇論文，名為《利用空間融合卷積神經網路通過面部關鍵點進行偽裝人臉識別Disguised Face Identification (DFI) with Facial KeyPoints using Spatial Fusion Convolutional Network》，該論文利用空間融合卷積神經網路為刑偵過程的人臉識別提供了有力的支持，我們來一窺究竟。

偽裝人臉識別（DFI）是一個極具挑戰性的問題，因為使用不同的偽裝便可以引入大量的不同變體。在本論文中將介紹一種深度學習框架，它首先檢測14個面部關鍵點，然後利用它們進行偽裝人臉識別。由於深度學習架構的訓練依賴於大型的帶注釋數據集，因此在這裡我們引入了兩個帶注釋的面部關鍵點數據集。針對每個關鍵點，提出了面部關鍵點檢測框架的有效性。通過與其他深度網路的比較，也間接地證明了關鍵點檢測框架的優越性。同時，與最先進的面部偽裝分類方法相比，分類性能的有效性也得到了體現。

人臉識別是一個重要且非常具有挑戰性的問題。因為通過諸如戴假髮，改變髮型或發色，佩戴眼鏡，刮掉或長出鬍子等，這些面部的變化可以顯著地掩飾身份。Righi等人得出結論是，人臉識別性能的下降是由於諸如衣服和髮型等有意的面部改變而造成的，比如假髮和眼鏡。為了識別面部，需要使用面部關鍵點來分析面部的形狀。在過去，針對這個問題只做了幾次簡單的嘗試。Tejas等人提出了局部特徵描述符來識別偽裝的面部補丁，並使用該信息來改善人臉識別性能。辛格等人使用基於紋理的特徵來對偽裝的臉部進行分類。最近，面部關鍵點在面部表情分類、人臉對比、視頻人臉追蹤等應用程序中的應用收到了廣泛歡迎。在過去，為了達到這一目標，已經有無數的嘗試，而現如今已經縮小到兩種主要的最先進方法。第一類方法使用特徵提取演算法，如Gabor，具有基於紋理和基於形狀的特徵，可以檢測不同的面部關鍵點。第二類方法利用概率圖形模型來捕獲像素和特徵之間的關係，以檢測面部關鍵點。深度網路在不同計算機視覺任務中的優越性能促使了大家使用深度網路進行面部關鍵點檢測。Sun等人定義了一個捕獲全局高級特徵的三層架構，然後細化初始化以定位關鍵點的位置。Haavisto等人使用了預訓練的深度信念網路，其在周圍前饋神經網路中具有高斯線性輸出層，以檢測面部關鍵點。對於這種應用程序來說，深度神經網路的使用是非常具有挑戰性的，因為訓練深度網路所需的帶注釋訓練數據的數量是不足以進行的（小的：AR和Yale面部資料庫），從而迫使設計者使用遷移學習。遷移學習通常來說表現是很好的，但由於訓練數據的數量可能不足以微調預訓練的深度網路，因此性能可能會有所降低。

圖1：左圖:說明了用於引入數據集的帶有注釋的14個面部關鍵點。臉部關鍵點描述如下：眼睛區域（青色）：P1-左眉外角，P2-左眉內角，P3-右眉內角，P4-右眉外角，P5-左眼外角，P6-左眼中心，P7-左眼內角，P8-右眼內角，P9-右眼中心，P10-右眼外角; 鼻子區域（黃色）：P11鼻子; 唇部區域（綠色）P12-唇部左角，P13-唇部中心，P14-唇部右角。右圖沒有顯示關鍵點。

圖2：該圖顯示了與簡單和複雜面部偽裝（FG）數據集不同偽裝的樣本圖像。從圖像中可以看出，複雜背景數據集中的樣本與簡單數據集相反，具有相對複雜的背景。

本文介紹了面部關鍵點檢測框架，用於偽裝人臉識別。框架首先使用深度卷積網路來檢測14個面部關鍵點，如圖1所示，被認為是人臉識別的必要條件。然後將檢測到的點連接以形成星形網狀結構（圖3）。然後利用所提出的分類框架對星網結構中連接點之間的方向進行人臉識別。本文還介紹了兩個注釋的面部偽裝數據集，以改進深度卷積網路的訓練，因為它們依賴於大型訓練數據集。

圖3：關鍵點檢測流水線：圖解顯示所有p1-p14關鍵點生成的空間融合卷積網路熱圖的位置。圖中還顯示了通過組合關鍵點形成的網狀結構。上面的圖中也顯示了選定的卷積層激活所有8個轉換層網路的輸入圖像。

本文的主要貢獻如下：

?偽裝人臉識別（DFI）框架：提出的框架使用空間融合深度卷積網路從面部提取14個關鍵點，被認為是描述面部結構的關鍵。提取的點被連接以形成星形網路結構（圖3）。所提出的分類框架使用連接點的方向進行人臉識別。

?簡單和複雜的人臉偽裝數據集：用於面部關鍵點檢測的深度卷積網路的訓練需要大量的數據。然而，這些數據集不可用（小： AR人臉資料庫和耶魯人臉資料庫），因為研究人員以來遷移學習來檢測面部關鍵點。遷移學習往往表現良好，但如果數據不足以微調預先訓練的網路，則可能表現不佳。為了避免上述問題，我們提出了兩個簡單而複雜的人臉偽裝（FG）數據集，將來可能被研究人員用於訓練人臉關鍵點檢測的深度網路。

所提出的框架用於對引入的數據集執行偽裝人臉識別。為兩個數據集的每個關鍵點提供平均鍵點檢測精度。此外，還對所提出的管道與其他關鍵點檢測方法進行了廣泛的比較。最後，與最先進的人臉偽裝分類方法相比，分析流程的有效性也得到了體現。

本文提出了偽裝人臉識別（DFI）框架，首先檢測面部關鍵點，然後使用它們進行人臉識別。 該框架在簡單而複雜的兩個人臉偽裝（FG）數據集上進行了評估。該框架表現優於關鍵點檢測和人臉偽裝分類的最先進的方法。在引入的數據集中偽裝的大量圖像將改善深入學習網路的訓練，避免了執行遷移學習的需要。

更多詳情，點擊下載論文全文：https://arxiv.org/pdf/1708.09317.pdf

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！