鬼都藏不住，人臉識別新突破！就算遮住半張臉也能100％被識別

新智元報道

來源：sciencedirect

編輯：金磊，元子

【新智元導讀】眾所周知，人臉識別在攝像頭無法捕捉到完整面部圖像的情況下很難獲得理想的效果。最近布拉德福德大學的研究人員在不完整面部識別方面獲得了突破性進展，實驗表明，掃描整個面部的3/4、甚至1/2的識別準確率能夠達到100％！

基於計算機的人臉識別已經成為一種成熟且可靠的機制，實際上已被應用於許多訪問控制場景，不過目前面部識別或認證，主要使用全正臉面部圖像的「完美」數據來執行。但實際上，有許多情況下比如閉路電視攝像機往往只能拍到臉的一側，或者如果被拍攝者戴了帽子、口罩等遮擋物，就無法獲得完整的正臉。因此，使用不完整面部數據的面部識別是一個亟待開發的研究領域。

來自布拉德福德大學的研究團隊的最新研究在不完整面部識別方面，取得了突破性進展，實驗使用最先進的基於卷積神經網路的架構以及預先訓練的VGG-Face模型，使用餘弦相似度和線性支持向量機來測試識別率。團隊在兩個公開可用的數據集（受控的巴西FEI和不受控制的LFW）上進行了實驗。

實驗表明，掃描整個面部的3/4、甚至1/2的識別準確率能夠達到100％！除此之外，團隊還研究了面部的某個獨立的部位，比如鼻子、臉頰、前額或嘴巴的識別率，以及圖像的旋轉和縮放對面部識別主體的影響。結果發現，如果只針對面部的某個獨立的部位，比如鼻子、臉頰、前額或嘴巴，識別率總是相對較低。

據悉，這是第一個使用機器學習來測試面部不同部位識別率的研究，論文已發表在Future Generation Computer Systems上。下面新智元對本次實驗進行介紹。

人類可以不受環境影響的識別人臉，那麼計算機也可以嗎？

面部是人類生命中視覺系統中繪製得最多的圖片，所以大部分人類擁有卓越的面部識別能力。一般來說，我們不需要像面部識別AI那樣必須正視別人的正臉才能識別出對方，通常對於我們只要一瞥即可分辨。

普遍認為大腦通過記住重要的細節，例如與眼睛，鼻子，前額，臉頰和嘴巴相對應的關鍵特徵的形狀和顏色，對面部進行區分。此外，人類大腦可以應對不同光線環境下、不同面部表情，以及遠處面部的顯著變化。

然而，與此相反，任何在光線、表情、姿勢和即眼鏡或鬍子等等的變化，都可能對計算機的識別率產生巨大影響。不過，因為計算機處理海量數據的能力不斷提高，可以認為機器演算法（例如CNN）至少在面部匹配方面擁有優異的表現。

順著這個邏輯，研究團隊使用有遮擋的不完整人臉照片作為測試集，下面是一個測試集的示例圖片，以及計算機對不完整人臉照片的識別過程。

示例圖片

識別過程

使用CNN和VGG-Face，利用兩個分類器進行不完整人臉的識別

團隊主要研究面部的不同部分如何有利於識別，以及在機器學習場景中如何在對面部照片進行不同程度旋轉、縮放的識別。實驗使用基於CNN的架構以及預訓練的VGG-Face模型來提取特徵。然後使用兩個分類器，即餘弦相似度（CS）和線性SVM來測試識別率。下圖表現了特徵提取步驟的概述：

遮擋臉部的示例圖片

基於VGGF的特徵提取過程

VGG-Face模型

目前最流行和廣泛應用於人臉識別的是VGGF模型，由Oxford Visual Geometry Group開發。該模型在一個超過2.6 K個體的2.6M面部圖像的巨大數據集上進行訓練。

在VGGF中，其中13層是卷積網路，其他是ReLU、pooling的混合體，最後一層是softmax。

13個卷積層

為了確定VGGF模型中用於面部特徵提取的最佳層，通常必須進行一些試驗和錯誤實驗。在本實驗中，團隊發現最好的結果來自第34層。值得注意的是，該層是完全連接的層，位於神經網路的末端，這意味著提取的特徵代表代表了全臉。

特徵分類：為什麼使用餘弦相似度和線性SVM

本次實驗中，研究團隊使用了餘弦相似度（CS）和線性SVM分類器。做出這樣的選擇基於兩個原因：首先，團隊測試了其他分類器後發現CS和線性SVM的效果最好；其次，通過實驗和分析，團隊發現這兩個分類器能夠更準確地分離數據。

餘弦相似度

兩個向量間的餘弦值可以通過使用歐幾里得點積公式求出：

給定兩個屬性向量， A 和B，其餘弦相似性θ由點積和向量長度給出，如下所示：

這裡的Ai和Bi分別代表向量A和B的各分量。

本次實驗需要計算CS以通過使用Eqs找到測試圖像和訓練圖像之間的最小距離。如圖8所示：

線性SVM

SVM是一個二元分類演算法，線性分類和非線性分類都支持。經過演進，現在也可以支持多元分類，同時經過擴展，也能應用於回歸問題。在本實驗中，研究團隊對兩種SVM都進行了測試，發現當使用部分面部作為測試集的時候，線性SVM能夠獲得更好的效果。

例如，對於右臉頰，線性SVM的識別準確率達到了24.44％，而具有徑向基函數的非線性SVM的識別率僅為2.77％。

遮掉半張臉，準確率也能高達100%！

這項工作提供了一組全面的實驗，使用面部的不同部分進行面部識別。

利用了兩個流行的人臉數據集的人臉圖像，即FEI和LFW數據集。使用級聯物體檢測器對兩個資料庫中的所有圖像進行裁剪以儘可能地去除背景，以便提取面部和內部面部特徵。但是，對於某些具有非常複雜背景的圖像，如LFW資料庫的情況，作者手動裁剪這些面部。

在這項工作中，已經進行了許多遮擋設置，以驗證該方法可以處理正常和遮擋的面部識別任務。為此，進行了兩組主要的實驗：一組不使用局部，旋轉和縮放的面部作為訓練面部數據的一部分，另一部分使用部分，旋轉和縮放的面部作為訓練的一部分。

在每種情況下，使用兩個分類器進行了14個涉及部分，旋轉和縮小人臉的子實驗。出於訓練目的，使用了每個受試者70％的圖像，這些圖像也通過諸如填充和翻轉之類的操作來增強。在每種情況下，剩餘的30％的圖像用於測試。

從FEI數據集中採樣面部數據

用於測試FEI數據集上識別率的面部部分

在FEI資料庫中使用基於面部部分的SVM和CS分類器的面部識別率 - 在訓練中不使用/使用面部的面部部分

在FEI數據集上顯示面旋轉(10°到180°)

在FEI數據集上使用SVM和CS分類器的人臉識別率(基於訓練集中沒有和有旋轉人臉圖片)

一個在FEI數據集中縮小(10%到90%)人臉的例子

利用SVM和CS分類器對FEI中縮小後的人臉進行快速識別

一些來自LFW數據集的人臉圖像樣本

來自LFW資料庫的面部部分樣本

在LFW數據集上，分別使用SVM和CS兩種分類器對訓練中未使用/使用的人臉各部分進行識別

在LFW數據集上使用基於SVM和CS分類器的人臉旋轉的人臉識別率(在沒有和使用單個旋轉面作為訓練數據的情況下)

在LFW資料庫上，基於SVM和CS分類器的圖像縮放識別率

使用CS進行正確匹配的結果，對於嘴的部分

使用CS測量的錯誤匹配的結果，對於嘴的部分

正確匹配的結果使用CS測量，為右臉頰

應用前景

研究團隊負責人Hassan Ugail教授表示這個結果展示了不完整面部識別的美好前景：「現在已經證明，可以從僅顯示部分臉部的圖像中，獲得非常準確的面部識別率，並且已經確定哪些部分的識別準確率更高，這為該技術應用於安防或預防犯罪等方面，開闢了更大的可能性。」

不過Hassan Ugail教授還表示，目前實驗還需要在更大的數據集上進行驗證。顯然，將來很可能用於面部識別的圖像資料庫也需要包含不完整面部的圖像。

參考鏈接：

https://www.sciencedirect.com/science/article/pii/S0167739X18331133?via=ihub#b3

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！