學界 | 南京大學發布WebCaricature漫畫人臉識別數據集

機器之心發布

機器之心編輯部

近日，南京大學推理與學習研究組（R&L Group）發布了一個新的漫畫人臉識別數據集 WebCaricature。該數據集包含了 252 個名人的 6042 幅漫畫圖像以及 5974 幅人臉圖像，並且每幅圖像均提供了 17 個人臉關鍵點標註。該數據集是目前為止最大的漫畫人臉識別數據集，填補了深度學習時代漫畫人臉識別研究在基準數據集上的空缺。關於該數據集的文章目前已在 2018 年 BMVC 會議發表。

• 
  

  數據集網址：https://cs.nju.edu.cn/rl/WebCaricature.htm



• 
  

  論文網址：http://bmvc2018.org/contents/papers/0728.pdf

圖 1：WebCaricature 中的人臉圖像以及漫畫圖像示例

引言

真人誇張漫畫 (Caricature) 通常是由漫畫家對真實人臉的五官進行不同程度的誇大後創作出來的，這種誇大通常會更加凸顯人臉原來較為顯著的特徵，但也會導致真實人臉與漫畫之間存在較大的差異。儘管如此，人類通常還是可以很容易地識別出漫畫中我們認識的人臉，並且，由於顯著特徵的加強，識別甚至會變得更加簡單。但對於目前的機器學習演算法卻並非如此。

在過去，關於漫畫人臉識別的任務受到了心理學以及腦科學研究者的廣泛關注，在心理學研究上，對於漫畫人臉識別的研究可以幫助我們更好的了解人類對哪些面部特徵的誇張更加敏感以及理解人類大腦是如何表示和匹配人臉的。相應地，在計算機視覺領域，關於漫畫人臉識別的研究也可以幫助我們找到更好的人臉特徵表示以及相似度計算方法，進而提升現有人臉識別系統的性能。

過去幾年，隨著深度學習的興起，人臉識別系統的性能得到了快速的提升。然而對於漫畫人臉識別任務，目前的機器學習方法的效果仍比較差。主要原因是漫畫人臉存在多種多樣的藝術風格且臉部存在形變和誇張，對於同一個人的人臉，不同漫畫家可能會選取不同的誇大方式，使得匹配和識別變得更加困難。另外一方面，目前漫畫人臉識別相關的數據集匱乏，已有的數據集不管是在人員數量上還是圖像數量上都較少。

在上述背景下，南京大學推理與學習研究組（R&L Group）建立了一個大的漫畫人臉識別數據集 WebCaricature，該數據集包含了 252 個名人的 6042 幅漫畫圖像以及 5974 幅人臉圖像，並且，數據集中的每幅圖像均提供了 17 個人臉關鍵點標註。該數據集的特點是，不同人的漫畫圖像在漫畫風格上迥異，並且同一個人的漫畫圖像之間也存在著巨大的差異，對於照片，同一人的拍攝角度、面部表情、光照環境、年齡等也都是非受控的，因此，在識別上會有非常大的難度。

該數據集是目前為止最大的漫畫數據集，通過發布該數據集，我們希望促進深度學習等機器學習方法在漫畫人臉識別方面的相關進展。關於該數據集的文章目前已在 2018 年 BMVC 會議上發表。

圖 2：數據集中的關鍵點標註

評價基準

基於該數據集，論文中還建立了四種漫畫人臉識別的評價基準，分別是受限視圖下的漫畫核實 (Restricted View Caricature Verification)，非受限視圖下的漫畫核實 (UnRestricted View Caricature Verification)，通過漫畫識別人臉 (Caricature to Photo Recognition)，通過人臉識別漫畫 (Photo to Caricature Recognition)。其中前兩種評價基準可用於評價漫畫與真人照片一對一核實的任務，第三種評價基準用於評價給定一幅漫畫後，從人臉庫中識別對應照片的演算法性能，最後一種評價基準用於評價給定一幅照片後，從庫中識別對應漫畫的演算法性能。

數據集上的挑戰

此外，論文中還對應傳統人臉識別任務的各個階段分析了漫畫人臉識別的難點，並給出了一些基準演算法在該數據集上目前的識別效果。

其中，對應傳統人臉識別系統中的人臉檢測與人臉關鍵點檢測任務，由於漫畫的風格變化以及臉部形變，漫畫的人臉模式變化更多更豐富，漫畫人臉關鍵點的位置更加不固定，因此，漫畫人臉檢測以及漫畫人臉關鍵點檢測也是一個可研究的具有挑戰性的研究問題。

在檢測的漫畫人臉的基礎上，漫畫人臉與真人照片之間的對齊方法也需要一些特殊的設計，圖 3 中給出了原文中採用基於眼睛的人臉對齊方法後，漫畫與照片不能很好對齊的示例圖片。

圖 3：通過同一種基於眼睛的人臉對齊方法，漫畫人臉的對齊效果很差，照片人臉的對齊效果相對較好

在漫畫人臉特徵抽取的問題上，該問題相較於傳統的異構人臉識別（包括照片與素描人像相互識別、照片與紅外人像相互識別等）[1] 中的人臉特徵抽取問題會更難。傳統的異構人臉識別中的人臉特徵抽取主要考慮消除不同模態（如照片和素描屬於兩種圖像模態）的人臉圖像之間的模態差異使得特徵對於個體具有判別性。在漫畫中，由於不同的漫畫風格，不同的漫畫可能屬於不同的模態，使得模態差異的消除更加困難，此外，漫畫具有不同的形變，因此，如何抽取特徵使得真實人臉特徵與漫畫人臉特徵同構可比較是一個非常具有挑戰性的研究問題。

在漫畫與真人照片的特徵匹配問題上，假設在前面的幾個步驟中演算法無法完全對漫畫人臉與真實人臉進行對齊，且在特徵抽取中不能很好的消除模態差異，則在匹配漫畫與真人照片的特徵的時候既需要考慮消除模態差異，也需要考慮由於形變造成的特徵誤配准 [2]，對傳統的特徵匹配演算法也提出了新的挑戰。

基準性能

目前在該數據集上，文章中給出了不同對齊演算法、特徵抽取演算法以及特徵匹配演算法組合在不同評價基準下的演算法性能，結果見表 1 和表 2。在四種評價基準下，最好的效果由 VGG-Face 方法與 KCSR 方法結合取得，但可以看到目前該數據集上，在各項性能指標下，演算法的性能還沒有達到飽和。

由於 VGG-Face 方法目前未考慮模態差異消除以及漫畫中的形變，KCSR 方法可以進行模態差異的消除，兩者結合可以較好的提升性能。因此在深度學習方法中引入模態差異消除，同時考慮漫畫中的形變影響，設計端到端的演算法應該是後續可行的漫畫識別研究方向。

表 1 WebCaricature 數據集上，受限視圖以及非受限視圖漫畫核實評價基準下不同演算法的識別性能

表 2 WebCaricature 數據集上，通過漫畫識別人臉以及通過人臉識別漫畫兩種評價基準下不同演算法的識別性能

數據集下載信息可從以下鏈接獲取：https://cs.nju.edu.cn/rl/WebCaricature.htm

[1]

[2]

本文為機器之心發布，

轉載請聯繫本公眾號獲得授權

?------------------------------------------------

加入機器之心（全職記者 / 實習生）：hr@jiqizhixin.com

投稿或尋求報道：

content

廣告 & 商務合作：bd@jiqizhixin.com

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！