全球最權威人臉識別測試 中國團隊奪了第一

FRVT是由美國國家標準技術局NIST(National Institute of Standards and Technology)組織的人臉識別供應商測試，作為美國國家採購的官方指導，其測試的權威性是全球工業界實際應用的黃金標準。

FRVT的人臉識別測試集合來自美國國土安全局的真實業務場景，例如出入境、刑偵過程中收集的大量照片。與時下熱門的由學術機構舉辦的LFW、MegaFace測試相比， FRVT更貼近實戰，測試規模更大，不僅擁有百萬量級測試數據，同時這些測試數據均不公開，有效避免演算法過擬合甚至是作弊手段。

表一:主流的人臉識別測試場景、測試集、指標比較

表二: 在三個測試集上代表廠商成績比較。安防廠商海康威視未發布公開測試成績。

LFW是由美國馬薩諸塞大學發布並維護的公開人臉數據集，測試數據規模為萬，國內多個團隊例如百度、騰訊、大華、曠視、商湯都曾獲得了99.5%以上的成績。

MegaFace是由美國華盛頓大學發布並維護的公開人臉數據集，測試規模比LFW大100倍，更能區分各個演算法的性能差異。第一名是創立於1999年的老牌俄羅斯公司Vocord，獲得91.7%的成績，比第二名騰訊優圖高出8%，優勢明顯。由此可見，雖然國內大互聯網公司擁有超大規模計算演算法訓練平台、互聯網級的數據優勢，但離全球頂級的測試結果還有差距。

在頂級的競爭中，數據和計算的優勢並不能保證輸出最優秀的演算法性能。

由美國國家標準技術局（NIST）主持的FRVT，除了主持機構的權威性外，測試結果的權威性還來自其評測的嚴謹和全面性:

1、數據均來自真實業務場景，測試結果好則代表該技術可以在實戰場景中直接應用。

2、數據規模是通過對百億對樣本採樣，達到百萬量級。如此大規模的測試集可以穩定評估演算法性能，詳細區分不同演算法的優劣。

3、測試數據不公開(盲測)，這保證了測試的公正性。因為參賽的演算法團隊無法利用測試數據做模型訓練，可以有效避免過擬合或直接作弊等手段，因此相對於LFW、MegaFace而言，FRVT則更能體現測試的公正性。

4、科學專業性，FRVT對不同實戰場景、人種、年齡、性別，做了詳細分解下的識別性能比較，並在模型速度、特徵庫大小、比對閾值等做了詳細評估。

NIST針對測試作了不同場景、不同人種、不同性別、不同年齡的識別性能比較。從 FRVT 的官方描述來看，其提供的測試數據對應了出入境管理、身份門禁認證、平安城市監控等實戰應用場景，依圖在四項主要的測試場景中均獲得第一名。

在更詳細的人種（黑人、白人、亞洲人等）、性別比較中，依圖的演算法表現幾乎沒有差異；而其他演算法隨著識別難度增加，識別率出現了不同程度的較大降低。對比結果說明依圖的演算法可以在不同類型數據分布的實用場景中，例如黑人較多的場景下，演算法也可有穩定表現。

智能萬倍增長

過去四年，從LFW到FRVT，測試指標已經從千分之一誤報到千萬分之一誤報，識別性能已經提高一萬倍，意味著誤報降低萬倍。可以預見，很快就會出現測試指標在億分之一、十億分之一、百億分之一誤報下的識別性能比較，這將是另一個千倍的智能識別能力的增長。

可以想像，在十億級超大規模比對、十億分之一超低誤報下的高識別性能，意味著智能技術將解鎖更多的應用場景，從樓宇建築到城市量級，甚至多城聯動，再到全國範圍內的人臉比對、安防布控都將成為可能。

依圖科技CEO朱瓏說到：「NIST是工業界最權威的測試，有最直接的應用指導價值。從測試的結果來說，有兩個意義: 我們可以平靜的接受，來自中國的演算法技術超過全球的競爭對手；更大的意義在於，掌握標準制定話語權和實際全球影響力的美國國家標準技術局，已經顯得『沒見過世面』，千萬分之一的誤報下的識別率並不能拉開我們和第二名的差距，我們的演算法已經在 10 億分之一的誤報下達到超過90%的識別率。希望將來，國際主流學術機構能接受，只有中國參與的標準測試，才反映全球最前沿的技術理解。」

點擊展開全文

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！