手機為什麼能認出是我在解鎖它？

最新 08-10

計算機是如何進行指紋和掌紋識別的？為什麼指紋識別有時候會失敗？手機上的指紋識別與公安用的指紋識別有什麼區別？1比1和1比N的指紋識別有什麼區別？掌紋能用於身份識別嗎？清華大學自動化系副教授、博士生導師，中國生物特徵識別學術會議（2015-2019）程序委員會主席，國際生物特徵識別學術會議（2014-2016）領域主席馮建江帶來分享《計算機如何識別指紋和掌紋？》。

馮建江演講視頻：

以下為馮建江演講實錄：

大家好，我是馮建江，我想介紹一些自己關於計算機識別指紋和掌紋的研究。

我主要講這樣幾個部分——

01 指紋識別的應用

指紋識別的應用，現在已經非常廣泛，我們可以粗略地將其分為三個方面：警方，政府，以及企事業單位，個人。

其中，警用AFIS是最早的自動識別系統（上世紀70年代末），因為該領域對自動識別的需求非常強烈——積累的海量資料庫靠人工識別明顯不現實。

這個系統主要有兩個功能：查犯罪前科和識別犯罪嫌疑人。

大家可能知道，從犯和初犯懲罰是不一樣的。所以犯罪分子如果原來犯過案，再被抓到就很可能會隱瞞。所以警察需要通過「十指比十指」來識別犯罪分子真實身份，從而查詢犯罪前科。

如果在犯罪現場發現了指紋，就可以將它放到以往的資料庫裡面去比對，也就是「現場比十指」。這個難度要比查犯罪前科要大很多。

此外，指紋識別在各種身份證件裡面也有較為廣泛的應用，我們國家從2012年開始在生物特徵護照以及港澳通行證裡面錄入指紋。目前，北京首都機場、深圳羅湖口岸等地已經啟用基於生物特徵（核驗指紋以及人像）的自助通關。

2013年，身份證也開始錄入指紋，目前應該超過5億人的身份證裡面有指紋了。身份證的生物特徵驗證系統已經在一些重要場所應用，比如一些敏感場所的出入驗證，以及很多地方的高考考生身份核查。

第三類的應用種類就特別多。指紋、人臉考勤機，很早就開始應用。還有迪斯尼樂園指紋驗票的例子：由於園區特別大，迪斯尼樂園就允許購買了通票的遊客中間進出。但是怎樣防止通票轉讓多人使用呢？它就要求遊客第一次入園時錄入指紋，將指紋與票綁定；以後再進就要通過指紋識別來驗票。此外還有很多，比如指紋鎖雖然出現很早，但也就是這幾年普及越來越高。生活中常見的還有iphone率先引領的指紋解鎖和指紋支付，等等。

02 指紋識別系統的一般原理

接下來，我就給大家講一下各種類型的指紋識別系統一個比較共性的原理。我們把指紋識別流程進行簡化，大概有以下三步，採集、特徵提取和匹配——

接下來，我就按照這三步來給大家分別介紹一下。

第一步是指紋採集。雖然用相機拍照的指紋圖像（左圖）跟大家肉眼看到的手指一致，但其實不太適合做指紋識別，因為對比度比較低。指紋識別系統希望用到的指紋是右圖這樣的，脊線和谷線黑白分明。

那麼，怎樣採集怎樣的圖像呢？

在非常非常古老的時候，人們就發現用油墨可以採集到質量非常好的指紋。所以從100多年前，警方就大規模使用油墨來採集有犯罪前科人員的指紋。他們會讓犯人將每根手指都在平面紙上轉一圈（rolled fingerprints），儘可能把邊邊角角全都採集到。此外，還會採集除大拇指外的四根手指併攏的圖像（plain fingerprints）。

油墨採集指紋的方法，現在幾乎不用了，取而代之的是電子化的採集設備。

基於超聲波的採集設備雖然應用比較少；但目前高通公司推廣的一項技術可能會改善現狀：把手機放到顯示屏下面，正面就全是屏了，一點邊框都沒有。

基於光學的採集設備非常多，警方用的基本上都是屬於這一類。它的原理是：一個倒立的三稜鏡，上面是手指，左下角射來光源，右下角設置一個集成了相機的透鏡（左圖）。發出的光線以特定角度進入稜鏡時，如果沒有接觸到凸起（放置手指會形成突起），就會發生全反射；而如果接觸到凸起，就會被吸收，不會全反射，所以就得到了一個黑白分明的、類似油墨採集的指紋圖像。

第三種就是基於電路的採集設備，現在的手機和電腦筆記本，都是採用這一類。它主要靠指紋凸起和凹陷的地方在電學上特徵的不同來識別。

所以，聲、光、電都有指紋採集技術。

採集圖像之後，需要從上面要提取一些特徵。什麼特徵呢？我們可以由從宏觀到細節的三個層次來看看。

第一層，反映的是指紋上面的流線的方向場和奇異點。我們一般人說，指紋是斗型還是箕形？實際上就是第一層特徵。

第二層，關注流線的開始，結束，以及交叉的地方，也就是脊線和細節點。

第三層。如果我們把圖像放大，還會看到有很細節的特徵，不同的人是不一樣的。脊線實際上不是一條黑線，上面有很多白色的孔——也就是出汗的地方，汗孔。另外，線周圍的輪廓也不是很直，有各種形狀。這些特別細節的特徵，對於識別也是有用的。

在實際中，大部分指紋識別系統都是採用這一層，也就是細節點的特徵，因為信息量非常多，而且比較穩定，也非常緊湊。

這是一個示意圖，展示的是怎麼樣從一幅圖像通過提取圖像處理演算法，提取出脊線、細節點、方向場和奇異點等等特徵。

有了這些點，將來提供兩個指紋，我們就不是在對比圖像，而是在對比兩組點：通過某種方法，按照這些點的坐標把它編號在一起，然後就可以找到對應的點，最後根據點的匹配程度和數量計算出一個分數。

當然，如果平時用指紋識別的話，你肯定會發現有時候會識別就失敗。也就是說，模式識別系統不是完美的，有時候會出錯。我們假設系統最後會出一個分數，比如說0分就表示非常不像，100分就表示非常像。

真匹配，就是同一個人的手指之間的匹配，分數一般比較高；但有時候也會因為各種原因比較低。它的分數分布如圖中所示，特別高和特別低的分數比較少。

假匹配，就是不同手指之間的匹配，分數一般比較低。但是它也是一個正態分布，從低到高都有。那麼，對於一個系統來說，必須要出閾值——如果超過閾值，就認為這兩根手指是同一個人的手指，否則就認為是不同的。

但是，不管閾值怎麼選擇，總會發生兩種錯誤：一種是「錯誤不匹配」——本來是同一根手指，但是認為不匹配的；另外一種是「錯誤匹配」——不同手指的分數超過了閾值。

這是一些比較典型的「錯誤不匹配」的例子。什麼情況下，會發生不匹配呢？一般來說，手指皮膚乾燥（首行左）、手指磨損嚴重（首行中）、手指大量出汗（首行右）會導致識別失敗。

還有一些其他的情景，也會導致錯誤不匹配。比如左下角這張是犯罪現場的指紋，它是從一本書上掃描出來的，干擾特別嚴重。手機上採集到的指紋圖像（次行中），感測器太小導致得到的圖像特別小，也容易出現失誤。右下角是一個變形特別厲害的指紋，我們的手是軟的，所以採集時如果角度或者力度非常誇張，就會形成這樣比較難識別的圖像。

接下來，我想介紹一些特殊的指紋識別系統的案例。

03 手機指紋識別

首先，就是手機指紋識別。其實，把指紋植入手機的想法，很早就出現了，但當時銷量比較少；真正把指紋識別變成手機的標配是從這個iphone開始的——在iphone之前，全世界每年手機指紋感測器的出貨量其實不過百萬量級，但是有了iphone之後，達到了上億量級。這樣一個量級，就使得指紋識別技術往前推進了一步。

那麼，從感測器技術到成像識別技術，手機指紋識別相比其它的指紋識別，有什麼特殊性呢？

手機感測器非常小，中間這張圖就是手機指紋感測器採集到的；而右邊這張是比較常見的考勤機和公安用的採集設備採集到的圖像。這麼小的圖像，信息量肯定也比較少，有點像設置密碼，兩位數的密碼和八位數的密碼肯定不一樣。

那麼，該怎麼提高識別率？目前有三方面的技術可以解決這個困境。

第一點，多次註冊。大家首次使用手機註冊指紋的時候，它一般會要求你反覆地摁，還要不停地更換手指的位置。這樣，手機就會存儲手指各個角度的圖像，就用一個比較小的感測器採集到了儘可能多的信息。

第二點，充分利用指紋特徵。雖然可以註冊多次，但使用的時候圖像還是很小，所以要從這個很小的圖片裡面提取儘可能多的信息。如果我們還用傳統的信息特徵的話（比如細節點），那閾值就太低了（質量很好的圖像可能只有兩個細節點），錯誤匹配就會非常高。所以，現在手機指紋識別普遍採用的技術，是希望能夠把指紋裡面那些不如細節點穩定和顯著的特徵也都用上。手機的指紋識別屬於高頻應用，一天會用很多次，所以這個時刻採集，然後隔個幾分鐘再采，就還是比較穩定的。

第三點，模板更新。我們把這個註冊的指紋信息叫做模板指紋，會隨著使用不斷更新——它會學習在各種皮膚狀況下手指的狀態，這項技術很重要。如果指紋識別成功，它就會認為是同一個人手指，就會把信息更新進去。所以，用得越多，識別也會越順利。

但是去年出了一個漏洞：有一個人的蘋果手機的指紋感測器摔碎了，然後他就發現其他人的手指也能解鎖。後來，用橘子皮也能解鎖手機，事實上任何東西只要碰一下就開了。

為什麼會出現這樣的事？就是因為模板更新。當感測器有裂縫的時候，手機會把裂縫本身也當成一個模板存進去；而裂縫一直存在的，所以隨便拿一個東西去摁，它就會發現新圖像和剛才存的那個模板一致，所以誰都能解開。

04 刑偵指紋識別

接下來，我想介紹一下刑偵指紋識別。

所謂刑偵指紋識別，是指從犯罪現場提取一個很髒的一個指紋，然後到十指指紋資料庫里去檢索。大家可能也會注意到，有時候新聞上會說一個指紋破獲了幾十年的一起命案，這樣的案例非常非常多——少部分案件因為社會影響太大，所以會上新聞，實際上指紋破案數量非常驚人。我們國家，每年靠指紋偵破的案件就超過10萬起，也是因為這個原因，指紋被稱為「物證之首」。

指紋有三個特性：唯一、終身不變、觸物留痕。其中，第三點對破案非常重要。

那刑偵指紋識別的難題是什麼？

遺留的現場指紋非常不清晰，而且資料庫非常龐大。

這樣的技術難題，該怎樣解決呢？

這個視頻介紹了怎樣提取現場指紋。白色的板子曾被手指摸過，開始什麼都看不見；但是工作人員用一個沾了黑色磁粉的刷子在上面刷，刷著刷著，指紋就顯現出來了。

提取出來的指紋圖像質量比較差（特別是相比傳統的光學採集儀採集到的指紋），這時候就需要一種指紋圖像增強技術，能夠儘可能地把特徵還原出來。圖中所示的是一種增強技術，是將指紋上面每個位置，都用濾波器進行處理，有點像把噪音去掉、只保留指紋本身的信息。

嫌疑人的識別需要在一個很大的資料庫裡面比對查找，也就是1對N識別技術。N代表的數字非常龐大，我國犯罪前科人員資料庫裡面的指紋數量已經好幾億了。所以，將一個指紋放到好幾億個指紋裡面去查誰跟它最像，難度非常大。這些年雖然技術一直在提升，但是確實太難了。

那麼，現在公安怎麼去查犯罪嫌疑人呢？人機融合。自動指紋識別系統會返回一個可能的列表（可能有，也有可能沒有；可能在第一名，也有可能在第幾十名），經過訓練的公安指紋專家，在一套工具的幫助下一個一個去找。

05 掌紋識別

最後，我想簡要介紹一下掌紋識別。

掌紋其實跟指紋非常類似，相機直接拍攝到的掌紋圖像也不適合做識別。掌紋識別需要的掌紋主要用光學採集儀，利用的原理就是全反射，能夠採集到這種黑白分明的掌紋圖像。

掌紋的特徵，其實跟指紋基本對應（脊線、細節點、汗孔、奇異點），唯一的區別就是掌紋上的皺褶特別多，比如說圖中藍色線條就表示了三個主要皺褶，算命上也叫生命線、事業線、愛情線。除此之外，還有一些細一點、但是數量特別大的次要褶皺，特別是大拇指下面這塊。掌紋上的褶皺跟年齡沒有關係，小孩子的皺褶也很多。