與計算機之間的另一種溝通方式——「手勢識別」

手勢識別豐富了人與計算機之間的交流。

手勢是無聲的語言。人們在生活中借用手勢，來表達各種各樣的感情。現在，人還可以與計算機之間進行手勢互動。

與人之間的手勢互動很容易理解，與計算機之間是怎麼實現的呢？

手勢分割

想要使計算機識別人的手勢，首先得將手勢從背景中分割出來。因為計算機採集手勢信息的同時，也會採集到手勢所處的場景信息。

手勢分割通常採用以下幾種方法：

1. 用黑色或白色的牆壁做背景，著深顏色服裝，儘可能簡化背景。要求人手戴上特殊的手套來強調手部也可，總之在環境上要突出顯示手部。

2. 採集各種手勢在各個時刻、不同位置、不同比例的手型圖像，作為手勢匹配的模板，建立一個龐大的資料庫。

3. 使用邊緣檢測，將手與背景分離開來。

手勢模型訓練

計算機同人一樣，在識別一個手勢前，必須先告訴它這個手勢是什麼，代表什麼意思。

這個過程就是手勢建模。模型的選取取決於具體應用，如果要實現自然的人機交互，就必須建立一個精細有效的手勢模型，使得識別系統能夠對用戶所做的絕大多數手勢做出正確反應。

目前，手勢建模方法可以歸結為兩大類：基於表觀的手勢建模和基於 3D 模型的手勢建模。

基於表觀的手勢建模是：根據手勢的指頭數以及指間的夾角的不同，對手勢進行分類，實現手勢在旋轉縮放條件下的快速識別。

基於 3D 模型的手勢建模方法是：首先合成人體的 3D 模型，然後改變模型的參數，直到模型和真實人體映射出同樣的視覺圖像，然後分析身體姿態。

基於表觀特徵的手勢建模方式比較直觀、適應性強、運算速度快。但實際應用中，需要考慮到光線及身體其他部位顏色的影響，這些因素都將直接影響手勢區域的提取。

基於 3D 模型的手勢建模識別精度比較高，避免了基於表觀特徵識別時因遮擋造成的錯誤識別。雖然 3D 建模技術已經相當成熟，但模型還是太複雜，以至於不能快速的渲染響應。

因此大多數產品，如 Leap Motion 和 HoloLens 等，都採用了深度圖像信息和手勢表觀特徵相結合的方式。這種方式既可以達到基於表觀的識別速度，又可以實現基於 3D 的識別精度。

手勢分析

對手勢進行建模後，接下來需要對手勢進行分析。手勢分析就是估計選定的手勢模型參數，這一步一般由特徵檢測和參數估計組成。在特徵檢測過程中，必須先確定人手位置。根據所用的線索不同，可以把定位技術分為基於顏色定位、基於運動定位以及多模式定位三種。

基於顏色定位技術的主要缺點是：在不同的光照條件下皮膚顏色變化較大，並且手和身體顏色相同，當身體其他部位出現在手勢背景中，會導致識別錯誤。解決這一問題的簡單方法，就是佩戴一副特殊的手套。

基於運動的定位技術通常跟某些假設一起使用。例如，假設通常情況下只有一個人在做手勢，並且手勢者相對於背景的運動量很小，也就是說圖像中只有手部是運動的。

點擊播放 GIF/12K

基於多模式定位技術，就是運動和顏色信息的融合定位人手。這種方式效果更加準確，但是計算量會增大。

匹配

分析完手勢就等於把手勢分好了類，接下來只需要將讀取到的手勢信息，與這些分析結果相匹配，匹配的過程就叫手勢識別。

手勢識別分為靜態手勢識別和動態手勢識別。靜態手勢相當於我們檢測視力時，對醫生做的表明方向的手勢；動態手勢相當於籃球場上裁判員做的一些列手勢。

靜態手勢識別一般採用模板匹配方法來實現。通過一些相似準則，實時地比較手勢與模板庫中預定義手勢的相似度，從而根據最大相似度來提取出手勢模板。

與靜態手勢不同，動態手勢涉及時間及空間上下文。絕大多數動態手勢被建模為手勢模型空間里的一條軌跡。不同用戶做手勢時存在的速率差異、熟練程度等問題，會使運動軌跡與模型軌跡產生較大偏差。

為了消除這一問題。現有的動態手勢識別技術可以分為三類：基於隱馬爾科夫模型（Hidden Markow Models，HMM）的識別，基於動態時間規整（Dynamic Time Warping，DTW）的識別，基於壓縮時間軸的識別。

HMM 演算法因具有自動分割和分類能力，被廣泛應用，以下例子能很好地說明這一演算法的原理。

點擊播放 GIF/5K

假設你有一個住得很遠的朋友，他每天跟你打電話告訴你他那天做了什麼。朋友僅僅對三種活動感興趣：公園散步、購物以及清理房間。他選擇做什麼事情只憑天氣。

儘管你對於他所住地方的天氣情況並不了解，但是你可以根據他今天所做的事情，來猜測天氣情況。這整個系統就是一個隱馬爾可夫模型 HMM。

在這個系統里，你知道的這個地區的天氣趨勢以及朋友在做的事情，這些就是隱馬爾可夫模型里的參數，它們是已知的。而手勢可以描述為一系列由方向向量構成的系列，相近向量可以用一個符號來描述。如下圖所示。

我們可以識別手指的位置，然後根據 HMM 模型去猜測軌跡，通過軌跡即可分析手勢的意思。

（本文配圖來自 Google 圖片）

TAG:ARinChina |

※三種經典的搭箭手勢你都認識么？
※谷歌勢要打造無按鍵智能手機，手勢操控
※蘋果新專利：使用深度感測的手勢識別系統
※特種部隊「手勢語」一定要牢記
※用飛艇機器人在商場做導購，能識別人的情緒和手勢
※佛像手勢各有不同的含義，你認識幾種？
※柔軟的吸管也能洞穿馬鈴薯，他只是做了一個這樣的手勢
※手勢 通用的語言
※握拳的手勢也可以測出你的愛情觀？
※原來這手勢還有這層意思，你知道這手勢的起源嗎？
※庫里這手勢，敢不敢再銷魂一點「開腦洞」
※這個手勢，老司機肯定懂！
※關於手的素描擁有各種各樣的動作和素描手勢
※鹿晗發現和娜扎比了一樣的手勢秒換，卻故意和熱巴比相同的手勢！
※谷歌這項新專利想要幹掉觸摸屏！手勢操縱時代即將來臨
※一個簡單的拍照手勢，就可以看出鹿晗對熱巴的不同
※耳機線繞成一團，擺出蜘蛛俠的手勢，三十秒就能收納好
※四種常見手勢，暴露你的性格！
※特種部隊「手勢語」一定要牢記，最起碼跟別人聊起來能體現專業性