Oculus開發新型手動追蹤系統

動作捕捉現在已經不是一個時髦的名詞了，它在電影、遊戲中都得到廣泛的應用，賦予了原本動作僵硬面目死板的角色以鮮活的生命，給人們帶來驚艷的視覺體驗。

要說最早的動作捕捉，還要追溯到馬克福萊舍發明的「轉描技術」

利用特製的投影設備，將真人投影到畫布前，再由畫師，人肉作畫，一幀一幀的描下來。

（栩栩如生的豬八戒）

後來隨著動作捕捉技術的發展，又發展出幾種真正意義上的動作捕捉技術。

當然，得到最廣泛應用的自然是我們常見的往身上貼馬克點的光學式動捕。

不管是電影

還是遊戲

配上動捕都如虎添翼，透著屏幕彷彿能感受到畫面中角色的呼吸。然而值得注意的是，當實時全身動捕用在靈巧的五指上時，就很難產生類似的實時追蹤效果。

手部實時動作捕捉的主要困難在於識別和標記被動馬克點。雖然可以使用主動馬克點來解決這個問題，但是一根根的連接線路和笨重的感測器顯得有些累贅，而且主動馬克點可同時追蹤的數量也十分有限。若是對於馬克點標記的全身追蹤，常見解決方案便是從預定義的T型或A型開始，依靠高幀追蹤來向前傳播標記。可馬克點一旦被遮擋或由於虛假反射產生了重影，這種方案就沒啥精準度了。而且由於手部體積小、關節多，馬克點的分布不得不密集，這就難免不產生遮擋和重影了。

就在前些日子，Oculus的負責人介紹了一款新型手動追蹤系統。該系統採用可以自我優化的機器學習演算法進行訓練，她說：「這種演算法比之前所有的手部追蹤方案都更為準確。」

由上圖也可以看出，Oculus的新型手動追蹤系統不管是在單雙手還是在手與物體的交互上表現的都很出色。

其實早在去年，扎克伯格就造訪了 Oculus研究實驗室，在facebook的更新中，他上傳了幾張照片，其中一張就是帶著手套坐在一圈鐵架子中，這也與小編在新型手部動捕論文找到的攝像機設備一樣。矩形支架上統共擺放了16台Optitrack相機，從而可以全方位捕捉手部的動作。

「我們正致力於將新的方式帶入虛擬和增強現實，戴上這些手套，你可以畫畫，在虛擬鍵盤上打字甚至可以體驗一番漫威超級英雄的生活」扎克伯格說到。

從演示視頻來看，扎克伯格對於VR手部追蹤的願景也正一步一步實現。

折一架童年的紙飛機

十八般樂器樣樣可行

我丟

（每副手套上安裝了19個馬克點）

研究人員展示了一種新穎的標記和跟蹤系統，能夠在具有頻繁遮擋的挑戰性交互場景中實現手部姿勢的全自動實時估計。左手標記為橙色，右手標記為藍色，物體標記為綠色。

這種新型標記與追蹤技術既可以用於稀疏馬克點集，也可以用於捕捉完整手部26自由度的密集馬克點集。Facebook依靠卷積神經網路（CNN）來預測由動捕系統檢測到的3D馬克點位置標記。然後將記錄的數據壓縮成2D圖像，這使卷積神經網路能夠將標記點設置為唯一識別標記位置，從而避免重影和遮擋的出現。為了滿足手部高精度的追蹤需求，Facebook在精心設計的數據增強程序中使用合成數據對CNN進行訓練。在運行時，每當需要重新初始化標記追蹤的時候，CNN的輸出就用於初始化標記。這種在線標記使得Facebook能夠實時重建手部姿勢。簡單來說，就是將3D空間的問題轉化到2D平面上來解決。

將3D標記位置輸入標記系統（a），並且呈現為深度圖像（b），然後由CNN將深度圖像將手上的19個3D標記位置進行顏色編碼，用二分匹配將輸入標記與其對應的標記標籤相關聯。

通過將標記聚類成組並用左/右指針隨機分配來初始化跟蹤器。 左/右手標記被傳遞到在線標記標記管道以獲得每個標記的標記。 應用反向運動學從標記處重建手部姿勢。 如果通過研究人員的重建指標，則跟蹤的標記和手勢將被反饋到下一幀進行在線跟蹤。

肢體追蹤用活靈活現的肢體語言取代了僵硬無力的死板動作，眼球追蹤使空洞獃滯的瞳孔變得炯炯有神。新型的手部追蹤也將幫助人們在電影、遊戲、VR中獲得更為靈巧的體驗，跟的上各位單身十八年的手速。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！