谷歌AI實驗室再現新成果：將開源基於機器學習的手部跟蹤演算法

如今數以百萬的人都在使用手語進行交流，但至今致力於將捕捉複雜手勢並將其轉化為口頭語言的科學項目大多都半路夭折。

編譯 | 葛蘭東、奇點

編輯 | 李郁然

公眾號 | AI星球

現如今，手語是一種獨特的語言，其使用雙手、面部表情和其他線索就來產生一種不同於其他語言的豐富交流模式。

但在關於手語的科學研究上，實現強有力的「實時手部感知」至今都是科學界中一項具有挑戰性的計算視覺任務，這也是大多數人一直在等待的手語技術的科研突破。

近日，谷歌人工智慧實驗室在「實時手部跟蹤」方面就有了新的進展。

谷歌的研究人員說：「這種科研上的挑戰也促使了我們的科學家們研究了一種新的計算機視覺方法來進行手部感知，這是一種通過機器學習來支持的新技術。」支持高準確性手勢和五指追蹤，可根據一幀圖像推斷出單手的21個立體節點。

今年6月，谷歌在計算機視覺和模式識別大會上預覽了這項新技術，除此之外也在MediaPipe中實施了這項技術，MediaPipe是一個跨平台框架，其用於構建多模式應用機器學習流程，以處理不同模態（如視頻和音頻）的感知數據。

據了解，其源代碼和端到端使用場景都可以在GitHub上獲得 。

據悉，谷歌的這項新技術使用了一些巧妙的快捷方式，通過提高機器學習系統的整體效率，在現當下僅需要一部智能手機和一台相機，就可以實時生成一張高度精確的手及其所有手指的地圖。

據其內部人員透露：「目前最先進的推理方法，主要依賴於強大的桌面環境，而我們的方法可以在手機上實現實時性能，甚至可以擴展到多個手。」

同時研究工程師Valentin Bazarevsky和Fan Zhang在博客中表示：「感知手的形狀和運動的能力是改善各種技術領域及平台用戶體驗的重要組成部分——我們也希望向更廣泛的研究和開發社區提供這種手勢感知功能，這可能將會刺激創新性案例的出現、新的應用和新的研究途徑的出現。」

研究這項突破並非易事，因為這項強健的實時手部感知技術，在研究上著實是困難重重。

研究過程中，手經常會彼此遮擋（例如手指/手掌的遮擋和握手)，同時也缺乏高對比度模式的應用，所以這就為研發增加了很大的難度。

不僅如此，手的運動通常是快速的、微妙的，或者兩者兼而有之。計算機根本不擅長實時捕捉到這些運動。

基本上，計算機很難快速做到實時正確解讀這些運動。即使使用了多攝像頭，SignAll使用的深度感應設備也很難跟蹤到每個動作。

但這些並沒有阻擋了谷歌的研究腳步，在這種情況下，他們的目標要至少在一定程度上減少演算法篩選所需的數據量。因為更少的數據量將實現更快地轉換。

首先，他們放棄了讓系統檢測整隻手的位置和大小的想法。

相反，他們只讓系統找到手掌，手掌不僅是手最獨特、形狀最可靠的部分，而且還是方形的，這就意味著他們不必擔心系統能夠處理高矩形圖像、短圖像等。

當然，如果手掌一旦被識別出來，手指就會從手掌的一端伸出來，可以單獨分析。一個單獨的演算法會查看圖像，並為其分配21個坐標，大致與指關節和指尖協調，包括它們可能的距離（它可以根據手掌的大小和角度等來猜測）。

為了完成這一手指識別部分，他們首先必須手動將這21個點添加到大約3萬張不同姿勢和照明情況下的手部圖像中，以便機器學習系統進行攝取。

一旦確定了手的姿勢，就會將其與一系列已知的手勢進行比較，從字母和數字的手語符號到「和平」和「金屬」之類的東西。

這種結果是一種既快速又準確的「手動跟蹤演算法」，可以在普通的智能手機上運行，而不是在精心設計的桌面或雲（即其他人精心設計的桌面）上運行，並且所有這些都是在MediaPipe框架內運行的。

據了解，這些系統需要更強大的硬體來實現識別手勢所需的手部識別功能，所以其他的研究人員也將能夠利用這一技術去運行它，也許還將對現有的系統進行改進、創新。

目前這項技術還沒有應用於任何谷歌的產品中，谷歌願意讓這項技術走向世界、使其幫助更多的研究者為推動科研做出貢獻。

所以其研究人員表示：「這裡的源代碼可供任何人使用和構建。」在未來，Valentin Bazarevsky、Fan Zhang和他的同事計劃通過更強大和穩定的跟蹤擴展技術以此來擴大可靠檢測的手勢量，並支持及時展開動態的手勢。

最後他們表示：「我們相信，發布這項技術可以推動研究和開發者社區的成員對新的創意及應用的推動。」

END

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！