不用觸摸屏，手指在手背上就可以控制智能設備！

導讀

用過智能手錶的朋友都深有體會：智能手錶的觸摸屏太小，操作起來非常不便。然而，最近一項創新技術，讓你只需要穿戴一個深度攝像頭設備，就可以用拇指和食指在手背和其上方，自由操控智能手錶，甚至還可操控智能手機、智能電視、以及AR/VR設備等。

關鍵字

深度感測器、人機交互、AR/VR、智能手錶、深度學習

背景

隨著技術不斷進步，新一代的智能設備例如智能手錶、智能手機、智能電視、AR/VR設備等等，在處理器、顯示屏、攝像頭、感測器等方面的性能更佳，功能更多。

可是，人機交互，主要還是依賴觸摸屏。雖然，觸摸屏技術一直在進步，出現了包括「3D touch」三維多點觸控技術等很多創新進展。但是，由於智能手錶的觸摸屏面積很小，用戶手指和這樣的觸摸屏交互起來，會非常不便。

為此，John 之前給大家介紹過一些創新的人機交互方式，如下：

FingerIO技術，它利用傳統的聲納技術，追蹤手指在設備周圍的運動，從而實現人機交互。

（圖片來源：Dennis Wise/華盛頓大學）

SkinHaptics 超聲波技術，它通過手掌背面的超生波發生器，發送超聲波，檢測手心產生的人機交互的觸覺信號，將人的手掌變成觸控屏。

（圖片來源於：英國薩塞克斯大學 ）

SkinInterface 技術，它利用人體作為電波導裝置，持續監測皮膚上的手指運動。

（圖片來源於：卡耐基梅隆大學）

「Whoosh」、「WatchOut」、「TapSkin」等幾種控制智能手錶的技術。

「Whoosh」向觸摸屏吹氣

（圖片來源於：喬治亞理工學院）

「WatchOut」手指在錶殼或者錶帶上點擊或者滾動

「TapSkin」手指點擊皮膚區域

創新

除了以上這些人機交互創新方案，我們今天要介紹一項最新的人機交互方面的創新技術：「WatchSense」，它主要利用了深度感測器，在手背表面和其上方空間，追蹤拇指和食指的運動，作為人機交互的輸入方式使用。

這項技術是由馬克斯普朗克信息學研究所、哥本哈根大學、阿爾託大學的科研人員聯合開發，主要研究人員有馬克斯普朗克信息學研究所圖形、視覺和視頻研究組的 Srinath Sridhar 和 Christian Theobalt，以及哥本哈根大學的 Anders Markussen 和 Sebastian Boring、芬蘭阿爾託大學的 Antti Oulasvirta 。

（圖片來源於：Oliver Dietze）

該系統僅僅利用了一個小型深度攝像頭，就可以追蹤位於手背上方的手指三維位置，還能檢測手指與手背的觸摸，同時判斷出是哪個手指。簡單點說，它可以實時檢測指尖、手指身份和觸摸事件（在平板電腦上大於 250 Hz，在智能手機上大於 40 Hz ），支持空中和多點觸摸。

(a, b) WatchSense 追蹤指尖在空中的位置和手背的觸摸。

(c) 它可以區分不同手指，例如拇指和食指。

(d) WatchSense 能夠更好的識別半空中的手指位置（上右）、手背上的觸摸（下左）、以及這兩種方式的結合。

（圖片來源於：參考資料【2】）

(a) 用戶佩戴一個深度感測器，通過WatchSense技術，能在手背皮膚表面和上方進行交互輸入。

(b)這個原型通過在用戶前臂佩戴一個小型深度攝像頭，模仿智能手錶的設置。

(c)它可以在移動消費電子設備上，實時追蹤指尖3D位置，用戶身份、手背上的觸摸，使得用戶在進行活動的同時，也能夠開展空中和多點觸摸交互。

（圖片來源於：參考資料【2】）

技術

（圖片來源於：參考資料【1】）

硬體

硬體其實很簡單，就是一個深度感測器，它比 Xbox 360 視頻遊戲中的 「Kinect」遊戲控制器要小很多。它其實也是一個3D攝像頭，穿戴於用戶前臂，離智能手錶約20厘米處，可捕捉手背表面及上方空間中的拇指和食指運動。

軟體

該軟體的核心是演算法，其中用到了圖像處理技術和深度學習技術，通過分析3D圖像，識別手指位置和運動。這個軟體演算法主要解決了手背表面凹凸不平、以及手指在運動時會相互遮擋的問題。

用戶可以通過軟體，控制智能手機或者其它設備的應用程序。

測試

研究人員成功在幾個移動設備（平板電腦、Nexus 9平板、OnePlus 3手機）上模擬不同場景，對於 WatchSense 原型設備的功能進行測試。

（圖片來源於：參考資料【1】）

價值

這種新型的交互技術，帶來了前所未有的交互形式，快速而便捷。為了簡明闡述這項技術的價值，研究人員也列舉出了它的一些應用：

音樂控制器

運行在安卓手機上的 WatchSense 應用程序，自動提供音樂播放器控制功能，它具有三個功能： (1) 調整音量 (2) 改變音軌 (3) 音樂回放，且控制音樂播放功能的效果比安卓手機默認的方式要更好，更快速，更自由。

AR/VR 輸入設備

研究人員利用了一個 VR/AR遊戲，通過不同的手指的組合控制方式，操縱這些紙箱。

（圖片來源於：參考資料【2】）

智能手錶上的地圖應用

利用WatchSense裝置，用戶可以通過手指控制智能手錶上的地圖應用，例如通過食指觸摸手背移動地圖，通過食指和拇指的觸摸手背縮放地圖，通過拇指觸摸手背，食指懸停於手背上方，翻看地圖菜單。

（圖片來源於：參考資料【2】）

在大屏幕上查看圖片

WatchSense 裝置可用於在大型外部屏幕上查看圖片，下面展示了幾種手指動作的配合方式，用於移動圖片、縮放圖片等等。

（圖片來源於：參考資料【2】）

所以說，這項技術不僅可以用於控制智能手錶、還可以用於控制智能手機、智能電視、以及AR/VR設備。相對於之前的感知技術，它更靈活，更方便。

未來

目前來說，這個設備還有以下一些缺陷：

第一，有點笨重，需要進一步小型化。

第二，受限於近距離感知，深度感測器必須放在離手腕20厘米左右處。感知的距離和效果還有待於進一步提高。

第二，這個設備只支持拇指和食指，未來需要支持更多手指動作識別。

第三，軟體演算法有待拓展，以支持任何物體表面的操作。

未來，研究人員會進一步拓展這項技術，帶來更豐富的人機交互方式，並且感測器會更加小型化，甚至可以嵌入到智能手錶中。

參考資料

【1】http://handtracker.mpi-inf.mpg.de/projects/WatchSense/

【2】http://handtracker.mpi-inf.mpg.de/projects/WatchSense/content/WatchSense_CHI2017.pdf

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！