逆天的雙融合技術：除非你裸奔，不然無法逃脫它的數字眼

【獵雲網（微信號：ilieyun）】6月20日報道（編譯：羅伯特）

現在，各大廠商的旗艦手機相繼配備了具備AR深度追蹤的攝像頭；所以，是時候計算機也開始改進他們的動作追蹤技術了。近日，相關人員研發了一種新的機器視覺系統，能夠「脫掉」人們的衣服，直接看穿他們的動作。雖然聽起來還蠻嚇人的，但是它的確有一定的用途。

在電影或AR遊戲等場景里，由於人們通常穿著衣服，所以系統捕捉他們的動作時，會有一種模糊感；這是現有技術面臨的最基本問題。這也就是為什麼那些動作演員要緊身衣的緣故。

裙子、背包、夾克等身外物同樣會對動作捕捉造成一定的影響。簡單來說，除非你裸奔，否則電腦無法非常準確地捕捉到你的身體動作。

這一「透視」技術將會在鹽湖城的CVPR活動上進行展示，其將深度數據與智能假設想結合，能夠預測身體的構成和動作。通過類似於X射線的視覺系統，該技術能夠透視衣著下的人類身體動作。即使實驗對象正在進行跳舞之類的高速運動，這一技術也同樣有效。

這一技術是建立在兩種已有的解決方案上，即動態融合（DynamicFusion）和身體融合（BodyFusion）。前者通過單攝像機的深度數據，預測人體的定點動作，但其無法在高速運動或是有遮擋物的情況下運行；後者主要運用的是人體的骨骼數據，但在高速運動的條件下仍會失真。研究人員主要是結合了這兩種解決方案，打造一種「雙融合」技術（DoubleFusion），從深度數據中創建了一個人體骨骼，然後進行距離收縮，為其覆蓋上一層皮膚。

如上圖所示，其對應的分別是動態融合、身體融合，以及雙融合。

結合後的技術方案會比任何的單一方案都要出色。

連帽衫、耳機、寬鬆的大衣…無論你穿什麼，都無法逃出雙融合技術的視線。

但是，這個技術仍有短板。當一個人穿了很多衣服的時候，系統沒辦法分辨這個人到底是肥胖，還是衣著過多；另外，如果一個人與單個物體接觸時（比如桌子，或是遊戲遙控器），系統也沒辦法識別，其可能會認為你的手腳特別長。團隊計劃會在未來解決這些問題。

這項技術論文的第一作者是來自清華大學的陶宇（音譯Tao Yu），北航、谷歌、南加州大學也參與了開發研究。

作者在論文結語中寫道：「我們相信，我們這一方案的魯棒性和準確性將使許多應用成為可能，尤其是在AR/VR、遊戲、娛樂等領域。通過雙融合技術，用戶將能夠真正地第一次把自己徹底數字化。」

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！