MonoPerfCap：又一個單目動作捕捉方案

由於智能手機上沒有深度攝像頭，在手機上的動作捕捉就必須依靠單目動捕，基於單目的的動作捕捉方案就成了一個必須跨過的門檻。而由於實際中存在的像遮擋、深度、難以估計骨架姿勢等問題，單目動作捕捉的解決方案就變得比較複雜。

最近，瑞士洛桑聯邦理工學院（EPFL）和當地普朗克計算機研究所的研究人員發表論文，展示了一種基於單個單眼相機的「無標記性能捕獲技術」MonoPerfCap，可以實現基於單目的動作捕捉，並且可以實現服裝的3D重建。

簡單來說，MonoPerfCap的原理分兩步完成，首先是將攝像頭繞目標人物一圈，在這個過程中，可以實現對目標人物輪廓的識別和信息的採集，並且基於輪廓生成一個目標人物的骨架模型，這樣有利於動作的捕捉，而其它信息的採集可以應用到外部模型的渲染。

論文表示，MonoPerfCap基於輪廓的姿態細化改善了姿態估計和輪廓分割。 姿勢估計中的錯誤導致在左臂附近不準確的背景減法。而MonoPerfCap的姿態細化將手臂骨架向左移動到正確的位置。 剪影在第二輪廓提取之後分割被顯著地細化基於精確的姿勢（e）。

第二步是基於第一步識別的骨架模型計算出連接點，再基於卷積神經網路的學習估計出做動作時骨架姿勢的變化，隨後在骨架模型上渲染出整個人身體的輪廓。

通過使用這種提出的方法，我們不僅可以重建人體姿勢，而且還可以重建衣服的穿著動作，並且使我們能夠從自由的角度進行渲染。但是，高速運動時和出現強遮擋時的識別變得略不穩定。

GIF

MonoPerfCap的研究人員將自己的動作捕捉分別和2015、2016、2017的方法比較，用MonoPerfCap方法得到的結果優於其它方法的結果，甚至已經非常接近8台攝像機多視角動作捕捉的結果。

首先，這種捕捉方法必須依靠大約半分鐘的對目標人物的圓形掃描，雖然之後的處理是不需要人干預的，但仍然略顯麻煩。

另外，有的場景下的識別仍然有可能捕捉失敗，由於一般視角下對腳的捕捉很難實現，所以像有大量遮擋的情況或者當運動非常迅速的時候，就可能失敗。如果目標人物穿著像風衣或者夾克這樣的衣服時，很可能對攝像頭的識別造成干擾，從而無法捕捉。在論文的示例中，捕捉目標都穿著比較貼近身體的衣服。

GIF

GIF

這是論文對各個人物目標的識別示例，可以看到識別效果比較好，另外衣服和身體的細節渲染也不錯。

GIF

前兩天我們還剛提到過一個單目動捕方案Vnect，它們在原理上的差別其實不大，同樣是基於骨架模型，同樣利用卷積神經網路進行學習，區別在於Vnect只能估算出骨架的姿勢模型，MonoPerfCap還添加了估計外部身體姿勢和和衣服細節的能力，相對來說更加成熟。

其實，MonoPerfCap的方案不止可以應用到動作捕捉上，就論文中實現的方案來看，這個方案同樣可以用來識別合適的視頻中人物的動作。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！