有圖，有視頻就可以預算並生成人體模型和動捕數據？

「 感知CG · 感觸創意 · 感受藝術 · 感悟心靈 」

中國最具影響力CG領域自媒體

編譯自cartoonbrew

CG世界原創編譯

未經許可謝絕轉載

Body Labs成立於2013年，目前正在研究和開發人身體如何塑形和如何移動，以及由此產生的統計模型，並用這些數據從視頻甚至是單張照片中生成動畫。

他們將正在研究的成果配置在移動，VR，AR和遊戲應用程序中，也就是說他們以人體作為中心特徵，然後把人體用作遊戲的控制器。此外無標記運動捕捉領域也是他們開發軟體的另一個潛在用途。

Body Labs是一個建立在生成人體統計模型的研究型公司。這個研究是在布朗大學和馬克斯·普朗克情報系統研究所完成的，由Michael Black教授領銜。研究的成果用Body Labs的話說叫「SOMA：人性化AI」。

這個高大上的名字其實與我們平時經常聽到的深度學習關係緊密，也就是從掃描，測量，照片，視頻和其他來源獲取有關人類的已知數據，並用這些數據預測人的形體和運動。這個想法是從日常拍攝的RGB照片或者視頻中提取身形的關鍵部分，並使用深度學習演算法來生成身體所需的可能運動。

「舉個簡單的例子，」Rachlin解釋說，「假如你有原始的運動捕捉數據以及某人的3D掃描。用Body Labs技術可以將兩種類型的數據轉換成3D身體，從而使我們能夠將3D掃描中存在的高質量形體信息與運動捕捉的高質量動畫相結合。」

「由於所產生的身形總是具有恆定的結構，」Rachlin補充說，「可以將預先設置好的紋理貼圖庫或其他動畫資產附在上面。更更重要的是，如果原始的動捕或掃描數據有噪波或丟失，我們的模型統計性可使用結構感知演算法智能地去除噪波數據。

實際上，Body Labs正在向感興趣的開發者提供其「SOMA Shape API」。這個API通過引用單個圖像，加上高度和重量來產生完整的3D模型和任何主題的數字測量。

那~面部動畫怎麼辦呢？我們曾經介紹過啊，夥伴們還記得么？目前已經有幾個面部跟蹤的應用程序，只要拍攝靜態面部圖像就能生成頭像，或者使用面部視頻來驅動的某個動畫角色。Rachlin說「面部跟蹤技術已經安排在我們的日程上，只不過目前我們的主要精力都放在了RGB視頻和照片改進SOMA的3D形體和運動預測功能上面了。」

看到這裡，很多夥伴會問了。有啥用呢？從技術點來看，目前最有可能的用途是將人體所表達的肢體語言變成精確的遊戲控制器，而不再用手持的控制器。例如伸展手臂可以發射能量束或阻止攻擊等等。這款API的目標是為消費者設計適合他們虛擬外形的衣服。

SOMA的另一個應用可能是無標記運動捕捉，也就是說只使用一個人的原始視頻，在沒有任何特殊服裝和標記點的情況下驅動動畫的生成。如果真的實現了，這確實是個很吊，很牛逼的技術。

然而，Body Labs還沒把SOMA看作是高端動作捕捉的代替品，但相信隨著時間的推移，其準確性會更高。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！