新智元報道

來源：GitHub

編輯：肖琴

【新智元導讀】針對四足動物的動畫生成問題，愛丁堡大學的研究人員開發了一個被稱為「模式自適應神經網路」的新神經網路架構，它可以從實際的運動數據學習，生成非常自然的動畫。團隊在今天開源了所有代碼、數據和編譯的demo。

開源地址：

https://github.com/sebastianstarke/AI4Animation

創作四足動物動畫是計算機動畫行業一個特別困難的問題。四足動物動畫在電腦遊戲和電影中的應用很重要，同時也是機器人領域的一個具有挑戰性的話題。傳統方法製作四足動物動畫時，動畫師必須經過特殊培訓，設計出各種複雜的動作，然後利用各種DCC軟體進行動作捕捉。

針對四足動物的動畫生成問題，來自愛丁堡大學HE ZHANG、SEBASTIAN STARKE、TAKU KOMURA和Adobe Research的JUN SAITO等人的團隊開發了一個被稱為「模式自適應神經網路」的新神經網路架構，它可以從實際的運動數據學習，生成自然的動畫。系統不需要對相位或運動步態進行標記，而是從非結構化的運動捕獲數據，以端到端的方式學習。

整個研究使用 Unity3D / Tensorflow 完成，並且團隊在今天開源了所有代碼、數據和編譯的demo。

模式自適應神經網路

四足動物運動的多模態造成了動畫製作的複雜性。四足動物有多種移動模式，例如步行、踱步、快走、慢跑、疾跑等，運動時其軀幹和四肢的相位變化非常複雜。

圖：不同的四足運動模式。橫條表示每條腿的站立相位。右側的圖像表示步態周期中腳接觸的順序。

目前還沒有以數據驅動的方式系統地構建四足動物運動控制器的工作。除了上面提到的運動複雜性外，困難還來源於四足動物與人類不同，無法進行受控的數據採集。因此，捕獲的數據往往不是結構化的。使用這些數據設計角色控制器時，工程師需要手動/半自動地提取步態周期和轉換，再將它們拼接在一起，調整motion trees和有限狀態機的參數。因此，傳統的方法要麼效率低，要麼不精確。

上圖展示了基於動作捕捉實現的動畫製作，但捕捉的動畫是非結構化的，而且隨機動作太過廣泛。捕捉的數據不是很精準，動作存在很多噪波，細節的地方還需要後期修正。

上圖是通過標準神經網路生成的動畫，但會產生失真和明顯的滑步。

上圖的動畫由相位函數神經網路（Phase-Functioned Neural Networks）的方式生成，優點是動作精準，但是當兩個動作進行融合時動作顯得僵硬，而且操控不是那麼靈敏。

這個新研究提出了一種新的網路架構——模式自適應神經網路（Mode-Adaptive Neural Networks ，MANN），它可以從大量的非結構化四足動物運動捕獲數據中學習運動控制器。

MANN架構圖示，由門控網路和運動預測網路組成。

這個系統由運動預測網路和門控網路組成。在每一幀處，運動預測網路在給定的前一幀的狀態和用戶提供控制信號的情況下計算當前幀的角色狀態。門控網路通過選擇和混合所謂的專家權重（expert weights），動態地更新運動預測網路的權重，每個expert weight都專門針對特定的運動。

MANN與以前方法的對比

這種架構提供了靈活性，使得系統能夠在廣泛的非周期動作和周期性的無標記步態類型中學習一致的特徵。這個框架可以將開發人員從冗長而困難的相位標記工作中解放出來。特別是，我們的模型不需要單獨的標籤來區分不同的步態，這種區分即使對人類來說也很難，因此，可以在數據預處理過程避免步態錯誤。

該研究的貢獻可概括如下：

• 提出

  第一個構建數據驅動的四足角色控制器的系統方法

  ，它可以合成具有各種運動模式和動作轉換的高質量動畫。
• 提出

  一種新穎的端到端神經網路架構

  ，可以從非結構化的四足動物運動捕捉數據中學習，而無需提供相位和運動步態標籤。
• 通過與現有方法進行比較，對所提出的架構進行了全面評估。

數據準備和結果

研究人員使用狗的動作捕捉（Dog Motion Capture）作為訓練數據。這些數據包含各種運動模式，例如步行、踱步、小跑、跑步等，以及其他類型的動作，例如坐、站、閑散，躺著和跳躍。通過鏡像將數據規模加倍。

實驗中使用的狗模型的骨架結構。由27塊骨頭組成，總共有81個自由度。

表1：狗運動數據集和運動類型

四足動物在不平坦地形上行走

沿預定的地面軌跡的行走。可以觀察到，即使在突然轉彎的情況下，它也能很好地沿著曲線運動。

值得一提的是，這個研究延續自去年該團隊所做的「用於角色控制的 Phase-Functioned 神經網路」（PFNN）工作，當時在SIGGRAPH 2017大會演示，同樣令人印象深刻。

參考新智元報道：【超酷視頻】神經網路生成遊戲角色動作，自然逼真不重複

GitHub地址：

https://github.com/sebastianstarke/AI4Animation

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！