Facebook 更新AR Studio，增加 Sketchfab API和背景分割功能

隨著AR的逐漸興起，巨頭們追逐AR開發的趨勢已經十分明顯，各家都開始推出自己的AR開發平台，像蘋果的ARKit、谷歌的ARCore，還有我們這次的主角AR Studio。

作為一個發布已經有一段時間的AR開發平台，AR Studio可以提供的功能並不是很豐富，只提供開發者製作各種濾鏡、特效和貼圖的能力，甚至可以說，Facebook對AR的理解，更多地是停留在相機捕捉到的實際環境影像的基礎上，疊加一些濾鏡、貼圖、邊框效果，這與Snapchat的相機濾鏡功能並沒有太大的區別。

而最近，在F8 開發者會議上, Facebook宣布，將會更新AR Studio，集成 Sketchfab 的下載 API，同時，將使AR Studio具備更多功能。

Sketchfab 的共同創始人兼首席執行官 Alban Denoyel 在博客文章中說，"與 Facebook 合作是我們實現下載 API 的一個重要里程碑。我們確實認為 Facebook 是一個將該功能帶到用戶端的候選者。現在, 將 API 集成到創建者端將使開發人員更容易地將3D 內容導入到其 AR 體驗中。」

關於AR Studio的更新， Facebook提供了兩個新的功能，一個是實現對身體和手部的追蹤；一個是對場景基於語義的理解，以此為基礎可以得到更高保真度的背景分割。

先看背景分割吧，背景分割是許多可視化應用中重要操作。要求獨立提取特定對象的圖像，從技術上講，需要將動態的前景與靜態的背景分離。

舉個例子，如果有一張沒有遊客的房間或者沒有車輛的道路背景圖，那麼很簡單，只要將新圖和背景圖做減法，就能得到前景圖了。但是多數情況是沒有這樣的背景圖的。所有我們需要在任何情況下都可以提取背景圖。當有車輛陰影時，就變得很複雜。陰影也是移動的，簡單的減法會把陰影算在前景里，這是一件比較麻煩的事。

Facebook對此有自己的解決方案。今年一月底，我們就發過一篇文章：Facebook新研究為未來全身AR打下基礎，在這篇文章中，說過Facebook發表了一篇論文，對原有的Mask R-CNN框架進行了優化，得到一個新的、佔用內存更小、效率更高的框架Mask R-CNN2Go，這個框架可以直接被應用到智能手機上，而智能手機可以基於它實現對場景的語義理解，並且在此基礎上實現背景分割，識別人的整個身體。

從目前的信息來看，Facebook的新AR Studio提供的功能與這篇論文提到的功能非常相似，只是論文中比較關注利用背景分割對人整個身體的識別，而實際的功能則更為全面，將識別對象的選擇權交到了開發者的手中。

這麼一來，新的AR Studio提供的身體和手部追蹤功能就好理解了，身體的追蹤就是完全還原了論文中提到的功能，手部追蹤也只是把分割的對象從身體變成了手而已。換句話說，本次AR Studio更新的功能可能都是來源於Facebook改進的語義識別框架Mask R-CNN2Go。

當然，對場景的語義理解不止做到背景分割這樣一個功能,還可以處理一些細節的問題。通過對場景進行語義理解, AR 內容將能夠更有意義地與現實世界中的對象交互，例如, 當在場景中識別出杯子時,虛擬的蒸汽從真正的杯子中升起，這將使Facebook的AR體驗更加真實。

總之，Facebook對其AR開發平台的更新將改善AR Studio功能上的豐富性，優化其創造的AR體驗。對AR Studio來說，將會是一個不小的進步。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！