模擬真人化妝技藝手法，Instagram實現逼真AR妝容疊加

文章相關引用及參考：映維網

支持移動設備實現逼真的妝容疊加

（映維網 2018年12月26日）Facebook旗下Instagram的研究人員提出了一種利用增強現實的創新方法，其可以在移動設備上提供一系列不同的皮膚顏色，從而實現逼真的妝容疊加。

他們開發的方法能夠模模擬人化妝師的真實世界化妝（疊加）技藝與手法。研究人員指出，應用程序可以準確地呈現商業化妝產品中最常用的五種材料：啞光，天鵝絨，絲緞，亮澤和金屬光。Insagram團隊同時採用了皮膚平滑功能來均勻自然膚色與色調映射，進一步混合皮膚源與合成層。

研究團隊在論文中指出，這個AR化妝流程依賴於實時移動面部追蹤器，後者允許他們為實時視頻流中每一幀的面部對齊網格運行GPU著色器。他們提供了定義面部區域的構造貼圖並將其作為輸入，如嘴唇，眼睛和臉頰，以及妝容屬性。然後再應用Instagram研發的光線響應妝容以生成目標圖像。諸如睫毛這樣的妝容附件可以疊加至面部進行呈現。最後，Instagram團隊應用了皮膚平滑和色調映射功能，進一步融合了皮膚源層和合成層，從而增加逼真感。

1. 光線響應妝容

Instagram的演算法適用於RGB和LAB顏色空間，其中基礎反照率顏色應用於RGB，而著色則在LAB中完成。以前的研究將妝容基色應用於HSV[KIM和CHOI 2008]或LAB色彩空間[d.Campos和Morimoto 2014]。然而，相關方法在多種膚色（色調）或光照條件下難以保持一致的顏色。

在Instagram的演算法中，他們首先對輸入圖像進行去飽和，並提取中低亮度頻率。接下來則將源妝容顏色與提取的頻率相結合，並使用中頻來突出顯示（在高頻進行篩選，將低頻率變暗），方法是在高頻進行相乘。

他們的著色演算法將妝容顏色與預先計算的環境遮擋貼圖相結合，並將結果轉換為LAB空間。為了所需的外觀，他們提出了一種實證的Gloss和Shine模型。它主要是通過轉換LAB的亮度來實現相關效果。

最後，他們使用環境貼圖模擬非常光亮的妝容區域反射。貼圖包含一個低頻工作室照明設置，並根據用戶的移動設備進行3D定向。

相關論文：Realistic AR Makeup over Diverse Skin Tones on Mobile http://t.cn/E4sbUJF

2. 睫毛

對於睫毛，他們採用了帶有節點的條狀網格和用於睫毛圖案的紋理。團隊使用4個節點來將網格可靠地附加到面部網格中的UV坐標，而這個網格在運行時可通過一系列混合形狀來進行轉換，從而模仿用戶的面部表情。這使得他們可以控制睫毛的長度，曲率和密度。

3. 皮膚平滑

Instagram團隊採用了邊緣保留模糊濾波器來均衡自然膚色，並模仿粉底化妝產品。他們探索了一定的演算法，包括雙邊濾波器[Barash和Comaniciu 2004]，低通濾波器和導向濾波器[He和Sun 2015]。雙邊濾波器提供了良好的視覺效果，但O（N2）複雜度使其在移動設備上的計算成本很高。儘管存在一個近似的解決方案，但它經常會產生偽影[Yoshizawa等人。2010]。

低通濾波器在計算成本更優，但難以產生良好的視覺效果。為了實現所需的視覺效果與性能，研究人員選擇了快速引導濾波器，它主要是在子採樣空間中進行大量計算，所以相當高效。通過使用圖像的亮度來作為引導圖像，允許RGB和亮度打包在單個紋理中，他們進一步優化了系統。

4. 色調映射

他們使用了類似於Reinhard運算符[Reinhard等人。2002]的本地色調映射。在Instagram的實現中，他們首先利用GPU雙線過濾來將圖像下採樣到大小的1/16。為了定位色調映射，他們使用了4×8網格，並計算每個區域日誌空間中的最小，最大和平均亮度。這種本地化提高了視覺質量，並且更好地利用了GPU的並行性。最後，研究團隊將每個像素的顏色重新映射成從計算值生成的s曲線。這使得渲染像素與實際環境匹配。

5. 結論

Instagram在一系列的移動設備上進行了測試，速度超過45fps，下表顯示的AR化妝的渲染時間。

Instagram團隊在論文中總結說：「我們已經表明，我們的方法可以逼真地渲染化妝師常用的材料（圖1），而在這一基礎上，我們為移動用戶開發了一個免費的商業試裝平台。」

文章《模擬真人化妝技藝手法，Instagram實現逼真AR妝容疊加》首發於映維網.

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！