精細到頭髮絲，Adobe深度摳圖方法的實現來了！

摳圖是件體力活。傳統摳圖演算法主要是以色彩為特徵分離前景與背景，並在小數據集上完成，這造成了傳統演算法的局限性。去年年初，Adobe 等機構發表論文《Deep Image Matting》，採用大規模數據集與深度神經網路學習圖像的自然結構，進一步分離圖像的前景與背景。今年，有研究人員復現了該方法，並發布在 GitHub 上。

• GitHub 地址：https://github.com/foamliu/Deep-Image-Matting
• 預訓練模型地址：https://github.com/foamliu/Deep-Image-Matting/releases/download/v1.0/final.42-0.0398.hdf5

論文《Deep Image Matting》中提出的深度模型包括兩個階段：

• 第一階段是深度卷積編碼-解碼網路（deep convolutional encoder-decoder network），該神經網路將圖像和相對應的三分圖（trimap）作為輸入，並預測圖像的 α 蒙版（alpha matte）。
• 第二階段是一個小型卷積神經網路，該神經網路對第一個網路預測的α蒙版進行精鍊從而擁有更準確的 α 值和銳化邊緣。

該模型用這兩個階段實現較為完善的摳圖過程，而且摳圖效果相當不錯，連頭髮絲都看得見。

該研究提出的摳圖精鍊網路的效果。a) 輸入圖像。b) 編碼-解碼階段的輸出。c) 精鍊階段的輸出結果。

復現

前不久，分眾傳媒大數據部技術總監兼首席數據科學家劉楊復現了該研究，並發布在 GitHub 上。該 repo 介紹了使用的框架、數據、模型、運行代碼等，並展示了摳圖效果，以及摳圖後與其他圖像的合成效果，如下圖所示：

第一列為輸入圖像和對應三分圖（trimap），第二列為輸出圖像和真值（ground truth，GT），第三列為新的背景和合成圖像。

從下圖第一個例子中可以看到輸入圖像中動物的毛髮甚至腿上的一些其他顏色的印記都可以在摳圖過程中很好地保留，而將摳圖後的輸出與新的背景圖像進行合成後的效果也很自然。你能看出來這是摳圖合成的圖像嗎？

下圖第二個例子中對人物頭髮的處理效果也很驚艷，髮絲絲絲分明，與新背景圖像的合成效果也很不錯。

第三個例子中的蒲公英的摳圖效果也很不錯，不過看最終合成圖，似乎把原始圖像中的背景（藍天）也「摳」下來了一部分……不過乍一看依然很驚艷啦～

更多示例參見該 GitHub repo，大家也可以試一試摳圖效果哇～

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！