將2D圖像人物實時映射3D模型，Facebook開源DensePose技術

文章相關引用及參考：映維網

（映維網 2018年06月19日）Facebook AI Reaserch（FAIR）今天正式開源了DensePose，一項將2D RGB圖像的所有人類像素實時映射至3D模型的技術。

最近在人類認識方面的研究主要是定位一組零散分布的關節，如手腕或肘部。這對手勢或動作識別等應用程序而言可能已經足夠，但這減少了圖像解釋。Facebook則希望更進一步，比如說通過一張照片來進行試裝，或者替換圖片中朋友的衣服。對於這些任務，我們需要更完整的基於表面的圖像解釋。

DensePose項目旨在解決這個問題，通過基於表面的模型來理解圖像中的人類。Facebook的研究表明，我們可以高效地計算2D RGB圖像和人體三維表面模型之間的密集對應關係。與人體姿勢估計中利用10個或20個人體關節的常見項目不同，DensePose涉及整個人體，需要超過5000個節點。Facebook系統的最終速度和準確性加速了與增強現實和虛擬現實的聯繫。

早期對這個問題的研究在速度上相對緩慢，而DensePose則可以在單個GPU上以每秒多幀的速度運行，並且能夠同時處理數十，甚至數百人。

為了實現這一點，Facebook推出了DensePose-COCO。這個大型標註數據集，在50000張COCO的圖像上手工標註了圖像-人體表面（image-to-surface）的對應點。在第一階段，標註者將劃定與可見的、語義上定義的身體部位相對應的區域。在第二階段，Facebook用一組大致等距的點對每個部位的區域進行採樣，並要求標註者將這些點與表面相對應。

Facebook同時開發了一種新穎的深層網路架構。Facebook以Detectron系統為基準，並且納入了密集姿態估計的功能。和Detectron的Mask-RCNN系統一樣，Facebook採用了Region-of-Interest Pooling，並且引入了一個全卷積網路。Facebook用三個輸出通道來增強網路，訓練它把像素分配給各個部分，以及U-V坐標。得益於Caffe2，所產生的架構實際上與Mask-RCNN一樣快。

Facebook表示，之所以開源是因為他們希望DensePose可以為計算機視覺，增強現實和計算機圖形的研究人員和開發者可以更緊密地合作，並且助力新體驗的發展。據映維網了解，DensePose目前已經託管至GitHub（超鏈接前往映維網）。Facebook同時為DensePose-COCO準備多個預先訓練模型的性能基準，以及人工標註信息。

文章《將2D圖像人物實時映射3D模型，Facebook開源DensePose技術》首發於 映維網。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！