Facebook新論文說明對鏡面在虛擬場景中的重建

基於感測器的掃描技術已經可以很成功的重建室內場景，但在這些掃描方案的應用中，鏡子和玻璃等表面的重建成了顯著的問題，一個鏡子會在其中形成現實世界的鏡像，而對於掃描系統來說，鏡像世界和現實世界實際上很難區分，玻璃也會產生與鏡子很相似的效果，然而這兩者都是在掃描生活場景是不可避免的成分，由於它們造成的困難，最近場景重建方法（如Matterport3D）甚至都需要用戶在掃描時手動選擇窗戶和鏡子。

最近，Facebook的研究人員發表了一篇論文，用於在掃描過程中自動識別鏡子和玻璃等容易產生鏡像的表面，並且對該表面平面實現精確的識別和邊界的檢測。

根據論文，Facebook的研究人員採用的是一種稱為AprilTag的標記方案。這個AprilTag實際上是一種用於機器人視覺等的技術，看起來就像是一個二維碼，在機器人視覺的運用中，AprilTag可以貼於障礙物上，感測器對這個「二維碼」進行識別，就可以了解前方的障礙，並做出應對。

在論文中，對AprilTag的運用更有趣一些，簡單地說，它沒有選擇將AprilTag貼在鏡子和玻璃表面再由掃描設備識別（可能這樣還不如直接在掃描過程中選擇鏡面方便），而是在掃描裝置的下方的一個畫有AprilTag的薄片上，對於可以形成鏡像的物品，掃描設備即可識別鏡像中的AprilTag，對於不能形成鏡像的物品，就沒有AprilTag的鏡像了。

關於鏡面表面和邊緣的識別，鏡面表面是通過將Slam裝置精確的姿勢估計和觀測AprilTag的鏡面圖像在空間的移動兩者結合起來運算得到的。

而對於的邊緣的識別，則是依靠多個功能通道的識別實現的，其中包括幾何識別、圖像強度識別、AprilTag特徵識別等等，通過將這些不同特徵的識別計算，即可估計出鏡面邊緣的位置和樣式，這還被用來區分玻璃和鏡面的反射，因為玻璃的反射更模糊，圖像範圍更大，而鏡面反射則更加保真。

當然這裡只是簡單的解釋，實際上，為了均勻的鏡面反射和更好地識別，對於照明光線、畫有AprilTag的薄片的組成都有更為嚴謹的要求，而如果去看鏡面表面識別和邊緣估計的論文部分，就會看到大量的公式計算。

那麼，這種方法的效果如何呢？Facebook的研究人員在i7-5930K 、NVIDIA TITAN Xp GPU和Ubuntu16.04的環境下實現了重建系統的配備，其中深度圖的解析度為960×640像素，RGB圖像的解析度為1224×1024像素。包括深度提取，深度融合，幾何使用雙輪廓提取，紋理生成在內的重建系統可以在在大約37Hz的頻率下運行；在使用12個線程時，系統可以以大約70Hz估算RGB圖像中的AprilTag位置。

另外，對於邊界提取的特徵計算在大約38Hz的頻率下運行；邊界分割優化的吞吐量是每秒60k像素，640×480像素的特徵通道集需要約5.12秒進行分割，在700幀下重建一面面積大約0.5平方米的鏡子大約需要90秒，而且單個鏡面觀察的幾何誤差基本始終為零。

這種方法當然也有它的局限性，首先它對於無框鏡面或者遮擋鏡面的邊緣識別並不好；再者，由於它對鏡面的識別完全基於AprilTag，如果輸入裝置沒有觀測到或者無法識別圖像質量很差的AprilTag，那對於鏡面的重建就會出現問題。比如雖然這種方法可以在單個的觀察中精確觀測鏡面，但它在門、玻璃、或者是彎曲非常嚴重的表面（凸面鏡、凹面鏡等）的觀測效果很明顯更差，就是由於檢測到的AprilTag的投影位置變化、扭曲了的緣故；另外，如果掃描裝置快速移動，也有可能會造成AprilTag圖像的失真，系統無法檢測到該圖像，導致重建失敗。

感興趣的同學可以戳https://research.fb.com/publications/reconstructing-scenes-with-mirror-and-glass-surfaces/觀看視頻和下載論文了解。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！