誰說偷窺一定要趴牆頭？這個系統可用聲波「看見」牆後物體

機器之心報道

參與：路、張倩

傳統的非視距成像方法多是利用光波進行圖像重建，最近斯坦福和英特爾實驗室的研究者提出一種新方法，用聲波的方式進行穿牆探測，並進行圖像重建。該研究表示，聲學方法可以「看到」牆那面的多個事物，且允許的距離範圍較大，同時成本較低、時間較短。相關研究已被 CVPR 2019 接收。

我站在牆前，想看到拐角處我視線範圍之外的事物，除了伸長脖子或者走過去，還有別的方法嗎？

非視距成像（Non-line-of-sight (NLOS) imaging）技術利用角落或障礙物周圍牆壁反射的光波，重建出圖像，從而看到視線之外的事物。但這種光學方法中用到的硬體非常昂貴，且對距離的要求較高。

那麼，如果不使用光波，轉而使用聲波呢？

來自斯坦福大學與英特爾實驗室的研究人員想要試試看，他們構建了一個硬體原型 ：一個裝有現成麥克風和小型汽車揚聲器的垂直桿，參見下圖：

原型系統圖。該原型包括一個垂直安裝在 1 米平移台上的 16 個揚聲器和麥克風線性陣列。功率放大器和一組音頻介面驅動揚聲器並從麥克風錄音。

在實際操作中，揚聲器會發出一串啾啾聲，聲音以一定角度彈到附近的牆壁上，然後撞到另一面牆上的隱藏物體：一張字母 H 形狀的海報板。然後，科學家們一點一點地移動設備，每次都發出更多的聲音，最後聲音以同樣的方式反彈回麥克風。

2D 聲學 NLOS 掃描系統的可視化。

接下來，研究人員使用地震成像的演算法，對字母 H 的外觀進行粗糙重建。

地震學中有類似的問題，利用衝擊波進行探測並重建地下結構的圖像。

該研究對字母 H 的重建結果如下圖所示：

上圖只是一個「隱藏物體」的圖像重建結果，那麼如果有多個隱藏物體，系統也能夠很好地執行圖像重建嗎？

答案是：YES！

下圖展示了該系統對 4 個隱藏物體的圖像重建結果：

從這些實驗結果上來看，利用聲音信號進行 NLOS 成像是可行的。那麼，它的效果能不能比得上基於光波的 NLOS 成像方法呢？

研究者也進行了對比。如下圖所示，給出兩個字母 L 和 T，光學方法需要使用的設備比較昂貴，且只能生成 T 的圖像，對於距離較遠的字母 L 則沒有成功重建圖像，此外，該方法需要花費的時間較長，超過一小時。

相比之外，該研究所提出的聲學方法能夠重建出兩個字母的圖像，且時間較短，只用了四分半鐘！距離也比光學方法高出 2 倍。

這項技術距離應用還需要數年的時間，但作者表示，該技術的超聲波版本最終可能會應用於自動駕駛汽車上，用來探測看不見的障礙物。或者，你可以用它來監視隔板另一邊的同事（可怕！

原理介紹

研究者參數化了聲學波場，使得發射揚聲器和接收麥克風位於 {(x, y, z)∈R×R×R | z = 0} 平面上。該波場是 τ (x_t, y_t, x_r, y_r, t) 的 5D 函數，其中，x_t、y_t 表示揚聲器的空間位置，x_r、y_r 表示麥克風位置，t 表示時間（見圖 1 和圖 2）。

圖 1. 該研究提出的聲學 NLOS 成像方法概覽圖。調製聲波從揚聲器發出，穿過牆角到達隱藏物體，在反射回來時由一個麥克風記錄下來。處理後的測量值（左下）包含峰值，表示聲音從揚聲器直接傳播到麥克風的路徑長度（A，峰值被剪切）、傳播到牆並回返的路徑長度（B），以及到隱藏物體並回返的路徑長度（C）。從一系列揚聲器和麥克風的位置捕捉這些測量值，用於重建隱藏物體的 3D 幾何形狀（右下）。

圖 2：場景幾何和測量值捕獲示意圖。聲陣列發出聲信號，該聲信號通過牆壁反射到隱藏物體，然後反射回來。由於牆壁在聲波波長上的鏡面散射，測量數據似乎是從位於牆壁後面的鏡像體中捕獲的，就好像牆壁是透明的一樣。發射信號的頻率隨時間而線性變化。對於單個反射器來說，返回信號是延遲版的發射信號（右上角）。接收和發射信號混合在一起並進行傅里葉變換，在與反射器距離成正比的頻率上產生一個波峰（右下角）。

圖 1 和圖 2 進一步顯示了測量值的幾何結構。在聲學波長上，牆充當一個類似鏡面的反射器，將發射信號 g 散射到拐角，到達隱藏物體，然後返回到聲波陣列。

由於牆的鏡面散射，在測量中，隱藏物體似乎位於牆外的一個位置。因此研究者選擇忽略牆，以使圖像重建步驟建模從位於透明牆後面的虛擬對象捕獲的測量值。對於同樣具有鏡面散射的光滑隱藏物體，研究者假設虛擬物體的表面法線指向聲陣，這樣就可以觀測到信號。這一假設也被提出，例如，雷達系統通過牆壁成像並捕獲鏡面散射 [1, 3, 42]。

如何利用聲音

聲波散射

下圖 3 概述了聲波散射雙向反射分布函數（BRDF）：

圖 3：聲波散射 BRDF 示意圖。在大于波長的平坦表面上進行鏡面散射（中左）。在等於波長的牆角幾何結構上進行逆反射散射（retroreflective scattering，中右)。對於小于波長的表面，物體周圍的衍射會導致漫散射（右）。

信號隨距離的衰減

對比光學 NLOS 成像中常見的漫反射，聲學信號衰減與 1/(r_t+r_r)^2 成正比，而光學信號衰減與

成正比。研究者在圖 4 中通過實驗驗證了這種衰減。

圖 4：信號衰減（左）和解析度分析（右）。研究者利用 log-log 尺度上的線性回歸，繪製了角反射器和平面鏡面散射目標的測量值。角反射器的信號衰減約為 d^ ?1.92，而平面目標的信號衰減約為 d^?1.89，與預期的 d^?2 衰減基本吻合。圖中還展示了漫反射光學 NLOS 成像的 d^?4 衰減。與典型的光學方法相比，該研究給出了一系列聲信號帶寬範圍下不同距離對應的橫向解析度（lateral resolution）。

傳輸信號

下圖 2 描述了信號傳輸的過程。

如何生成圖像

當信號發射位置和接收位置相同時，即 x_t = x_r，y_t = y_r，研究者使用閉合解（closed-form solution）進行圖像重建。也就是光學 NLOS 成像方法中所說的「共焦」掃描。研究者對空間位置接近的揚聲器和麥克風進行聲學共焦測量。

共焦測量能夠對隱藏物體的 3D 幾何形狀進行高效的重建，但是在更常見的非共焦測量情況下如何進行高效重建呢？

研究者首先調整非共焦測量，使其模擬共焦採樣網格捕捉到的共焦測量。然後再執行常規的地震成像步驟，即動校正（NMO, normal moveout correction）和傾角時差校正

圖 5：動校正和傾角時差校正圖示。

下圖 6 展示了如何通過非共焦測量，來改善信號質量、提升空間採樣。

圖 6：在有兩個隱藏物體時，圖像重建的流程。

實現

除了本文開頭所提原型系統所需的硬體設施之外，在軟體方面，該系統中所有步驟都使用 Python 實現。目前，該研究已經開源，包含研究所用數據集和軟體。

GitHub 地址：https://github.com/computational-imaging/AcousticNLOS

關於該研究更多內容，參見以下視頻：

參考鏈接：

https://www.sciencemag.org/news/2019/06/scientists-use-sound-see-around-corners

http://www.computationalimaging.org/publications/acoustic-non-line-of-sight-imaging/

http://www.computationalimaging.org/wp-content/uploads/2019/03/cvpr_2019_2059.pdf

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！