卡內基梅隆大學王建：一種新型光幕感測器在機器人避障和無人駕駛中的應用｜AI 研習社 80 期大講堂總結

雷鋒網 AI 研習社按：以 LIDAR 為代表的 3D 感測器經常用於今日的道路場景理解中。在 GPS 與 IMU 的幫助下，我們將大量捕獲的點雲註冊到預先構建的 3D 地圖上，再通過複雜、計算量大且存儲密集的深度學習方法來檢測與分割運動中的障礙物。這些方法已經被證明是有效的，但是對於一些簡單的問題如「一個物體切入我的車道嗎？」或者「人行道上有人嗎？」，這些計算卻是不必要的。

因此，嘉賓的團隊提出了一種替代解決方案——「可編程光幕」感測器（light curtain sensor），該解決方案幾乎不需要增加任何開銷，同時還能具有高能效與靈活性等特點。在本次公開課中，嘉賓將分享關於這個光幕感測器的設計思路與實際應用效果。

分享嘉賓：

王建，Snap 公司 Research Scientist，卡內基梅隆大學博士，導師是 Aswin Sankaranarayanan 教授和 Srinivasa Narasimhan 教授，主要研究方向為計算機視覺，三維視覺，計算攝影等。其研究工作曾在 CVPR、ICCV、ECCV、ICCP 等發表並且多次獲得 oral presentation 機會。

公開課回放地址：

http://www.mooc.ai/open/course/561?=Leiphone

分享主題：一種新型光幕感測器 Light curtain sensor 在機器人避障和無人駕駛中的應用

分享提綱：

• 傳統 3D 感測器。

• 提出的光幕感測器的原理。

• 感測器設計和優化

• 展示大量實驗結果

雷鋒網 AI 研習社將其分享內容整理如下：

我們先看一下我們已經熟悉的一種電梯里的 light curtain。電梯門的兩邊裝有感測器，一邊是紅外發射器，一邊是紅外接收器。當有人或物體在電梯門之間阻擋了紅外接收器對紅外光的接收，電梯會立馬知道，從而知道是否可以關門。Light curtain 在工業界有很多應用。比如自動化工廠里，在機器的周圍會裝有這種 safety light curtain——當工人接近時，感測器感知到，可以通知機器關閉。

接下來講一下我們提出的感測器。以前的電梯里的 light curtain 感測器可以看成由一個線光源和線陣 sensor 構成，並且 light source 和 sensor 是面對面的。

我們提出的感測器是把 light source 和 sensor 放在同一邊。Light plane 和 imaging plane，兩個平面交於一條線。當這條線上沒有物體時，相機沒有任何讀數，圖像是黑的。當有物體時，相機的讀數就是非0，感測器可以立馬感知到物體的存在。通過同時旋轉 light plane 和 imaging plane，我們可以掃描空間中的任何一個平面。

通過改變 light plane 和 imaging plane 的相對旋轉速度，我們也可以掃描空間中的一個圓柱面。

由於我們感測器的成本很低，一個機器人或者無人車上面可以搭載好幾個這樣的感測器。並且各個感測器可以掃描不同的曲面來達到不同的監控目的。比如這個機器人上面可以有我們的感測器，用來監測一個 tilted plane，一個圓柱面，或者看前進路線上有沒有障礙物。無人車上面有監測前方的 curtain，有監測車兩邊的 curtain，也有監測路面的 curtain.

現在的無人車基本都裝載 LIDAR 感測器。通過 LIDAR 可以得到 3D 點雲，然後通過對點雲進行處理來知道車前方是否有行人和車輛。我們認為，如果只是單純的想知道車前方几米處是否有障礙物，完全可以用我們的感測器來解決，並且我們的感測器很便宜，計算複雜度也非常低，只需要一個 thresholding 就可以了。

這個動畫展示了使用我們感測器的一個場景。一輛汽車上搭載了好幾個感測器。有一個前方的 curtain 一直監控前方道路上有沒有別的車。當車要換道時，首先打開側邊的 curtain，看測道上是否有別的車。當車要轉彎時，注意 curtain 可以根據車速動態變化。當有霧來臨時，由於我們的 light curtain 可以看透煙霧，可以在這時打開路面 curtain，由此看到地面上的鐵路標誌。

接下來看一下我們的硬體實現。這裡顯示了我們感測器的光路。左邊是線光源，右邊是線相機。左邊線光源部分，首先是一個點激光，然後經過 collimation lens 和 line lens 變成一條線，再使用一個一維振鏡來轉動這個光平面。右邊線相機部分，首先是 line sensor，然後是成像物鏡，再是一個一維振鏡來掃描看的角度。

這裡展示了我們做的 hardware prototype. 左邊是線激光部分，右邊是線相機部分，中間是 power 和控制電路，還有一個 2d helper 相機，只是用來標定和更方便的展示檢測結果用。

接下里我們用實際實驗來展示我們感測器的掃描的 light curtain 形狀的可編程性。

這裡通過控制 line laser 和 line sensor 的相對旋轉速度，感測器掃描出了 cosine 形狀的 light curtain。中間的視頻來自於 2D helper camera，圖中的藍色部分是我們預設的 curtain，綠色是檢測到的結果，右邊的視頻則是來自線相機的原始讀數。我們可以看到，當物體或人出現在預設的 curtain 上時，它們很容易被檢測出來。

這個是機器人使用 Arc light curtain 來尋找前方可行的道路。

這裡使用 volume light curtain 來監測一個空間。這個 volume light curtain 由很多離散的線組成。

這是車庫使用 light curtain 來監測車庫裡汽車的情況。

這是搭載在汽車上的 curtain，來監測前方道路情況。

這是 tilted curtain 來監測一個機器人。

接下來我們看一下我們感測器在強烈太陽光下的表現。 對於主動打出光的設備，戶外能否工作是非常有挑戰性的。因為太陽光是個非常大的雜訊源，強烈的太陽光的光子雜訊會將主動光設備打出的光淹沒。這也是為什麼 Microsoft Kinect 不能在戶外工作的原因。

一個有效的方法是：將主動光聚集起來，然後掃描。這裡有主動光設備可選的三種機制，第一個是像 Microsoft Kinect 那樣，光就這麼發散著打到空間中；第二個是將光聚集到一條線上，然後使用一維振鏡進行一維掃描，這也是我們的感測器使用的方案；第三個是將所有光聚集到一個點上，然後使用二維振鏡進行掃描。從信噪比上看，第二種機制比第一種機制，也就是 Microsoft Kinect 使用的機制增加了 N 倍, N 可以認為是 1000. 第三種機制的信噪比提高了 N^2 倍。從幀率的角度看，第一種是最快的，但是它沒法在太陽光下面工作。第三種儘管信噪比很高，速度超級慢。第二種，也就是我們使用的機制，既有較高的信噪比保證可以在陽光下使用，又有較快的幀率。

這裡展示的是一個 sidewalk curtain 。當有行人從路邊走到路上時，我們的感測器很容易的將其檢測了出來。

這裡我們使用 volume light curtain 來監測人行道。

在強烈的太陽光下，我們的感測器依然可以看到 25m 外的白板，35m 外的白板也依稀可見。

對於一般反射率的物體，我們的感測器可以看到 13m 遠。這裡我們通過 sweeping 40 個 planar curtains 來合成一個 depth map。需要注意的是，我們的感測器一般不用做 depth sensor，而只是用作 half depth sensor，就是只是監測空間中某個預設的 depth，所以更準確的講，是一個 proximity sensor。

接下來我們看下我們的感測器在散射介質，比如煙霧中的表現。

在煙霧中，如果使用傳統的成像，那就是有一個光源，然後有一個 2D 相機。相機中的每個像素除了接收到物體反射的光之外，還接收到在煙霧媒介中散射的光。這些散射的光中既有散射一次的，也有散射多次的。

在我們 light curtain 成像中，我們線激光打出去，線相機接收，對於線相機上的每個像素，它除了接收到物體反射的光外，也會接收到煙霧媒介散射的光，但是在媒介中只散射一次的散射光是進不來的，也就是在光路中就被隔離掉了。相較於傳統的成像，我們的成像隔離掉了只散射一次的散射光，而只散射一次的散射光的強度要比散射多次的光強很多倍。由此，我們的感測器成的像的對比度要比傳統的成像高很多。

這是我們的感測器在煙霧中的表現。中間的視頻是普通的相機得到的，右邊是我們的感測器得到的。當有煙霧時，通過我們的感測器依然能看到路牌，但是普通的相機就看不到了。

接著我們來討論下 light curtain 的厚度問題。

由於相機的像素是有大小的，一般是幾個微米；線激光也是有厚度的，一般也有幾個微米到幾十微米；triangulation 的結果就不是一個點，而是一個四邊形。我們把這個四邊形的縱深稱為 triangulation uncertainty. 由於 Triangulation uncertainty 的存在，原本我們設定在 3.8 米處的 planar curtain，變成了一個有一定厚度的 curtain。所以當面對的是樓梯這個場景時，有三個樓梯被檢測到。

在一些情況下 curtain 有點厚有些好處，比如可以預防漏檢。但是在一些情況下，我們也希望 curtain 越薄越好，比如我們只想檢測車子左邊 2 米處有沒有物體，超過 2 米的我們不關心，如果 curtain 比較厚，就很可能會出現虛警。

根據理論推算，triangulation uncertainty 是跟深度的平方成正比的。這說明 curtain 會隨著深度的增加越來越厚。怎麼降低 curtain 的厚度呢？我們提出在相機端使用 line TOF sensor。根據理論推算，我們知道 continuous wave TOF 的 uncertainty 只跟調製頻率有關，頻率越高，uncertainty 越小，是不隨深度變化的。

所以，當在相機端使用 TOF 時可以取 triangulation 和 TOF 兩個 uncertainty 的最小值，這樣 uncertainty，也就是厚度，可以一直比較低。

對於樓梯這個場景，當只使用 triangulation 時，有三個樓梯被檢測到。當結合 TOF 的 phase 信息時，那麼厚的 curtain 變得很薄，所以只有一個樓梯亮了。

要想 TOF 的 uncertainty 比較小，TOF 使用的頻率就得比較高，但是當面對較大的場景時，TOF 會出現 phase wrapping 的問題。巧的是，Triangulation 可以和 phase 相結合，triangulation 可以幫助做 phase unwrapping。這是因為雖然 triangulation 的 uncertainty 比較高，但也提供了一定的深度信息。所以依然可以得到非常薄的 curtain。

接下來講一下 depth-adaptive imaging. 主動光系統一般都會面臨 light fall off 的問題。主動光系統發出的光會隨著深度逐漸減弱，這使得近處的物體的像很容易飽和，而遠處的物體會因為光太弱而非常暗，導致檢測不到。

但是對於我們的系統來說，由於我們掃描的面是由一條一條線組成的，對於每條線，它的曝光時間是可以改變的，我們的設備有這個自由度，所以我們可以對近處的線進行短曝光，而對遠處的線進行長曝光。這樣，總的發射能量是一樣的，但是可以看得更遠。

我們也可以控制每條線的激光強度。效果是一樣的，也就是總的使用能量一樣，但是能看得更遠，比如這裡後面車的 frame 看得更清楚。

總結一下，為什麼我們的 light curtain 有諸多好處呢，是因為我們預設了一個 depth of interest，所以整個設備就可以進行相應的最優化了。

1. 我們的感測器成本很低，消耗的能量很少，需要的運算也非常少；

2. 它可以在強烈太陽光下工作，也可以穿透煙霧；

3. 它的形狀和厚度也可以很靈活的改變；

4. 它的幀率也很高。

最後再講一下很多人關心的激光安全問題。激光安全距離需要非常多嚴格的計算。根據計算，我們的 prototype 中使用的激光在 0.72m 之外是絕對安全的。我們在 prototype 中使用的激光是可見紅色激光，在實際使用時應該使用紅外激光，紅外激光比紅色激光還要安全。

我今天的分享就到這裡，謝謝大家！

以上就是本期嘉賓的全部分享內容。更多公開課視頻請到雷鋒網 AI 研習社社區（http://ai.yanxishe.com/）觀看。關注微信公眾號：AI 研習社（okweiwu），可獲取最新公開課直播時間預告。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！