MIT學者度假時意外發現：能隔牆視物的「相機」無處不在

陰影的邊緣可以顯示隱藏的物體。圖片來源：Rune Fisker

提前看到拐角處疾駛而來的汽車？濃霧天被隱藏的物體也清晰可見？這種只有在超級英雄電影里才會出現的能力看似遙不可及，卻正在被科學家們一層層揭開面紗。近期，計算機視覺科學家將我們「視而不見、聽而不聞」的信息，通過特殊的圖像處理及重構技術重建出來，讓我們能看到隱藏在角落和牆壁後的景象，甚至能聽到隔音窗內的密談。

撰文 Natalie Wolchover

翻譯 趙曉楠

審校 徐文慧

2012 年，計算機視覺科學家安東尼奧·托拉爾巴（Antonio Torralba）在西班牙海岸度假時，注意到酒店房間牆上出現了一些雜散的陰影，它們似乎並不是任何物體投射形成的。他最終意識到，這些根本不是陰影，而是窗外露台微弱的倒立圖像。窗戶就像一種最簡單的針孔照相機（pinhole camera），光線穿過一個小孔，在另一側形成一個倒立的實像，但在灑滿陽光的牆壁上難以察覺。

這讓托拉爾巴震驚地發現：這個世界充斥著大量我們看不到的視覺信息。

看見「不可見」

這讓他和同屬麻省理工學院（Massachusetts Institute of Technology）的比爾·弗里曼（Bill Freeman）教授驟然意識到，「意外相機」無處不在：窗戶、角落、室內植物和其他常見的能創造周圍環境微弱圖像的物體。這些圖像比任何其他可見物暗了 1000 倍，通常肉眼不可見。「我們想出了提取這些圖像並使其肉眼可見的方法。」 弗里曼解釋道。

在他們的第一篇論文中，弗里曼和托拉爾巴展示了房間牆壁上光線改變的照片（質量幾乎和手機拍出的差不多），可以通過處理來揭露窗外的場景。去年秋天，他們與合作者表示，通過拐角附近地面上的影像，可以窺探到拐角另一側移動的人。今年夏天，他們又演示了從照片里室內植物葉子投下的不同陰影中，可以重建房間其餘部分的三維圖像。

在酒店房間外的露台，安東尼奧·托拉爾巴（Antonio Torralba）注意到他的窗戶好比一個意外針孔相機（圖 1）。牆壁上微弱的圖像（圖 2）可以變得更清晰（圖 3），只需用紙板覆蓋大部分窗戶以縮小針孔的尺寸。將圖像上下顛倒（圖 4）可以揭露窗外的景象。圖片來源：Antonio Torralba and William T. Freeman

在上述論文以及另一篇分水嶺式論文[來自拉梅什·拉斯卡爾（Ramesh Raskar）領導的一個麻省理工學院獨立小組] 的基礎上， 2012 年，一項被稱為「非視距成像（non-line-of-sight imaging）」的研究就此展開，深入探討角落周圍的觀察和不直接可見信息的推斷 。

2016 年，憑藉部分研究結果的優勢，美國國防高級研究計劃局（Defense Advanced Research Projects Agency，DARPA）啟動了一項耗資 2700 萬美元的「揭露計劃」（REVEAL program ，「Revolutionary Enhancement of Visibility by Exploiting Active Light-fields」，即「通過活躍光場的開發，革命性地提高能見度」），為許多美國新成立的實驗室提供了資金。從那以後，一系列新的深度見解和數學技巧，使非視距成像變得更加強大和實用。

無處不在的「意外相機」

攜帶著我們視界外圖像的光線不斷撞擊牆壁和其他表面，並反射到我們的眼睛裡。但為什麼這些視覺遺物如此微弱呢？因為實在有太多的光線在太多不同的方向上傳播了：圖像被沖淡了。

形成一幅圖像需要對落在表面上的光線進行極大的限制，只允許其中一組光線被看見，這也正是針孔相機的成像原理。托拉爾巴和弗里曼在 2012 年最初的想法是，我們的環境中有許多特徵物體會自然地限制光線，強度足以形成計算機能探測到的微弱圖像。

針孔相機的孔徑越小，產生的圖像就越清晰。因為成像物體上的每個點只會發出一束角度正確的光線以使其能夠穿過小孔。托拉爾巴酒店房間的窗戶太大，無法產生清晰的圖像，他和弗里曼知道，一般來說有效的「意外針孔相機」是罕見的。他們也意識到，任何小的遮光物體構成的「反針孔相機」（anti-pinhole camera），在周圍空間都會成像。

比爾·弗里曼（左）和安東尼奧·托拉爾巴（右），同為麻省理工學院計算機視覺科學家的他們一直合作密切。圖片來源：Lillie Paquette / MIT School of Engineering

想像一下，通過窗帘的縫隙拍攝房間的內牆，你必然拍不到太多東西。這時，一個人的手臂突然出現在你的視野里。比較一下這兩種情況下牆壁上的光線強度，就可以得出場景信息。視頻前面的一幀畫面中射向牆壁的一組光線在後一幀中被手臂短暫遮擋，將後一幀畫面的信息從第一幀中去除，費里曼說，「你可以抽出被胳膊遮擋的東西。」也就是一組顯示了房間部分圖像的光線。「如果你能夠去觀察那些阻擋光線和讓光線照射的物體，那麼你就可以進一步找到這些針孔狀圖像的藏身之處。」

除了旨在檢測低強度變化的「意外相機」研究，弗里曼和他的同事還設計了演算法用以檢測並放大細微的顏色變化（如面部血液的流動）以及微小的運動。他們現在可以輕鬆地識別出精確到百分之一像素的變化，要知道這往往會被噪音掩蓋。

他們已經開始結合上述不同的技巧來獲取隱藏的視覺信息。去年 10 月，弗里曼的當時研究生凱蒂·布曼（Katie Bouman ）領導的一項研究表明：建築物的各個角落就像相機一樣，可以粗略地拍下拐角處的景象。

對拐角處地面上的陰影半影進行拍攝（圖 1），可以獲得角落附近物體的信息（圖 2）。當隱藏區域內的物體移動時，它們投射到半影上的光線相對牆壁掃過的角度不同。這些細微的強度和顏色變化通常是肉眼看不到的（圖 3），但可以通過演算法得到增強。光線從半影的不同角度投射的原始視頻顯示了：拐角處一個人在移動（圖 4）；兩個人在移動（圖 5）。圖片來源：Antonio Torralba and William T. Freeman et al.

就像針孔和針腳一樣，邊緣和角落也限制了光線的通過。布曼和他的公司利用傳統錄音設備（甚至可以是手機），在大白天拍攝了一個建築角落的「半影」：即被角落隱藏區域的光線所照亮的陰影區域。例如，如果有一個穿紅襯衫的人走過那裡，襯衫會向半影投射出少量的紅光，當這個人走路時，紅光會掃過半影，肉眼看不見，但經過處理後就會非常清晰。

在今年 6 月報道的開創性工作中，費里曼團隊從牆邊綠葉植物的陰影中重建了整個房間的「光場」，即關於整個房間光線強度和方向的圖片。這些樹葉就像「反針孔相機」一樣，每片都會遮擋不同部分的光線。將每片樹葉的陰影與其餘陰影作對比，就能得到它所遮擋的那部分光線，從而解開隱藏場景的部分圖像。將視差（parallax）考慮進去，研究人員就能將這些圖像拼接在一起，重建出整個場景。

此外，他們還能將樹葉變成一個「視覺麥克風」（visual microphone），通過放大它們的振動來聽清人們在說什麼。2014 年時，研究者通過隔音窗戶拍攝了一個空薯片袋的震動，並將其重構出了一個音頻「瑪麗有隻小羊羔（Mary had a little lamb）」，而它的原音最初是托馬斯·愛迪生在 1877 年用留聲機錄下的第一段音頻。

用這種光場技術獲得的圖像遠比早期的「意外相機」成像清晰，因為在演算法中加入了對外界場景的先驗認知。室內植物的形狀、自然圖像趨於平滑的假設以及其他先驗認知，允許研究人員對噪音信號進行推斷，這有助於得到更清晰的圖像。正如托拉爾巴所說，光場技術「重建需要了解大量的環境信息，但它同時也能提供大量未知信息」。

散射光帶來的「逆問題」

當弗里曼、托拉爾巴和他們的學生髮現了我們「視而不見」卻一直存在的圖像時，在麻省理工學院的另一個地方，計算機視覺科學家拉梅什·拉斯卡爾「改變世界」的目標更明確，他採用了一種「主動成像（active imaging）」的方法：使用昂貴的專業相機-激光系統，實現對拐角處場景的的高解析度成像。

麻省理工學院計算機視覺科學家拉梅什·拉斯卡爾開創了一種主動非視距成像技術。圖片來源：Courtesy of ACM SIGGRAPH 2017

2012 年，拉斯卡爾和他的團隊實現了五年前的一個想法。他們開創了一項新技術，向牆壁發射激光脈衝，使一小部分散射光在障礙物周圍得以反射。每一次脈衝後的瞬間，用一個以每秒數十億幀幀頻記錄單個光子的「超高速掃描相機（streak camera）」，探測從牆壁上反彈回來的光子。通過測量返回光子的飛行時間，研究人員可以知道它們的飛行距離，從而重建出隱藏物體的三維幾何細節。

其中一個複雜的問題是，必須用激光掃描整個牆壁才能形成三維圖像。比如說，在拐角處隱藏了一個人,「從頭部、肩膀和膝蓋三個部位的某個特定點反射出的光，可能會在同一時間到達相機。」 拉斯卡爾說，「但是如果稍微調整激光的照射位置，那麼從這三個點發出的光就不會在同一時間到達。」必須整合所有的信號並解決所謂的「逆問題」，才能重建隱藏的三維幾何結構。

拉斯卡爾用於求解逆問題的原始演算法計算量很大，光是設備就耗資 50 萬美元。目前，他們已在簡化計算和削減成本方面取得了重大進展。今年 3 月，發表在《自然》雜誌上的一篇論文為拐角處隱藏物體的高效、低成本三維成像設定了新的標準，文中成功對拐角處的一隻兔子雕像進行三維成像。論文作者，斯坦福大學（Stanford University）的馬修·奧圖爾（Matthew O "Toole）、大衛·林德爾（David Lindell）和戈登·維茨斯坦（Gordon Wetzstein）設計了一種強大的新演算法來解決「逆問題」，並使用了一種相對經濟實惠、幀速率較低的SPAD 相機。作為其中兩位作者早期導師的拉斯卡爾說這篇論文「非常巧妙，是我最喜歡的論文之一」。

在主動非視距成像中，激光在牆壁上反射到隱藏物體上並進一步散射，然後經過牆壁再次反射返回初始位置

反射光可用於對物體進行三維重建

圖片來源：2018 Stanford Computation Imaging Lab

以前的演算法都曾糾結於程序性的細節：研究人員通常選擇牆壁上激光發射之外的點來探測，這樣可以避免相機收集反向散射光。但斯坦福大學的研究人員發現，將激光和相機對準幾乎相同的點，可以使出射和反射的光子映射出相同的「光錐（light cone）」。當光線在表面散射時，會形成一個不斷膨大的「光子球」，隨著時間的推移「光子球」的軌跡會形成一個「光錐」。奧圖爾（後來轉入卡內基梅隆大學（Carnegie Mellon University））將物理學的光錐轉換成了一個簡潔的數學表達，把光子飛行時間與散射表面位置聯繫起來，稱之為「光錐變換（light-cone transform）」。

自動駕駛汽車已經應用了可直接成像的激光雷達系統（LIDAR），可以預想，將來有一天還會配備用於觀察拐角處盲區的 SPAD 相機。「在不久的將來，這些（激光- SPAD 相機）感測器將以手持的形式出現。」拉斯卡爾團隊 2012 年開創性論文的第一作者安德列斯·韋爾滕（Andreas Velten）預言道。

韋爾滕說：「現在的任務是研究更複雜和更現實的場景，而不是精心設置一個帶有白色物體和黑色空間的場景。我們想要的是一台『傻瓜相機』。」

非視距成像的廣闊未來

弗里曼團隊的研究人員已經開始整合被動成像和主動成像這兩種技術，博士後赫里斯托斯·斯拉木普利季斯（Christos Thrampoulidis）的一篇論文表明，在用激光主動成像時，角落附近一個已知形狀的「反針孔相機」即可用來重建隱藏的場景，完全不需要光子飛行時間的信息。「我們應該能用普通的 CCD 相機做到這一點。」斯拉木普利季斯說。

有朝一日，非視距成像技術也能用來幫助救援隊、消防員和自主機器人。韋爾滕正在與美國航空航天局（NASA）的噴氣推進實驗室合作，開展一項旨在對月球洞穴內部進行遠程成像的項目。與此同時，拉斯卡爾團隊已經用他們的方法閱讀了一本合上的書的前幾頁，以及看清濃霧中一小段距離的場景。

費里曼的運動放大演算法在健康和安全設備上，或者微小天文運動的探測上也可能派上用場。來自紐約大學（New York University）和 Flatiron 研究所（Flatiron Institute，一所由西蒙斯基金會資助的研究機構）的天文學家和數據科學家大衛·霍格（David Hogg）說，這種演算法「是一個非常好的想法，我認為我們一定要在天文學中應用它」。

當被問及這些發現可能帶來的隱私顧慮時，弗里曼反思到：「這是我整個職業生涯中都不斷在考慮的。」弗里曼從小就研究攝影，在開啟自己的職業生涯時，他並不想從事任何可能涉及軍事或間諜應用的工作。

但隨著時間的推移，他開始認為「技術是一種可以以多種方式利用的工具。如果你極力避免任何可能有軍事用途的技術，那麼你將做不出任何有用的東西」，即使在軍事應用情況下，「這項技術被應用的選擇也非常廣，可能會幫助某人免於攻擊者的殺害。總的來說，能夠找到隱藏物體的位置總是件好事」。

然而，令他興奮的並不是這一技術的潛力，而僅僅是發現了隱藏在普通視野中的場景。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！