計算機能隔「牆」視物了，這可能是各國軍方最期待的黑科技

有時候躺在床上望著牆發獃，會發現牆上有著奇怪的「斑塊」。這些光斑也不像室內任何物體的影子，那到底是什麼東西投過來的？

Antonio Torralba and William T. Freeman et al.

2012年，一位計算機科學教授在休假時，對此感到十分好奇。他把「斑塊」研究了一番，原來，這些「斑塊」根本不是影子，而是窗外天台微弱的倒立成像。

其實這個現象不難理解，它背後是非常簡單的物理學知識——小孔成像。窗戶充當了小孔，物體的光線穿過窗戶，便形成牆上的倒像。這些圖像大多都很模糊，在光線充足的地方甚至接近無形，也難怪常常被人忽視。

這次經歷卻讓安東尼奧·托拉爾巴（Antonio Torralba）發現，我們的眼前其實隱藏著很多視覺信息，而且這些信息是可以解讀的。他和同事比爾·弗里曼（Bill Freeman）的一系列研究表明，計算機不僅能夠還原窗外的景象，甚至還能「看到」牆角另一邊的行人。

隨處可見的「相機」

在日常生活中，那些攜帶視野之外景物的光線，不斷照射到牆上或其他表面，並反射到我們的眼睛裡。可為何人眼幾乎看不到圖像呢？原因在於太多光線向四面八方傳播，圖像因此被沖淡了。

限制那些落在某一表面的光線，就能讓圖像變得可見。根據這個原理，我們可以製作出簡易的針孔相機，因為針孔只能讓特定的一組光線通過。縮小針孔的孔徑，圖像就會更加清晰。

窗戶便是天然存在的「針孔」，但由於自身太大，景物被投射在牆上時非常模糊。如果用紙板遮擋窗戶的一部分，縮小窗戶的孔徑，便能輕易看到窗外景觀的倒立成像。

用紙板擋住窗戶能夠形成更清晰的圖像丨Antonio Torralba and William T. Freeman et al.

雖然遮擋窗戶的想法很好，執行起來卻會受到很大的限制，因此不太可能解決實際的技術問題。那麼，我們能直接從環境中提取不可見的視覺信息嗎？

當然能。

讓隱藏信息現形

研究人員指出，一些意外出現的遮光物體也能揭示周圍環境。例如，當人走到窗戶前，便會引起光線的變化。通過對比變化前後的圖像，就能得到窗外景物的真實面目了。

這是怎麼做到的？其實那些被人遮擋住的光線，也攜帶著窗外景物的信息。理論上來說，提取這些信息並不困難。只要在遮擋前後拍攝照片，將兩張照片中的光線數據相減即可。由於這些遮光物體具有類似針孔的作用，它們也被稱作「反針孔」或「針腳」。

可以這麼理解：那些被遮擋住的光線，相當於通過了遮擋物形狀的針孔。

用物體遮擋窗戶，圖a表示遮擋前的光線，圖b表示遮擋後的光線，圖c的孔和遮擋物相同。圖b缺失的光線相當於圖c通過的光線丨Antonio Torralba and William T. Freeman et al.

但是，要提取信息還有一道坎：兩張照片過於相似。還好研究人員已經找到解決辦法，他們能處理照片的雜訊，然後成功還原出窗外的部分景象。他們還指出，遮光的物體越小，圖像越清晰，但雜訊也會相應增加。

窗戶前總有人來車往，考慮到這一點，這種技術的可行性就非常高了。更何況，無處不在的監控探頭正時刻捕捉著光線的變化。只要獲取一段監控視頻，計算機就能揪出影像之外的秘密。

黑科技升級

要從環境中得到更多視覺信息，一些常見物體也能派上用場，例如角落和盆栽植物。托拉爾巴去年開發出的新演算法，便能實現「隔影識人」：隔著牆角拍攝的照片經過處理後，可以顯示出在牆角另一邊行走的路人。

首先，他們在牆角地面拍攝「半影」，半影包含牆角物體的視覺信息。當牆角另一邊的人移動時，會朝半影投射出光線，這些光線掃過相對於牆體的多個角度。這些細微的密度和顏色變化是裸眼不可見的，但是演算法可以增強這些變化，繼而還原圖像。

Antonio Torralba and William T. Freeman et al.

今年6月，弗里曼等人通過植物葉子的投影，構建出隱藏場景的部分景象。在這項研究中，每片葉子都充當「針腳」，它們阻擋著不同的光線。將每片葉子的陰影和其餘部分對比，研究人員就能找到缺失的一組光線，然後將圖像拼湊起來。

這種方法生成的圖像更清晰，但前提是對周圍的環境有足夠的觀察。演算法中需要添加一系列關於外部世界的知識，例如盆栽植物的形狀和雜訊信號的處理，才能更好的銳化圖像。

廣泛的應用前景

托拉爾巴指出，心理學研究表明人類並不擅長解讀影子。也許原因之一在於，我們大部分的所見並非真正的影子，例如托拉爾巴看到的牆上斑塊。而我們的眼睛，最後也放棄了解讀它們。

但計算機可以做到人類做不到的事。由托拉爾巴等人開發的非視線成像技術，能夠實現轉角透視，並推斷出那些不直接可見的信息到底是什麼。可以預料的是，它將得到軍事和間諜人員的大力支持。事實上，美國國防高級研究計劃局（DARPA）已經在投資這種技術了。

對於弗里曼來說，他一開始並不想研究具有上述用途的技術。然而他逐漸意識到，如果因噎廢食的話，那麼很難有所作為。就拿非視線成像來說，它也可以應用於無人駕駛、機器視覺、醫學成像、天文、太空探索和搜救任務等。

「即便是在軍事中，技術的具體應用也有很大的跨度，它或許能救人一命，」弗里曼表示，「總體而言，清楚技術被用於何處是件好事。」

作者：Eon-SF，Olli_Huang

編輯：Ent

參考文獻：

Quanta Magazine, The New Science of Seeing Around Corners.

Accidental pinhole and pinspeck cameras: Revealing the scene outside the picture, doi: https://doi.org/10.1109/CVPR.2012.6247698

一個AI

沒有邪惡的技術，只有用錯地方的技術。

果殼

ID：Guokr42

整天不知道在科普些啥玩意兒的果殼

我覺得你應該關注一下

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！