視覺適應使眼睛比相機看得更好

科技 06-09

人工智慧學家

關鍵詞:visual adaptation 視覺適應 HDR

你一定有過這樣的體驗：你看到美麗的風景，你拿出手機想拍下來，但糟糕的是，手機無法完整地呈現你所看到的不同方位景點的亮度和對比度，如果你使手機聚焦離天空近的地方，那麼地面的樓房和樹木可能變得很暗，而當你聚焦樹木的時候，天空一片發白，雲朵的層次又看不清了，更糟糕的是逆光拍攝時，你要拍的花朵或雕像幾乎是黑的。為什麼相機不能如你所願地呈現畫面呢？

1、相機成像原理。

我們知道，照相機感光器件上每個像素點能把接受到的光亮強度轉化為一定的電壓，下圖示意一個感光範圍理想的感光像素的輸入輸出曲線：

視覺適應使眼睛比相機看得更好

談到什麼是最理想的保證計算機安全的方法，Adrian Ludwig打了個比方。他沒用鎖，防火牆，或者保衛城堡的護城河一類常見的東西打比喻，他說，計算機安全應當像信用卡業務一樣。

像素點輸出的是電壓信號，會被相機轉為數字信號，數字信號按照數值存儲，值域可以很大，比如一張照片內最暗的地方取值256，最亮的地方取值為10000256，比最暗處高出1000萬。按這樣原始數值存儲的照片格式叫RAW格式。但實際上日常所用的顯示器或顯示屏只能用0-255範圍的數值表示亮度，這意味著，如果要把Raw格式的照片呈現到顯示屏，需要把256-10000256映射到0-255，這意味著將1000萬個點的數值範圍壓縮到了256個點的數值範圍，許多細節亮度將要丟失，那些原本較暗但可以辨認出細節結構的區域會顯示為一片黑色。可見這樣的直接映射不是好辦法。事實上，相機採用的辦法是將Raw中值域的某一段映射到0-255的辦法，比如，當用戶把相機中央對準天邊，或鏡頭聚焦天邊時，相機會認為用戶更關注較亮位置的細節，因此可能會將10000001-10000256的值映射到0-255。這時候，天邊附近的雲或許層次分明，但地面顯得很暗。假如我們關注地面，相機又會將低段值域映射到0-255，這就使得天空一片發白。這就是相機總是顯示不出我們想要的畫面的原因。

所以我們要問：為什麼眼睛可以？這就需要我們對視覺系統的構造和視覺適應（visual adaptation）機制有所了解。

2、視覺系統的結構框架。

視覺系統是一個複雜的層級結構，從低到高依次包括光感受器（Photoreceptor，類似相機的感光像素點，能將光信號轉化為神經信號）、神經節細胞（Ganglion cell，能綜合附近光感受器的信號形成中心外周拮抗的圓盤狀感光結構，比如光照在中心時神經興奮，光照在外周時神經抑制）、外側膝狀體核（LGN，能將Ganglion cell的信息中繼給初級視覺皮層V1和上丘，也能被V1和上丘傳下來的信號調控）、V1（初級視覺皮層，這裡的細胞具有朝向選擇性，不同的細胞偏好不同的朝向刺激）、V2（這裡的細胞能對物體的邊界歸屬有選擇性反應，也能對雙眼視差、顏色、運動方向等信息有選擇性）、V4（這裡的細胞能對複雜的形狀有選擇性反應，也對顏色、運動方向等信息有選擇性）、IT（這裡的細胞能對客體有選擇性反應，比如有的亞區專門用來編碼人臉，有的專門編碼工具、場景等），這些都處於大腦的腹側通路，主要功能是進行客體識別，從V1和V2的信號也向背側通路傳遞，這個通路包括了MT和頂葉的一些結構，主要負責視覺空間位置信息加工。

3、視網膜（Retina）的適應功能。

視網膜鋪滿了兩類Photoreceptor，一類叫Cone（椎體細胞），一類叫Rod（桿狀細胞）。前者主要集中在中心視野（Fovea），能感知紅綠藍三色光，是我們獲得色彩知覺的基礎，並且由於它的神經響應（Response）在很亮的光照下仍然不會飽和（任何的感光元件都有其感光範圍，小於這範圍時元件響應主要受雜訊主導，大於這個範圍會使元件的響應飽和），因此我們在光亮環境下看東西主要是Cone的功勞。而Rod細胞主要散布在周邊視野，只能感知明暗，其神經響應在明亮環境下就會飽和，但在夜間表現良好。一件有趣的事情是：當你在夜間盯住天上的一顆星星時，你會感覺周邊視野的星星顯得很亮，但當你再去盯那個亮星星時，你又感覺它不亮甚至看不見了，這是因為盯住一個點看時主要用的是Cone細胞，而不盯時用的是周邊視野的Rod細胞。

Rod細胞和Cone細胞之所以能對不同光亮做出響應，是因為細胞內具有可以將光量子轉換為神經信號的物質，可是，當環境非常明亮時，越來越多的Rod細胞內的這類物質會被消耗殆盡，當環境更亮時，Cone內的也開始消耗。Rod細胞內這些物質的再生需要十幾到三十分鐘，這就是Dark Adaptation的機制，即從室外進入黑暗環境下時我們需要較長的時間才能恢復暗視覺，但Cone只需要1分鐘左右，這就意味著如果有一種炸彈能閃爍極亮的光芒，那麼人會在1分鐘以內看不清東西。當人從暗室走到明亮的室外時會感到刺眼疼痛，但過一會兒就會適應，這個過程叫Light Adaptation，其機制可能跟Photoreceptor的Gain Control（增益控制）有關。

Photoreceptor與相機中的感光元件有一點不同：一種光照亮度並不總是引起同樣強度的神經響應，這是由於Gain Control的原因。所謂gain，可以理解為特定單位的光子所能引起的神經響應的強度。實驗發現，隨著背景光亮度增加，打在Photoreceptor上的固定數量的光子所引起的神經響應會降低。這意味著photoreceptor的gain被細胞周圍的亮度控制了。那麼這種控制是如何實現的呢？現在似乎沒有清楚的結論，有些動物眼睛中相鄰的Rod和Cone細胞會相互調節對方，但有學者認為是與該photoreceptor相連接的Ganlion cell在調控，其調控的方法可能是根據鄰近細胞所接受到的亮度（背景亮度）來調控該細胞對一定亮度刺激的響應。無論如何，在視網膜上，一個photoreceptor對特定亮度的響應不是一成不變的，而是隨鄰近空間的亮度變化，也隨過去一段很短的時間內的歷史亮度而變化，可見這種gain control是在局部進行，是在微小的空間和微小的時間段內（一些研究認為是100-200ms，參考Robert Shapley 1984）進行的。Gain control的機制或許能解釋Light Adaptation：暗環境下的photoreceptor的gain很大，微弱的亮度增加就會帶來神經的猛烈響應，這時候突然進入很亮的環境時，細胞都會猛烈活動，也許會帶來附近血流的增加，進而擠壓神經帶來疼痛感，也可能是猛烈的活動信號傳遞給上丘，最終傳遞給負責痛覺腦區，使大腦產生保護行為：縮小瞳孔、閉眼睛，但過一會兒細胞可能會逐漸調整gain，從而適應外界環境。

Photoreceptor的這種gain control帶來的結果就是：神經響應所編碼的不是亮度信息，而是對比度（Contrast）信息，這一點在Ganglion細胞上可能表現得更突出。由於Ganglion細胞整合了附近photoreceptor的信號，因此能得知這些細胞接受到的光亮的平均值，也能獲得感受野（Receptive Field，可以理解成與其相連的photoreceptor所形成的盤狀結構）中心位置的photoreceptor感知到的亮度與鄰近亮度的差異，從而形成其感受野內的對比度信息。實驗表明，Ganglion細胞能對不同的Contrast有不同的Response，如下圖所示（圖片來源Luiz Carlos L. Silveira etc. ,2014, Plos One，我不喜歡Plos One，但這張圖片確實很直觀，圖中三條線分別對應三種刺激的空間頻率）。當然，Ganglion細胞對Contrast的響應也受到感受野內刺激的Spaital Freqency和Temporal Frequency的調製，可見視網膜對空間局部位置的光學信息進行了時間和空間上的複雜處理。

視覺適應使眼睛比相機看得更好

4、照相機的HDR模式

事實上，為了解決文章開頭所提到的技術問題，相機工業界早就有了解決方案，即High DynamicRange（HDR），據說這個技術的原始版本距今已有150年（參考Fred Rieke & Michael E. Rudd, Neuron, 2009）。這個技術的原理可以這樣理解：對場景中的每個微小局部，都配備一個相應的電壓值範圍，然後根據此範圍去調整每個像素應該輸出的電壓。而本文開頭的傳統方法是對整張圖配備一個固定的值域。局部分配有這樣的好處：在一個相對小的局部，光亮變化範圍不會很大，假如在某個局部最亮與最暗處的電壓值差異是256，則剛好能映射到屏幕可以顯示的值域內，那麼這個局部就不會出現太多的亮度信息丟失，保留了較為真實的對比度，據Shapley所言，對比度正是我們對世界具有亮度不變性（Luminance Constancy，即不管外面有多亮多暗，你總感覺樹葉是綠的，皮膚是黃的）感知的原因。上述僅僅是技術原理，不同公司可能有不同的技術細節，產生不同的呈現效果，但由上可知，HDR技術與視網膜加工亮度的局部性和Contrast驅動響應的特性極為相似。不過目前的手機仍然不能優秀地表現HDR的效果，一方面是需要連續拍攝3張以上照片來獲得不同值域上的亮度信息，從而消耗時間，並可能由於手抖而無法保證效果，但也可能是人們對視網膜的工作機制的細節還不夠了解，無法設計出匹配的演算法。下圖第一張是一張比較理想的HDR圖，能將日光和暗處的河流細節都表現出來，第二張是天空下的埃菲爾鐵塔，請注意塔的邊緣和雲的交界處發白，可見演算法存在缺陷。

視覺適應使眼睛比相機看得更好

5、視覺系統的其他適應功能

事實上，視覺系統的適應功能十分複雜，能在不同方面調節我們看到的畫面，使我們產生生動的圖畫感知。在視網膜上主要是通過Ganglion細胞等實現了局部的對比度信息保留，不過從這裡一直到V1皮層，對比度的gain control仍然在發生。在LGN，由於V1和上丘的調節，這裡可能根據較大範圍的畫面信息對LGN中編碼中心外周拮抗圓盤結構的細胞響應進行了調節。在V1，可能來自V2或V4等更高級視覺區的投射能調控V1對朝向結構的響應，比如單獨一根45度的小bar能引起V1每秒40次脈衝發放，但如果把這個小bar放在按直線排列的一組小bar背景中時，脈衝數量會大大減少。在IT可能也發生著複雜的adaptation，比如人臉後效（Face Aftereffect）。此外，注意本身也能產生顯著的gain control的功能，比如當注意某個位置的朝向條紋時，相應位置的神經元對不同朝向的響應強度會改變。這些都說明，大腦的視覺系統能在不同層級按照當前的任務和注意狀態對不同視覺元素或成分進行調控，使我們產生更加生動靈活的視覺感知，從而使我們適應環境，得以生存，並享受大自然的瑰麗景觀。

總結：

Visual Adaptation方面的研究進展國內幾乎沒有通俗的報道，在簡體中文媒介中缺乏傳播和討論，本文對這個概念進行了簡介。另外也特別希望看到國內能多一些專業人士將國外的視覺科學研究進展以中文的方式通俗報道，便於國人了解。之前曾好奇手機屏幕為什麼在陽光底下幾乎看不清，知乎上一些人竟然說是瞳孔的作用，也有說是注意的作用導致的，但本人簡單觀察了一下，發現其實是屏幕反射的光的強度掩蔽了手機內容的亮度，可見專業科研人員多寫一些科普文章還是有用的。另外就是特別期待國內某些大學能設置School of Vision Science and Art，設立光電、圖像採集、圖像呈現、攝影藝術、視覺科學、腦科學等專業，促進視覺科學與相機設計和攝影藝術等學科的交叉，促進視覺科學對成像技術的啟發，從而增強本國在圖像領域的發展。

主要參考文獻：

1. Shapley R. and Enroth-Cugell C. (1984). Visual adaptation and retinal gain

controls. In Retinal Research.

2.Fred Rieke and Michael E. Rudd. (2009). The Challenges Natural Images Pose for Visual Adaptation. Neuron.

來源：科學網

歡迎參加AIE實驗室創新科技風險投資互聯網見面會

2016年6月，AIE實驗室成立"風險投資創新科技路演群"，邀請近100多位著名風險投資家和天使投資人加入，AIE實驗室將在每月28日通過微信群舉辦「創新科技項目與風險投資家見面會「，邀請創新科技項目負責人在線展示項目，分享前沿科技最新進展。

作為第一期活動，AIE實驗室邀請創新科技項目負責人參加2016年6月28日的「創新科技項目與風險投資家見面會「。