蹣跚學步到倒逼單反-移動拍照的過去與未來

手機是近10年來最重要且發展最快的計算平台，其發展速度之快，競爭之激烈，讓手機廠商每隔幾年就得切換不同的產品賣點。起先是系統定製化，之後是屏幕尺寸和解析度硬拼，再往後變成了機身材質和設計，而現在手機廠商PK的核心點，變成了拍照。

拍照體驗和絕對畫質一直都是用戶和廠商關注的重點，我們也能注意到手機成像在這10年間幾乎瘋狂的進步速度。畫質之外，今年手機雙攝開始普及，讓手機獲得了以前只有單反才能提供的「變焦」和「虛化」能力。

所有這些成像進步的背後，除了CMOS和鏡頭模組廠商的努力外，最大的功勞還是得歸功於手機上最為核心的移動。無論是ISP吞吐量、DSP性能，還是針對多種雙攝和單攝解決方案的支持，當今能在這些方面都站在頂峰的，暫時只有現役安卓旗艦的御用旗艦移動平台驍龍835了。

物理定律的極限，移動拍照的突破點

「底大一級壓死人」是數碼攝影時代最大的定律，感測器的單位像素越大，進光量就越大，信噪比的提升可以帶來更好的寬容度和細節表現。在感測器原理出現革命性變化前，這是無法掙脫的物理定律。

但手機作為移動設備，感測器同時受到體積和功耗的物理限制。不過，手機雖然感測器小，進光量不足，但能否通過連續拍攝多張照片，甚至是通過多個攝像頭同時拍攝得到的多張照片進行合成，從而變相地提高單位進光量，進行曲線救國式的改進和提升呢？

答案是肯定的，而且已經大規模應用了，前者就是大家經常用到的HDR和夜景模式的處理機理，而後者就是現在雙攝潮流的本初目的。但從早年移動平台瘋狂增長的像素數目，到後來HDR和夜景模式的多幀合成技術，再到現在的雙攝潮流，所有這些都得建立在移動平台強大的性能支持上。

對於手機拍照晶元級優化的三個層級：

1.最基礎的是底層的ISP吞吐量和性能，特別是雙攝/多攝方案中，翻倍的數據量更加需要吞吐量和性能；

2.再往上，是正在發展的DSP輔助優化。因為移動平台特有的性能和效率的問題，高通引入了定向優化的DSP晶元，甚至可以在無需喚醒CPU的情況下，低功耗而且高速地完成照片暗部提亮和降噪過程；

3.而未來的終極之爭，則是機器和深度學習。多幀合成降噪，以及最近大熱的雙攝虛化景深模擬，物體識別等領域都需要深度學習的支持。

而在驍龍高度優化的異構計算構架的理念下，對應的成果和方案，硬體上是高通驍龍835移動計算平台上性能兇殘的Spectra 180 ISP和Hexagon 682 DSP，而軟體上則是其背後的Zeroth認知和深度學習平台。

霸道的性能基礎：Spectra 180 ISP和Hexagon 682 DSP

早期的手機拍照中，CCD/CMOS感測器搜集的數據都得CPU親自處理。但CPU是負責處理通用邏輯數據的非定向電路，其通用性雖強，但在處理照片數據等特定領域上的速度和效率並不高，而且也會相當費電。

隨著手機像素的暴漲，CPU很快就無法跟上腳步，為了解決這個問題，手機領域也引入了相機上的ISP（Image Signal Processor 圖像信號處理器）。作為專門為攝影圖像處理工作而設計的電路模塊，ISP的效率和性能都是CPU所無法匹敵的。

在相機領域索尼Bionz、尼康Expeed和佳能DIGIC這些大名鼎鼎的主控，其核心部分都是ISP，各家相機廠的成片風格和體驗，都源自ISP的電路設計。而在手機上，即便用著相同的感測器，因為用的ISP和演算法不同，成片也會有差天共地的分別。

手機上的各種實時濾鏡、實時HDR、夜景多幀合成，都會讓ISP的處理量翻好幾倍。而在雙攝出現之後，ISP需要處理的數據量又翻了一番。為此，驍龍835的ISP被設計得異常強悍，Spectra 180由雙14bit的ISP組成，最高支持一個3200萬像素的攝像頭，或者2個1600萬像素的攝像頭。

這是現役SoC中規格最高，對雙攝支持最寬裕的ISP。在主流雙攝還在雙1200萬像素的情況下，其還留有寬裕的餘量，廠商可以在雙1600萬像素以下隨意進行雙攝搭配組合。

在ISP之外，高通在移動計算平台和異構計算構架的理念下，從驍龍820開始引入獨立的DSP（Digital Signal Processor，數字信號處理器），其內置的HVX（Hexagon向量擴展）專門用於圖像和視頻處理、虛擬現實和機器視覺等應用，而在驍龍835上已經升級為Hexagon 682 DSP。

Hexagon 682 DSP通過2個HVX的兩條矢量線程並行工作，每個線程提供 1024bit的 SIMD矢量數據寄存器帶寬，比普通ARM核心64bit的SIMD NEO管線的帶寬要大得多，可以讓每個HVX以每個指令周期4096bits以上的速度運行，而一個CPU核心僅能提供每周期 128 bits的處理能力。

此外，其可以為標量指令提供4個線程，每個包含4條VLIW管線，而且標量和矢量指令都可以並行處理，可用於並發處理大量的音視頻任務。藉助於SIMD和系統的特性，單個指令可以一次操作多個數據，因此在計算中很多數據可以被一次性填充進入處理過程，實現效能的最大化。

繼續強化：對焦、黑白雙攝優化與平滑變焦

Spectra 180 ISP和Hexagon 682 DSP搭配，還驍龍835支持硬體Zig-Zag多重曝光HDR功能，該HDR圖形技術可以通過長短曝光進行圖像的交錯處理，從而提供實時的HDR圖像預覽、HDR錄像和零延遲的快門。

在弱光情況下，ISP 和 DSP 可以自適應地增亮視頻和照片中較暗的區域，因為Hexagon 682的加入，驍龍835在執行這個操作時，速度比上代產品高3倍以上，而且能耗僅有之前的10%左右。這個過程中甚至無需喚醒CPU，不但速度更快，而且功耗更低。

而在手機拍照上，對焦是一個繞不開而且根本性的問題。手機因為感測器進光量小，在傳統的反差對焦性能上遠弱於相機，幾年前的手機拍照不佳，其實很大程度上是因為對焦能力不足而虛焦了。

因此，驍龍在Spectra 180 ISP中加入了混合對焦系統的支持，可以基於現場光線環境自動選擇最好的對焦方式。其支持2PD對焦，後者感測器的每個像素內置光電二極體，一個用於成像，一個用於對焦，讓感測器的每個像素點都可以用於進行相位檢測，從而大幅提升對焦速度，從而達到普通PDAF兩倍的暗光對焦速度。最著名的例子就是三星S7/S8上使用的IMX260/333和S5K2L1/S5K2L2感測器，其對焦速度和體驗，直到現在都沒有可以匹敵的對手。

在雙攝的支持上，Hexagon 682 DSP的加入，讓已經用到雙1600萬像素攝像頭的一加5，反而擁有比前代更快更好的拍照體驗。巨大的性能餘量，讓其沒有了前代連續拍攝HQ和HDR樣張後的前台處理等待時間。驍龍835的ISP和DSP，在廠商把像素用到極限之後，還能表現出比前代處理器和同代產品更高的餘量，不得不感謝兇殘的硬體規格。

但當移動感測器的單位像素達到1.4μm後，無論是感測器和手機廠商都已經意識到，感測器的硬體規格很快就會碰到天花板，雙攝註定會是之後發展的重點，因為這些雙攝相關的功能需要大量的軟硬體開發工作，很多廠商或許都沒有資源進行投入。

為此，驍龍在單攝優化之外，還提供了「彩色+黑白」和「雙焦段」兩種雙攝組合方式的專門設計和優化，甚至也推出了驍龍相機模塊。這些軟硬融合的硬體和演算法，都是OEM廠商可以直接使用的，大幅減輕廠商在工程上的研發壓力並加快廠商產品的研發周期。

為了融合兩個不同感測器的數據，高通為彩色感測器和黑白感測器搭配的方案開發了「Clear Sight 演算法」。通常主攝的感測器通過傳統的RGB拜耳陣列搜集顏色數據，而黑白感測器一般只能用於搜集亮度信息，而不是用來捕捉更多的光線。

而高通的演算法則讓黑白感測器突破這個限制，成像的過程中可以比彩色感測器上搜集更多的光線數據，從而變相增加進光量，提升畫面細節，讓樣張可以比單個彩色感測器提供更高的畫面對比度和更純凈的畫面。

另外一種主流雙攝，是類似iPhone 7 Plus上的常焦+長焦，或類似LG G6/V20上的常焦+廣角方案。硬體上，兩個攝像頭的固定焦段的，在不同倍數的變焦之間，需要數碼變焦進行契合。

驍龍835同樣提供了支持，OEM廠商可以根據自己的需求，使用不同的感測器搭配不同焦段的鏡頭，然後通過高通的「Smooth Zoom」平滑變焦功能，讓手機能在兩個不同的焦段間平滑、無縫並且無損地切換，從而實現類似單反的「變焦」能力。該技術一旦大規模應用，手機就會像當年相機初次引入變焦鏡頭一樣，改變並拓寬用戶手機攝影所能達到的範疇。

最高層級的拍照優化：未遇敵手的機器學習

在移動平台，機器和深度學習將會成為真正的殺手級應用，並成為計算機視覺和人工智慧助手的直接支撐，而移動攝影將會是最早受益的領域。機器學習雖然聽起來非常高大上和遙遠，但實際上早在2015年，安卓旗艦開始搭載的各種情景模式相機，就已經應用了高通驍龍系列處理器的開放介面。

而更上一階的Google，在自家手機系列上的HDR+技術，已經通過前代的Hexagon 680 DSP，使用Halide語言提供的深度學習能力進行圖形處理加速了。這些功能特性的背後，是高通在2014年建立的Zeroth認知計算平台，其通過視覺認知讓移動設備能夠利用計算機視覺、終端深度學習，從而獲得具備情景、物體識別，甚至是OCR識別文本和筆跡的能力。

而其硬體基礎，是高通在驍龍835上加入的神經網路SDK支持，廠商可以自定義神經網路層級。此外，Hexagon 682是首個同時支持TensorFlow 和Halide 兩種主流機器學習語言的DSP，其在這方面的性能是CPU的8倍，但卻比CPU省電25倍，本身就是面向多領域多平台的機器學習晶元。

具體到拍照場景，驍龍835的Hexagon 682 DSP同樣可以用於面部檢測和人臉識別，OEM廠商可以通過這些特性來改善自動對焦性能或進行人像美化，甚至是在視頻拍攝過程中的進行人工智慧識別從而完成追焦任務，以此在拍照硬體瓶頸期獲得大幅的對焦優化。

在HDR、夜景多幀合成的過程中，機器學習可以幫助手機識別場景和物體邊緣，提供更好的銳化和降噪效果，這些都是傳統演算法和硬體都無法提供的可能性。而在即將全面爆發的雙攝領域，無論是黑白雙攝的畫面數據合成和優化，長短焦雙攝的平滑變焦，還是背景虛化演算法所需的物體邊緣識別和摳圖，都是機器和深度學習的即將大展拳腳的地方。

總結與展望

「最好的相機，就是美好瞬間來臨時，你手上的那台」。隨身攜帶，高速開啟的手機是絕大多數人最重要的記錄設備，手機拍照的重要性只會越來越高。在硬體上，手機感測器很快會遇到物理上的瓶頸，未來的突破點，將會集中在演算法、ISP、DSP晶元以及它們所能提供的機器學習能力上，這些也是手機以後能否追上甚至超越單反的關鍵所在。

在這方面，業界的布局基本定型：聯發科被卡在低端入門產品根本無暇顧及，蘋果雙拳難敵四手，拍照早已被驍龍陣營的安卓旗艦超越且距離越拉越大。高通驍龍835這一代已經拉開了非常大的差距，性能兇殘的Spectra 180 ISP和Hexagon 682 DSP提供了寬裕的硬體基礎。

驍龍對於單攝方案的優化、2PD等混合對焦的支持、專門為雙攝優化的黑白感測器數據合成、多焦段鏡頭的平滑對焦，再到機器學習上的積累，這些領域都難有可以匹敵的同代對手。

對於OEM廠商來說，驍龍移動計算平台代表的遠不止最強性能和最強基帶，無論是地位越來越重要的移動拍照，還是對拍照和其他功能都有里程碑意義的機器學習優勢，驍龍平台都還沒遇到對手。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！