特朗普究竟用不用 iPhone 拍媒體照？

iPhone 手機的強大照相功能，已經使得所拍照片，可以作為海報來使用。那麼，蘋果新手機的相機，究竟有多優秀？美國政要是否也會使用蘋果手機來拍照呢？本篇文章即將為你揭秘！

蘋果最新圖像系統，可媲美單反相機的質量

蘋果最新的圖像系統使用了硬體、軟體、神經引擎和大量的計算，來產生媲美單反相機的質量。

在蘋果公布了一系列新的iPhone產品和令人驚嘆的攝影功能幾分鐘之後，我在Apple Park訪客中心邂逅了明星攝影師Pete Souza。

不知為何，Souza並沒有被像我這樣崇拜他的技術和才智的粉絲包圍，要知道他可是拍下了里根和奧巴馬兩位總統的名人攝影師，他的才華從Instagram上可見一斑。於是我試著跟他打了招呼。

「您好，是Pete Souza嗎？」當時Souza正在低頭看他的iPhone，尋找在哪兒能打到Lyft。他抬起頭來，在午後的陽光下眯著眼睛，說：「是我。」

後來Souza在電話中告訴我，蘋果請他參加iPhone XS的發布會，但他並不知道蘋果想讓他幹什麼。他說，「管它呢，去了再說吧。」

在訪客中心的門外，Souza和我開始比較蘋果的新產品iPhone XS、XS Max和XR的新相機功能。

iPhone XS型號的雙1200萬攝像頭的規格，與第一代iPhone X幾乎沒有變化：兩個垂直排列的1200萬像素攝像頭，一個是f1.8廣角，一個是f2.4雙倍變焦，此外還有個700萬像素的前置攝像頭，是其TrueDepth模塊和感測器技術的一部分。

但是，這幾個攝像頭的背後，是新的圖像感測器、鏡頭，以及A12 Bionic晶元組帶來的嶄新的圖像信號處理器。

像我一樣，Souza對人像模式下能夠在拍照之後，調整背景模糊效果的功能感到很驚訝，更神奇的是，不論前置還是後置雙攝像頭，都支持這一功能。他告訴我，消費者應該不會記住界面上顯示的光圈數字。

後來，Souza在電話里說，「我覺得消費者在用這個功能時，完全不會理解它什麼意思。」不過他也說，消費者能理解最終的效果，因為「往一個方向拖動，背景就會變得模糊，另一個方向會讓背景變得清晰。」

「我喜歡團隊做出的這個決定，它是對攝影藝術、及巧妙利用鏡頭特性的作品的尊重。」當我問起景深編輯器中的光圈數字時，蘋果的全球市場高級副總裁Phil Schiller如是說。

Schiller和蘋果相機硬體高級總監Graham Townsend、蘋果軟體副總裁Sebastien Marineau-Mes，在iPhone XS發布會當天下午坐在一起，揭秘蘋果的iPhone技術中的一部分，即他們的攝影、視頻捕捉硬體、軟體的設計和開發。

消費者在手機上和照片編輯軟體中，看到的光圈數字，並不僅僅是在模擬單反相機中的曝光控制。Schiller告訴我，Apple創建了一個精確的模型，來模擬真實的鏡頭和光圈數字的行為。

在真實的相機中，f數字越大，表示光圈越小，景深越長。換句話說，f1.4可以實現前景清晰、背景模糊的效果，相反，f16會讓前景背景中的一切都很清晰。

在智能手機上，第一次實現這種攝影技術，是2016年發布的iPhone 7 Plus及其人像模式，它利用雙攝像頭系統拍攝的兩張圖像（及一些演算法）來創造背景模糊的效果。

這項技術本身的目的，是讓iPhone攝影的業餘愛好者，將普通的照片變成專業級別的照片。但是，它只能實現雙層景深，同期許多其他基於智能手機的人像模式照片都是如此。

前景對象所在的的照片聚焦，背景所在的照片模糊。三星第一個實現了可調整的模糊，可以在拍照過程、或後期處理中使用，但三星的Live Focus依然把圖像當成兩張來看。

像真正的鏡頭一樣

使用新的iPhone XS和XS Max後，我們明白的一點是，景深滑塊幾乎在前景和背景之間，捕獲了無限的平面，蘋果稱之為「鏡頭建模」。

「我們將鏡頭的模型轉成數學模型，然後應用到圖像上。」Mariuneau-Mes說，「之前從沒有人這樣做過，他們只是在模糊背景而已。」

而後期處理方面，不論你使用iPhone XS的前置700萬像素單攝像頭自拍，還是使用iPhone XS或XS Max的雙攝像頭拍人像，或者使用iPhone XR的後置1200萬像素單攝像頭，後期處理都能正常工作。

簡單來說，蘋果採用了三種截然不同的景深信息捕捉技術，來獲得同樣的景深編輯效果。

Townsend介紹說，他們使用了三種不同的信息來源：TrueDepth模塊中基於點陣的深度感測器，XS和XS Max後置的雙1200萬像素攝像頭的立體圖像，以及XR上幾乎完全由演算法組成的解決方案。

最值得一提的，是蘋果的景深編輯技術，它可以讓你在不改變曝光量的前提下改變光圈。

在傳統的單反攝影中，任何光圈大小，都必須匹配正確的快門速度。較小的光圈意味著曝光不足，而若使用較大的光圈，如果不相應地增加快門速度，就會讓照片曝光過度。

但是，在iPhone XS中只需要前後調整景深，就能調整模糊程度，同時保持曝光量不變。這需要大量計算，但Marineau-Mes說一切計算都是實時進行的。

追求專業品質

Souza在華盛頓特區的自然歷史博物館測試iPhone XS時，這樣描述景深編輯功能：「太棒了，太棒了。」

他在博物館的真人大小的史前人類微縮景觀上，測試了人像模式。即使是透過玻璃櫃，其效果也非常贊。「能夠改變光圈大小同時保持聚焦……我用的是舞台光（人像模式中的設置之一）來降低背景亮度，但人像的眼睛依然能保持銳利。」他說。

Souza還說，「我認為這可以媲美……我用的佳能85mm鏡頭，加上最大光圈，就那種效果。」

Souza作為一名蘋果和iPhone愛好者，他不像那些經常換手機的人，這位63歲的攝影師，說他從沒用過其他品牌的手機。

他說，在拍攝奧巴馬時，會使用單反（他解釋說「這些照片會成為國家歷史檔案」），但他總是會帶著iPhone（從5到7），來拍攝休閑的照片。他還說，「我用iPhone拍了幾百張雪景照片、玫瑰園照片，裡面都沒有人物。」

顯然，專業攝影師能夠理解智能手機攝影的限制。即使有了多攝像頭、望遠功能和後期處理，手機也很難取代，全幅35mm感測器和55mm或更大的鏡頭。

但這並不能阻止蘋果嘗試的腳步。蘋果在多個方面，嘗試將專業攝影的功能，交給幾百萬iPhone用戶，並將圖像捕捉（包括照片和視頻），作為一個系統來解決。

「我們不是硬體公司，也不是軟體公司。我們是系統公司。」Townsend說，並強調蘋果能在大量消費級電子設備中，脫穎而出的關鍵在於，他們擁有整個技術棧的控制，能夠完成軟硬體方面，從設計到開發的幾乎一切工作。

「我們能夠設計一切，從光子第一次進入鏡頭開始，直到它成為捕獲的文件中的一個點。只有蘋果才能設計並組合一切。」Townsend說。

蘋果這樣做的部分原因是，圖像這種複雜系統中，正常工作的組件，並不一定會一直正常工作。蘋果喜歡從第三方定製部件，是出了名的，但他們想做更多。

為了創造雙攝像頭系統，蘋果必須保證兩個鏡頭，處於精確的位置和角度。

「我們的標準很嚴格。」Schiller笑著說。

如果某個合作夥伴，表示無法按照蘋果的規格製造，蘋果就會尋找相機製造專家來製造。蘋果說，他們與製造商一起改進設備。

「我們的重要目標是第一台手機、第100萬台手機和第1000萬台手機的規格，在人類能做到的極限內儘可能接近，為此我們付出了巨大的努力。雖然我們並沒有經常提到這一切……但是，世界上的任何兩台手機之間，不會有大的差異，這一點對我們十分重要。」Townsend說。

在內部，蘋果的硬體和軟體團隊經常一起開會，來定義他們要用新型A12 Bionic晶元（該晶元花了三年時間開發），和在iPhone XS等新硬體上開發的圖像功能。

「架構上，開發HDR的決定，是在討論晶元架構一開始就確定的。」Townsend說。

即使如此，不同的部件，也可能在不同的時間到達。因此，既有事先制定好的架構計劃，也有隨時的調整。

此外，蘋果的HEIF格式，帶來了更高的質量和更小的文件。如果A12的開發始於三年前，而當時有兩三代iPhone相機系統正在開發，那麼必須作出調整，讓圖像處理晶元（ISP）匹配最新的鏡頭和圖像感測器。

幸運的是，Marineau-Mes說他的團隊，仍然能對ISP（A12晶元的一部分）進行編程，以適應iPhone XS、XS Max和XR中的鏡頭和感測器。

當然這會有代價。「我們要在鏡頭中實現，才能得到更好的圖像，但也同時要在ISP中實現。」Sebastian Marineau-Mes說。

這種跨部門的合作，在蘋果圖像處理皇冠上的第二顆明珠——Smart HDR的開發過程中極其重要。

傳統HDR利用一對曝光時間不同的圖像，來捕獲照片的暗區和高光區。由於照片千差萬別，即使是最好的HDR照片，一些細節（也可能是很多細節）也不得不丟棄。

否則最終合成的圖像，會包含顯著的雜訊，特別是在運動攝影中。此外，HDR還會導致快門延遲，這意味著運動攝影幾乎不可能使用。

在我對iPhone XS和XS Max的測試中，Smart HDR能在高難度的情況下，拍攝出高質量的圖像，能碾壓僅一歲的iPhone X。

正如Schiller在Keynote演講中所說，每張照片上都要經過上千億次操作，才能實現現在的效果，但一切都從ISP和它的高性能開始。

Marineau-Mes告訴我，相機首先會用不同的光圈，在1/30秒內捕捉兩張圖像。這兩張圖像被傳遞到軟體流水線、和A12的神經引擎中，開始對圖像進行分析。

但Smart HDR並不會止步於此。「原始圖像會以30fps的速度捕捉（也就是說每1/30拍攝兩張照片），然後在之後的幾百毫秒內進行合成。」Marineau-Mes指出。

A12晶元內部的神經引擎，不僅會分析每幀圖像的曝光，還會分析各個圖像元素。它能識別出面部特徵並尋找運動。如果系統檢測到運行，就會尋找運動最銳利的那一幀，將其加入圖像中。

類似地，對於帶有紅眼的照片，不僅是簡單地修復紅眼部分，還會嘗試用沒有紅眼的幀進行替換，或用沒有紅眼的幀中的眼睛顏色來修復。

早些時候，蘋果給我展示了一張照片，是一個扎著臟辮的男人站在湖裡。逆光很嚴重，儘管我能看到他的身形。他的頭髮正在甩動，所以臟辮飛出水面，水珠飛到了空中。

如果這張照片讓我用單反來拍，我會將快門設置到至少500fps，但光圈大概在f11左右，以保證一些景深。我還會提高ISO來獲得足夠的光線，但這很可能會導致大量的噪點。

但這張捕捉時機和曝光都很完美的照片，是用iPhone XS拍的。

「我們會設置一個參考幀，並用多個幀的信息進行混合。」Marineau-Mes說。我看到的這張照片是由多幀合成的。一些幀包含了最終照片的一部分，如極其銳利的頭髮和水珠。

「在合成幀的時候，如果各幀的圖像一樣，就能得到極低的雜訊和更好的細節。」他解釋道。

Marineau-Mes說，這需要極其強大的ISP和神經引擎，並需要同樣強大的GPU和CPU支持這些處理。

所有這一切，在你按下iPhone相機應用的虛擬快門按鈕之前就開始了。Schiller說，這就是為什麼用戶在iPhone XS、XS Max和XR的屏幕上看到的與最終照片沒有太大差距的原因。

Schiller說，「你需要這一切。對於用戶來說，一切都必須是實時的。」

我問他們，收集這些信息會如何影響文件大小，他們回答說，蘋果的HEIF格式，能實現更高的質量和更小的文件尺寸。

「我們的相機是為真實的人在真實的需求下設計的。」Townsend說。「他們沒有三腳架，也不=在實驗室中。他們要求的是，不用多想就能拍出漂亮的照片。」

Townsend說，有時，蘋果的工程師，會偶然地得到更好的圖像技術。去年，蘋果加入了閃爍檢測，它能找出光源的閃爍頻率，並嘗試在靜態照片和視頻中減少閃爍。

雖然白熾燈和日光燈的閃爍頻率是恆定的，很容易確定曝光時間，但現代的節能LED的頻率各不相同，特別是那些會變色的燈。

今年，蘋果工程師繼續擴大頻率識別的範圍，以進一步消除閃爍。但在這個過程中，他們發現能夠立即識別出，畫面中的太陽（Townsend說，「因為太陽不閃爍」），從而能夠立即將白平衡，調整為自然光。

「我們的工程師在努力實現那個功能的過程中，發現了這些信息。所以，這是從閃爍檢測中得到的額外獎勵。」Townsend說。

視頻和新技術

所有這些圖像捕捉功能，都可以用在視頻上，因此視頻也會進行實時的逐幀分析，從而在任何光照條件下，都能產生足夠的細節。

在我來看，有了這些技術，蘋果甚至可以將景深編輯器，應用到視頻上，給日常拍攝的視頻，也加上專業級的失焦背景，但當我問起Schiller時，他只是說蘋果不會對未來的計劃做任何評論。

不論是視頻還是靜態招聘，最終的結果，是蘋果的更高水準的照片，甚至可以說是一切智能手機的最高水準的照片。

Townsend告訴我，人們說「我不敢相信這照片是我拍的」。這證明了蘋果達到了更高的目標。

「我們的相機是為真實的人在真實的需求下設計的。」Townsend說。「他們沒有三腳架，也不在實驗室中。他們要求的是不用多想就能拍出漂亮的照片。」

回到Souza的手機的話題上。他的新書《Shade》將於十月開售，這是本關於奧巴馬和特朗普的對比影集。

他告訴我，他對iPhone的拍照能力感到十分震驚。「我對於iPhone能拍攝到的微距感到很震驚。iPhone最小的聚焦距離比單反相機還要好，除非你裝了微距鏡頭。」

那天早上，Souza列印了一組他用iPhone XS拍攝的照片。他說他認為這些照片看起來像是用單反拍攝的。

我給Souza發郵件問了最後一個問題。如果總統要他去拍照，他會用iPhone來拍官方照片，還是依然使用單反？

「單反。」他回答，估計這個回答會粉碎一些蘋果粉的夢吧。「雖然我還是會用iPhone拍照發到Instragram上。」

而許多像Souza一樣的攝影師，在選擇隨身攜帶的iPhone、還是昂貴的單反時進行的衡量，可能正是蘋果最希望消除的吧。

原文：https://medium.com/s/story/inside-apples-iphone-xs-camera-technology-50d47ba7be8f

作者：Lance Ulanoff，科技專家，記者。

譯者：彎月，責編：胡巍巍

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！