融合虛擬世界與現實，AR智能眼鏡獲新專利

本公開涉及使用攝像機陣列捕捉場景圖像的操作、系統和計算機可讀媒體，並基於觀眾的沉浸式增強現實、實時顯示牆、頭戴顯示器、視頻會議和類似應用程序的視角處理捕獲的圖像。在一個實現中，公開的技術方案通過組合相機陣列拍攝的圖像向觀看者提供了全視點的場景再現。在另一個實現中，公開的技術方案通過實時跟蹤觀看方視點（POV）的變化實現了觀看方視點與相應場景圖像的實時同步：一個位置移動到另一個位置時的POV，根據不同的POV顯示圖像，觀眾POV的變化包括X、Y和Z維度的運動。

01

背景

近年來，沉浸式增強現實，顯示牆，頭戴式顯示器和視頻會議的使用頻率越來越高。例如視頻會議，它是在兩方或更多方之間進行的在線會議，整個會議期間，參與各方都可以相互聽到語音並且看到彼此的視頻圖像。在只有兩方參與者的視頻會議中，每一方都可以通過各自終端參與，這些終端包括台式計算機系統，平板計算機系統，電視屏幕，顯示牆或智能電話。這些終端通常包括用於獲取音頻信號的麥克風，用於拍攝圖像的網路攝像頭，用於處理這些音頻和視頻信號的一組硬體和/或軟體，用於在各方之間傳輸數據的網路連接，用於播放語音的揚聲器，以及用於顯示圖像的顯示器。在這樣的傳統設置中，用戶只能在固定視點下看到參與各方以及他們所在的場景。簡單地說，用戶只能看到彼此網路攝像頭拍攝到的內容。此外，當觀眾在會議期間從一個位置移動到另一個位置時，他們的相應視點（POV）可能也會發生改變。然而，由於彼此所在場景中圖像拍攝的限制，觀看者只能始終以固定的視點進行視頻交流。

02

內容摘要

本公開發明描述了一種涉及也可能直接用於沉浸式增強現實，現場顯示牆，頭戴式顯示器和視頻會議應用的圖像拍攝和處理技術。在一個實施例中，這裡所公開的技術方案通過組合相機陣列拍攝的圖像向觀看者提供了全視點的場景圖像。在另一個實施例中，這裡所公開的技術方案通過實時跟蹤觀看方的位置（POV）變化實現了觀看方視點與相應場景圖像的同步。這裡，觀看方的POV變化已經涵蓋在整個系統計算空間的X，Y和Z維度內。

根據其中的一個實施例，例如，在視頻會議期間，與會各方通過各自的終端參與。這些終端一般都包括顯示器，相機陣列，圖像處理單元（硬體和/或軟體），以及網路連接（例如，通過電纜和/或無線連接）。每個相機陣列又都包括多個相機，可以拍攝各種格式的圖像（例如 RGB，YUV，YCC等）。此外，這種相機陣列或者可以直接拍攝得到深度信息，或者基於某些技術（例如，結構光，飛行時間，立體圖像等）拍攝到能夠計算深度信息的圖像，或者通過其他方式計算出一方所在場景的深度信息同時跟蹤該方的POV（例如，該方頭部和/或眼睛位置所決定的視點）。表徵觀看方POV的數據會通過他的終端發送並被另一方的終端通過網路接收到。該接收方終端內的圖像處理單元會基於上述觀看方的POV特徵數據處理其所拍攝到的圖像。

特別地，這裡的圖像處理操作可能包括剔除操作，即基於觀看方的POV特徵數據對拍攝到的圖像進行像素修剪和識別。該剔除操作的目的是減少後續圖像處理的數據量。由於剔除過後的數據最終會從一方轉移到另一方，因此剔除操作可以大幅減少網路間傳輸的數據量，節省帶寬並降低延遲。在剔除之後，圖像處理單元會進一步將剩餘的三維（3-D）像素映射到一個二維的（2-D）顯示空間。接下來，這些映射像素構成的數據包會由一個終端發送並被觀看方終端通過網路接收到。

隨後，觀看方終端內的圖像處理單元會混合這些映射的像素並組裝成被顯示器顯示的圖像（即一「幀」畫面）。單獨地理解，觀看方的終端可以使用說話方的POV特徵數據處理觀看方拍攝到的圖像。觀看方終端內的圖像處理操作可以是說話方終端內這些操作的「鏡像」處理。如本領域普通技術人員應當理解的，這裡使用術語「說話方（Speaker）」和「觀看方（Viewer）」來方便我們對所公開概念的解釋。

在一個視頻會議中，各方對於其他方都可以稱作說話方和觀看方。因此，上述以觀看方和說話方描述的圖像拍攝和處理操作會在每一方的終端內同時且持續地進行。這樣就為每一方都提供了基於該方POV的他方連續顯示的幀圖像（即實況視頻）。此外，這裡的相機陣列可以單獨接入整個系統，也可以集成到各方的顯示模塊中。對於諸如沉浸式增強現實，現場顯示牆和頭戴式顯示器之類的應用，可能始終只有一個觀看方，這些終端不對稱，可能只在被拍攝方有相機陣列，拍攝的場景信息僅用於在觀看方的顯示器上顯示。觀看方的POV可以用一個或多個攝像機或其他設備跟蹤，這些相機和前述相機陣列的目的不同而專用於跟蹤目的。

03

蘋果獲增強現實智能眼鏡新專利

美國專利和商標局今天公開了蘋果公司新授予的41項專利。在下面這份報告中，我們會特別介紹這些專利中一項：用於增強現實應用的智能眼鏡發明。實際上，蘋果早在2015年就已經通過收購的方式從Metaio手中獲得了該專利。

用於蘋果智能眼鏡和iPhone的增強現實系統

圖1A

蘋果剛授予的這項專利涵蓋了與頭戴式增強現實顯示相關的發明。當年收購德國公司Metaio時，該發明專利就一併被蘋果繼承。此專利的唯一發明人是Metaio 公司當時的負責人Peter Meier，而現在他則是技術開發團隊中的演算法負責人。

如圖1A所示，用戶佩戴的是一套頭戴式顯示系統（「頭戴式顯示器」，全稱為Head Mounted Display，縮寫為HMD），具體包括作為這個系統裝置（＃20）一部分的顯示器（＃21）。這種顯示器可以是現在被廣泛使用的半透半反式智能眼鏡（也稱作「光學透明顯示器」），這種半透半反式智能眼鏡反射的正是由計算機＃23（比如智能手機）提供的虛擬信息。

通過這種現實世界和虛擬世界信息的混合，用戶藉助上述半透半反智能眼鏡最終可以看到融入計算機提供的虛擬對象的真實世界（＃40），比如與現實世界相關的興趣對象（POI，Point of Interest）。以這種方式，該系統裝置就構成了多數人理解的增強現實（AR）系統，同時這也是該專利的第一個實施例。

該系統裝置中的顯示器可以具有一個附加的感測器（＃24），例如旋轉感測器，以及在該旋轉感測器上安裝的用於光學跟蹤的相機（＃22）。這裡的顯示器可以是半透明的進而允許用戶直接看到現實世界，也可以是通過相機拍攝後發送到視野內的現實世界的圖像。

上圖圖示中的1B示意了另一種被智能手機行業設計人員廣為應用的示例性系統裝置（＃30）。該顯示裝置＃31（其形式一般是一種顯示屏或顯示器），結合計算機（＃33），感測器（＃4）和照相機（＃32）則構成了一個可以放進智能電話殼體內的系統單元。

基本上，本報告介紹的這項發明可以很方便地用於所有形式AR產品的設計。實際上，上述實施例中的系統並不一定需要使用基於半透半反頭戴式顯示器的透明顯示方式，同樣也不一定需要使用旋轉相機和顯示器來獲得現實世界的圖像作為背景。

從本質上說，本發明還可以與現有的立體顯示器（Stereoscopic display）結合使用。在這種應用中，上述「視頻透視」的方法（Video see-through approach，即使用相機拍攝現實世界的圖像作為另一種方法中直接看到的現實世界）在系統中使用兩個相機（效果更佳），每個相機用於記錄相應一隻眼睛所看到的視頻流。通過這種設計，在任何情況下，系統都可以針對每隻眼睛單獨計算虛擬的3D信息。

蘋果的這項授權專利最初於2015年第四季度提交，直至今天由美國專利和商標局發布。

來源：維映、Patentlyapple

編譯：山海觀、Peter

編輯：Susie，Ann

更多商務合作，歡迎與小編聯絡！

掃碼請備註：姓名 公司 職位

我是CINNO最強小編, 恭候您多時啦！

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！