蘋果申請新VR專利,可用於VR攝影和後期製作
其涉及可用於移動或頭戴式顯示器虛擬現實應用程序的單視場(1個視圖)或立體視場(2個視圖)180度或360度攝影和後期製作。
(映維網 2017年10月13日)蘋果CEO在接受英國《獨立報》採訪時表示增強現實眼鏡的技術尚未成熟。AR眼鏡是一種不同與VR的技術,我們不應該將其與虛擬現實頭顯相混淆。蘋果在今年年初已經聘請了著名的增強現實領域專家傑夫·諾里斯(Jeff Norris),而後者曾在NASA噴氣推進實驗室負責過虛擬現實和增強現實項目。他的團隊與Facebook的Oculus(虛擬現實),微軟的HoloLens(混合現實)和HTC Vive有合作關係。蘋果表示,新的iMacs有能力為3D VR頭顯創建尖端的VR內容。
今天,美國專利及商標局公布了一項蘋果專利,其涉及圓頂,移動或頭戴式顯示器虛擬現實應用程序的單視場(1個視圖)或立體視場(2個視圖)180度或360度攝影和後期製作。
傳統的180度或360度視頻和/或圖像主要以平面存儲格式進行儲存,而這種格式是通過等角或立方投影來表示球面空間。如果這在常規編輯或圖形應用中編輯這種視頻和/或圖像,當視頻或圖像在頭顯中以圓頂投影,立方或球形分布並呈現時,用戶將難以解釋最終結果的體驗。在平面投影中編輯和操作這種圖像需要特殊的技能和反覆摸索。
此外,在操作通過球面合成或編輯的圖像或視頻後,一般難以發現後續拍攝未對準,或立體視差點沒有以自然的方式相匹配。
蘋果的發明涉及一種方法和系統,其可以把來自主機編輯或視覺效果軟體程序的單視場或立體視場180度或360度靜止或視頻圖像作為等角投影或其他球面投影傳輸到可以同時運行軟體程序的相同設備的輸入中,而且這台相同設備可以連續地從通過有線或無線連接的頭顯的方向感測器中獲取方向和位置數據,並同時把該方向的代表性單視場或立體視場視圖實時渲染至頭顯。
蘋果在一個實施例中描述了用於呈現圖像預覽的方法。該方法包括從GPU緩衝器接收圖像數據(其中GPU緩衝器與媒體操作應用相關聯);獲得顯示設備的方向數據;使用圖像數據和方位數據渲染預覽圖像;以及通過顯示設備顯示預覽圖像(其中,當圖像數據被媒體操作應用程序修改時,預覽圖像將被顯示;當圖像數據被媒體操作應用修改時,預覽圖像將會被動態地修改)。
圖5說明了一台3D顯示設備呈現預覽圖像的例子,其中包含視頻或圖像編輯或圖形操作軟體程序的用戶界面#501,顯示在畫布中的等角投影圖像#502,以及合成或編輯時間線#503。
視頻或圖像編輯或圖像操作軟體程序的圖像輸出可以通過視頻輸出處理軟體插件模塊#504輸出,並被傳送到GPU圖像緩衝器共享存儲器,然後有效地傳送至頭顯處理程序#506中的圖像接收器#507。
頭顯處理程序的3D圖像處理常式#508將在所述球體或立方體的中心處通過一個3D視點紋理化虛擬球體或立方體的內部。左眼和右眼中的每一個虛擬視圖將相應地根據透鏡/顯示器規格進行裁剪,複製(如有需要),變形和定向,並且接收通過有線或無線連接的頭顯#510的方向感測器數據的方向數據#509。一旦3D圖像處理常式渲染好準備的圖像,則可以把圖像傳輸到連接的頭顯,從而立即向頭顯用戶呈現。
另外,由於頭顯將遮蔽佩戴者觀察視頻或圖像編輯或圖形處理軟體程序的UI視圖,所以也可以使用屏幕圖像捕獲軟體模塊#512把計算機顯示器的用戶界面捕獲為圖像,並將其傳輸到圖像接收器/處理器#513進行縮放裁剪,然後在3D圖像處理常式#508,#514,#515中的左眼和右眼渲染器進行合成,接下來合成圖像可以傳輸到頭顯#511並立即向用戶呈現。
此外,可以在計算機顯示器上的窗口#516中顯示多餘視圖,這樣其他人就可以看到頭顯用戶所看到的內容,或者判斷頭顯是否正常運行。
根據一個或多個實施例,該系統和/或方法的優點包括顯著減少對準,操作或編輯球面360度視頻或圖像所需的時間。儘管本發明的實施例主要是通過圖像數據進行說明,但本發明的實施例也適用於音頻數據。
圖2中的層次圖說明了常見的計算軟體體系結構。與硬體示例一樣,這裡討論的軟體架構並非固定和獨有,僅僅只是作為說明性內容。這對圖2中的層次圖而言尤為如此,因為軟體開發者傾向於以不同的方式進行說明。
蘋果在專利申請中指出:「可能有必要注意的是,Metal#252代表了蘋果發布的框架/庫,而本技術領域的開發者已知悉了解。此外,OpenGL#251可能代表蘋果目前或以前發行的軟體版本中的框架/庫。」
蘋果進一步指出:「Sprite Kit#261是由蘋果提供的圖形渲染和動畫基礎設施。Sprite Kit可用於動畫紋理圖像或『sprites』。Scene Kit#262是來自蘋果的3D渲染框架,支持比具備類似功能框架(如OpenGL)更高級別的3D asset導入,操作和渲染。Core Animation#263是蘋果提供的圖形渲染和動畫基礎設施。Core Animation可用於動畫視圖和其他視覺元素。Core Graphics#264是蘋果的二維繪製引擎。Core Graphics#265為應用程序提供2D渲染。
在圖1中,電子設備#100可能是多功能設備中的一部分,比如說移動手機,筆記本電腦,平板電腦,個人數字助理,攜帶型音樂/視頻播放器,或者其他類似的電子設備。根據一個或多個實施例,電子設備可以通過有線或無線的方式耦合到3D顯示系統#160。
圖3中的流程圖說明了一種通過3D顯示設備呈現預覽圖像的方法。
專利20170295361於2017年Q2季度申請。由於這只是一份專利申請,所以目前不清楚類似產品是否/將於何時上市。
原文鏈接:https://yivian.com/news/36763.html


※增加Windows MR支持,Unity推出新版引擎2017.2
※Oculus高端VR一體機Santa Cruz P2體驗手記
※3Glasses與VirZOOM合作,帶來社交VR健身和競技體育
※VR遊戲《Bait! Arctic Open》登陸Facebook Spaces
※卡馬克吐槽AMD和英偉達:亂搞GPU驅動,破壞Oculus VR服務
TAG:Yivian虛擬現實 |