綠幕＋VR技術，還原虛擬現實下的世界
普通的VR視頻是將體驗者看到的影像錄製下來。這樣的第一人稱視角錄製帶來兩個問題。
一是因為視角原因看不到體驗者的全身。
二是即使低頭看到了，也只是看到虛擬的模型，甚至多數時候只能看到兩隻漂浮的手。
如何讓人們理解虛擬現實中有什麼樣的體驗呢，綠幕技術結合VR可能是最佳展示VR世界的方式了，那麼如何打造實現呢？下面是筆者實踐的過程。
1. 切換成第三人稱視角
如何較好的完成第三人視角也是整個錄製的核心。以HTC VIVE為例，採用在頭盔擺放兩個虛擬camera對應左右眼，分別生成虛擬眼的畫面傳輸給HMD，將其中一隻眼的畫面發送到顯示器等設備，此時現實設備屏幕只顯示雙虛擬相機所現實的畫面，第二步在離玩家一定距離放置另外一個虛擬相機。之後PC上顯示的不再是左右眼畫面的復刻，而是由這個額外的相機單獨繪製的，然後進行渲染，這樣就切換為第三人稱視角。
2. 將體驗者的影像也錄製下來
為了增加MR的真實性，我們只需要體驗者本身的影像，其他物體或個人（針對單人體驗者）不需要出現，需要可以採用傳統摳像技術。在錄製的時候，讓體驗者在一個綠色的房間（綠色或藍色），通過架設一台攝像機，錄製體驗過程，最後在捕捉的視頻中將人像摳出來。
3. 將VR內容畫面和攝像機影像合成
需要保持虛擬相機和真實相機的視角，以便高效的合成。假如虛擬攝像機在VR影像里的位置是主角左前方1米、朝向和主角的朝向成100度角，那麼要保正現實中攝像機在體驗者左前方1米，朝向和體驗者朝向成100度角，這就需要藉助第三個手柄來定位和定向。
4 用OBS合成視頻或視頻流
如果準備好Mixed Reality所需要的條件，PC上的遊戲畫面會分成4塊如圖：
其中：
Foreground: 合成視頻的前景
Foreground alpha: 前景的alpha
Background: 合成視頻的背景
Gameview: 正常遊戲畫面，不用於合成mixed reality視頻
最終輸出的影像是由三個影像合成的，就實現了Mixed Reality視頻影像。
歡迎長按識別添加訂閱
