VRTK將各種VR SDK結合打通，開發者們更方便了！
[越來越開放]
子夜夢的死寂 ｜ 撰文
作為一名從網路和應用領域轉向3D和XR的開發者，隨著行業在以推特風暴的速度發生演變，我不得不對我的平台和工具選擇進行重新評估。今天的XR開發渠道已被Oculus、HTC Vive、微軟、谷歌、蘋果、索尼和SteamVR等競爭對手所壟斷的專有硬體和軟體API以及SDK所阻塞——更不用說還有Logitech的VR跟蹤鍵盤等新興的第三方外設，適用於Rift或Vive的全新AR-enabled Zed Mini雙眼相機，或者從我開始寫這一段話起就可能已經出現的其他任何顛覆行業的新興產品。
每個平台都很不錯，甚至可以說是在技術上是令人驚嘆的，它們也都有其優點、缺點和各自的用例。但是這種差異迫使XR開發商提出了一些難題：市場在往哪個方向發展呢？我如何投入我的技能建設時間？我的應用程序應支持哪些設備？我可以從哪個平台找到可研究的工作？開發人員必須如創意技術人員一樣達到業務分析師的水平，才能在行業內保住自己的地位。可選的選項這麼廣泛，很容易會讓你犯選擇困難症，而且更容易讓你作出錯誤的選擇而導致損失的發生。
就我個人而言，作為中西部（美國）獨立XR開發商，我也面臨著一些技術、物流和財務方面的實際問題。在美國中西部地區，這個行業還沒有像沿海主要城市那樣繁榮發展。值得慶幸的是，Unity和Unreal這樣的遊戲引擎正迅速地在這個地區將這類產品大眾化。兩種引擎都試圖彌合各XR SDK之間的差距，僱傭了數千名工程師來確保他們的軟體能夠很好地與任何重要的第三方API搭配使用。例如，正如我在八月份所寫的那樣，Oculus SDK與Unity的整合非常出色，並配備了許多快速原型化、開發和部署自定義Rift應用程序所需的腳本和預製件。
這簡直太棒了，不過它仍是非標準化的。要將相同的Unity應用程序移植到HTC Vive或Windows HMD中，可並不是一件容易的事情——這不是不可能的，也算不上登天般困難，但卻絕不是輕而易舉的小事。長期為多個軟體開發工具包（SDK）維護您的應用程序，同樣也是一項不平凡的工作。這些並非輕而易舉的小事都要花費成本和時間，而這兩樣東西我們都比較短缺。
相反，別去想像XR從業者是否要擔心在正確的平台或設備上作出賭注，我們更應該專註於創造獨特而令人嘆服的體驗、內容和用戶體驗（UX）。沿著這條道路走下去，第一步的成果就是VRTK——但遺憾的是，它作為對抗VR SDK盈餘的最佳工具之一，很快就會因創始人的流失而步履艱難。
VRTK：開源方法
這個免費的開源Unity工具包旨在將各種VR API的單一工作流程結合在一起。它包含了你可能會在任何單個專有SDK中找到的相同庫存預製和腳本機制，而其每一個功能部件都能保持一致，無論是被部署到Oculus、SteamVR（閱讀：Vive和v3.3.0，Windows HMDs）還是Daydream 等當今所有主要的VR頭盔製造商的產品上。
這對任何想要在VR開發領域試水的人士來說都是一個福音。想想看：想要在Unity NavMesh上實現遠距傳送運動？只需將組件拖放到播放器預製件上就行了。想要測試抓捕機制，還是一個快速的貝塞爾指針？ VRTK的演示場景可以讓你完成這一切，這些場景可以在各種設備上輕鬆運作。由於它是開源的，你也可以自由地潛入並自定義代碼。覺得讓某個功能在自己的項目中運作十分費勁兒？在各種SDK上查看一下這個實施方式吧——這是了解新的XR編碼概念的一個不錯方法。
可惜的是，VRTK的創造者正由於項目資金不足而不幸地走在下坡路上。總部位於英國的開發商TheStoneFox近日宣布，將會在3.3.0版本後退出項目，直到最近該開發商還在積極尋求項目貢獻者、合作夥伴和各類支持。儘管VRTK擁有活躍的Slack社區，越來越多的自製遊戲和最近的Kickstarter，但TheStoneFox仍無法獲得長期發展所需的支持。
現在，助力、利用優秀的開源虛擬現實開發管道加速器的機會將會逐漸消失，但如果有什麼東西能取而代之呢？
OpenXR：一個API即可駕馭所有
VRTK的方法 ——使用Unity腳本將各種VR SDK的類似機制結合在一起——這在當前分散的開發環境中是十分必要的，但也存在缺陷。有些社區仍然需要監控各種專有SDK的更新，並且您終端用戶的VRTK應用程序仍然需要注意VRTK逐漸產生的改變。通過這種方式，VRTK處理了VR SDK過載的癥狀，但沒有解決根本問題。接下來進入Khronos集團即將推出的行業標準OpenXR：
這個2016年12月發布的標準正在編寫之中，並迅速引起了業內人士（顯然除了Magic Leap之外）的關注。公司將會改變他們的硬體和軟體，以符合OpenXR的規範，而不是迫使開發人員去處理帶有可變屬性的SDK和所有伴隨而生的商業結果。非盈利組織Khronos正在領導這一計劃，該組織是Vulkan、OpenGL、OpenGL ES和WebGL標準的引領者。請查閱圖表！
左圖為討論的問題——右圖為解決方案：
「每個VR設備只能運行已經傳輸到其SDK的應用程序。這樣做的結果是，開發成本十分高昂，但客戶卻會產生疑惑，這都會限制市場增長，「他們網站上的一些相當確切的營銷宣傳中寫道，「跨平台的VR標準能夠讓應用程序只編寫一次就可在任何VR系統上運行，並訪問集成在VR系統中供應用程序使用的VR設備，從而消除了行業碎片化的情況。」
一家行業巨頭的一個工作組已經同意讓這個標準具有可擴展性，給未來的創新留有餘地，並且應該會支持一系列的體驗——從3-自由度控制器，一直到高端的房間級設備，都將涵蓋在內。
這個標準要想對開發社區和日常工作流程產生影響，還獨缺一個實際的時間安排表。在市場動員者團結起來並採取共同行動之前，我們將會一直處於困境之中（並且在很多情況下對VRTK項目進行填補）。
「吸引力電影」：請放慢你的腳步
但是，在該技術剛新鮮出爐並充滿各種可能性的時候，我們真的該如此迅速地接納行業標準化嗎？這是Kent Bye和Rebecca Rouse最近在VR播客中所提出的問題。兩人討論了電影院的早期發展狀況——當時的探索和實驗狀態就是我們的現在的狀況——而Rouse提出，那個時代和當前XR的生產和發展階段之間有著驚人的相似之處。
「[早期電影學者]提出了『吸引力電影』這個詞，因為他們在那些早期的作品中看到了豐富得令人難以置信的多樣性和寬廣的實驗範圍，所以他們很難把它們聚集在一起——它們是如此豐富多樣——但這個「吸引力」的想法是一個足夠大的概念，因為所有這些早期的作品都在某種程度上展示了技術的能力，並為觀眾帶來了奇妙或驚奇的體驗。這些電影所放映的環境是具有吸引力的地點，所以都會在世界展會上展出，也是雜耍表演和其他表演及展覽的一部分。」——倫斯勒理工學院傳播與媒體助理教授Rebecca Rouse
聽起來很奇怪，是吧？這整集播客都非常值得一聽，雖然XR標準有明顯的消費者和市場優勢，但是Rouse認為，也許我們不應該急於在這裡下結論——畢竟現在是個瘋狂的時代，在藝術、科學、電影和遊戲領域常常會進行激進前衛的XR實驗。環顧整個行業，很難不贊同這一說法。
EditorXR
Unity實驗室的EditorXR是一個用XR技術進行攝像的全新應用程序。EditorXR由Unity的遠景未來研發團隊（他們經常發現，他們研究的項目和產品上距離消費者採用要經過五年到十年的時間）創建，為您提供了一個界面，讓您可以完全在虛擬現實中創建自定義的XR Unity場景。
哦!除了其他超能力之外，還有飛行能力——像超人一樣在場景中翱翔，或者把整個事物縮小到針孔大小。他們在您手腕上佩戴的那個愈加用戶友好的VR UI面板上，引入了Unity檢察器、層級結構和項目窗口（等等）。有了最新的更新，您可以：在VR內部實時綁定到Google的Poly資產資料庫Web API；創建多人EditorXR會話，與朋友和合作者一起編輯Unity場景；使用Unity的2017.x編輯器主版本運行EditorXR。
它還是一個新的東西，而且我遇到了一些bug，但是我們已經下了一個定論：是隨著XR技術的成熟和普及，這個技術將成為Unity場景創建過程的標準功能。甚至，他們初期和後續的努力也喚起了那種早期電影魅力時代的觀眾所感受到驚奇感和可能性。
有關設計方面的更多信息，請參閱Unity Lab的Dylan Urquidior對XR UX設計的未來的深入了解，首席工具設計師Timoni West的推特信息。
ML-Agents
另一個實驗性的Unity項目名為ML-Agents，該項目探索了通往XR開發、設計和UX未來的最有前途的途徑之一：機器學習。使用所謂的「強化學習」技術，即不給AI模型提供任何供其分析的樣本數據或規則，ML-Agents反而使了簡單的獎勵和懲罰機制（以微小浮動形式），該機制以他們[通常其定義非常狹窄]的行為結果為基礎。
經過了數以百萬計、甚至數以萬計的反覆試驗，計算機對其能力進行了試驗，並形成實現預期目標的最佳模式。這樣，你的機器就成了他們自己的老師 - 你只要寫下題目就行了。
最初的GitHub提交版包含了一些基本的演示場景，開發社區很快接下了傳遞過來的火炬。 Unity的Alessia Nigrettif在原來的博客中描述了如何將ML-Agent集成到2D遊戲中。在Twitter上，@ PunchesBears已經展示了類似的概念，並且經常表明，Agent能以他們不能預料的方式回應開發者精心設計的獎勵系統。有點類似於真實的玩家，不是嗎？
在我最喜歡的一款ML-Agents應用中，開發者Blake Schreurs實際上帶來了一個6-自由度的機器人Agent，他經受了訓練去虛擬現實中尋找空間中的一個移動點——當他把移動的目標指定到他的臉上時，產生了一些可怕的結果。
想像一下，如果有人將這種訓練模式應用到實際的機器人上，並用錯誤地敲下了按鍵，或者沒有出錯，隨便吧。
他定會徹底失敗！我立即想起1895年觀眾湧出劇院，害怕在拉米埃爾兄弟的《火車進站》（Arrival of Train at La Ciotat）時被碾壓。我們仍然處於機器學習和XR發展的青澀時代，相比之下，我們希望的達到的水平要從現在起等待10年甚至50年才能到來。那時候，傳統或程序化的AI與這些新的機器學習方法的結合，必將帶來遊戲和XR的巨大發展——甚至是在設計過程和計算機本身的日常工作流程中。
Rift OS Core 2.0
有了Rift的全新Core 2.0操作系統，您可以從右側菜單按鈕訪問整個Windows PC。您還能夠查看和使用桌面應用程序，以及其他VR應用程序中的pin碼窗口，為VR中的XR工作流程（甚至傳統計算工作流程）帶來了新的可能性。
當我在VR中完成我的下一個項目時，我可以在固定瀏覽器上觀看Danny Bittman在YouTube上的Unity渲染和照明教程，同時在手腕上的UnityXR中進行相同設置。我可以一邊在Google Blocks中觀看@_am處理原始資料，一邊從Poly資料庫中收集資料，並將其部署到實時VR的Unity場景中，並且如果我願意的話，還可以用Visual Studio編寫成一些遊戲邏輯代碼。
對我來說，這聽起來很忙亂，但不久之後，我們甚至不需要代碼了。
未來的XR開發者不是開發者
如果XR技術要成為主流，那麼開發過程必須儘可能高效，且訪問許可權要儘可能地寬廣，甚至可能通過內容創建和機器學習應用程序向非開發人員開放。這項技術跨越多門科學和學科，還有很多需要談論和推敲的問題，但本文還沒有涉及（下一次我將研究作為可行的XR開發路徑的WebVR和A-Frame）。隨著計算機革命的深入，越來越多的這類可訪問的、標準化的XR開發流程將會落到實處，不過我仍十分趕集XR行業尚未準備放棄它的吸引力電影精神。如果XR技術要成為主流，那麼開發過程必須儘可能高效，且訪問許可權要儘可能地寬廣，甚至可能通過內容創建和機器學習應用程序向非開發人員開放。這項技術跨越多門科學和學科，還有很多需要談論和推敲的問題，但本文還沒有涉及（下一次我將研究作為可行的XR開發路徑的WebVR和A-Frame）。隨著計算機革命的深入，越來越多的這類可訪問的、標準化的XR開發流程將會落到實處，不過我仍十分趕集XR行業尚未準備放棄它的吸引力電影精神。
（END)
TAG:青亭網 |