亞馬遜正通過Sumerian大舉進軍增強現實和虛擬現實

亞馬遜正在通過Sumerian大舉進軍增強現實和虛擬現實

（映維網 2018年04月19日）亞馬遜正在通過Sumerian大舉進軍增強現實和虛擬現實。這是一個完整的開發應用，可為智能手機和頭顯開發AR和VR應用，而且不用多久，開發者就可以通過Sumerian開發直接運行在你瀏覽器的AR/VR應用。

在這些體驗之中，Sumerian可以創建充滿「Host」的沉浸式虛擬世界，一種由驅動亞馬遜Alexa的相同人工智慧提供支持的3D角色。

Sumerian是一種跨平台工具。亞馬遜沒有選擇開發自家品牌的設備或頭顯，而是為市場提供集成服務。Sumerian基於開源網路標準，並且支持蘋果ARKit和谷歌ARCore，這意味著應用開發者可以開發出運行在安卓，iOS，Oculus Rift和HTC Vive等平台的Sumerian應用。

作為Amazon Web Servics（AWS）的新成員，Sumerian採用了基於用量的定價模型而非訂閱模型，而且Sumerian可以連接至其他AWS服務。

亞馬遜於2017年11月推出了Sumerian的預覽版，並計劃在5月正式上線。在這之前，PCMag深入探訪了Sumerian和數款早期的消費者應用。以下是映維網的具體整理：

亞馬遜Sumerian的總經理Kyle Roche向我（Rob Marvin）演示了這個3D應用開發平台。我體驗了Sumerian的拖放應用編輯器和3D對象庫，用於編寫複雜動畫場景腳本的Visual State Machine，以及創建人工智慧Host的過程。對於Host，你在這些虛擬體驗中時將能與它們進行完整的對話。

我同時與負責亞馬遜AR/VR，AWS Mobile，Serverless Computing和物聯網部門的副總監Marco Argenti進行了交談。亞馬遜對Sumerian寄以厚望，並且認為結合了AI的增強現實和虛擬現實將在我們的聯網未來扮演重要角色。

1. 為什麼亞馬遜要押寶AR和VR？

亞馬遜從來都不畏懼進軍一個全新的領域。我們只需看看全食（Whole Foods），亞馬遜視頻，或者他們在醫療保健和醫藥行業的努力即可明白這一點。

Roche開玩笑說，Sumerian這個名字取自於科幻小說《雪崩》（亞馬遜同時正在將其改編成影視作品），而「Host」的概念則源於HBO的科幻劇《西部世界》。但Argenti表示，亞馬遜決定進軍AR/VR是因為三個關鍵的要素：智能手機AR的興起；VR在B2B市場的廣闊機遇；這可以幫助AWS用戶解決一系列的痛點。

Argenti解釋說：「信號已經足夠明顯，所以我們開始進入設計Sumerian的過程。典型的亞馬遜做法是，我們以逆向的方式先研發消費者用例，然後組建一支構建產品的開發團隊。」

B2B應用包括互動式數字招牌（如《銀翼殺手：2049》中會說話的巨大全息圖廣告），虛擬培訓，以及一系列的工業物聯網用力，比方說利用感測器來創建數字孿生和複雜的模擬。Argenti同時強調了智能手機AR已經通過ARKit和ARCore來到了一個關鍵的臨界點。

他說：「在與現實交互和探索周圍的世界方面，攝像頭正在日益變成一項十分強大的工具。快速的圖形處理器可以實時疊加信息，而感測器可以幫助構建一個3D現實。其思想是，數以億萬計的用戶擁有一個高質量，高解析度的情景感知感測器。」

2. 亞馬遜是如何構建Sumerian？

亞馬遜最初是在2016年下旬開始思考AR和VR可以為AWS用戶帶來的幫助，然後在大約一年後的AWS re：Invent大會中亮相了一個預覽版。在這期間的時間裡發生了幾件事情。

首先，亞馬遜收購了一家破產的瑞典初創公司Goo Technologies。他們的3D開發環境Goo Create成為了Sumerian集成開發環境（Integrated Development Environment，IDE）的基礎。

Goo Create的視覺三維建模同樣是基於網路的雲服務，但亞馬遜更進一步，他們將後端遷移到了AWS。將其構建在已有的可擴展雲基礎架構基礎上存在大量益處，但重要的是這可以大幅縮短延遲。Roche表示，Sumerian最大的賣點之一是，對於一個如其強大的編輯器，你無需下載或安裝任何東西。在演示期間，Sumerian可以在數秒內完成瀏覽器URL的載入。即使是進行實時自然語言處理（NLP）和渲染精巧的動畫也不會減慢其速度。

作為一個低碼開發平台，Sumerian可以支持幾乎沒有開發經驗的用戶，而程序員和數據科學家可以通過可編程的API和Sumerian的命令行界面來自定義場景和編寫複雜的應用邏輯。

Argenti表示：「我們渴望一種你點擊一下就可馬上進入場景的體驗。然後為你提供可以拖放對象的3D圖形工具。Sumerian是一個可以聯想當動作和事件發生時可以出現什麼情況的視覺工具，這一切可能無需編寫任何一行代碼。」

3. 創建3D Sumerian應用

亞馬遜對Sumerian的整體設計理念是儘可能地鞏固創作體驗。Roche表示，他們希望可以掩蓋大量重複的開發任務，所以無論你最終選擇發行的平台是什麼，構建Sumerian應用的基本過程都相同。

你可以選擇一個模板，或者直接開始創建一個新場景。Sumerian的部分默認模板包括辦公場所，培訓室和倉庫，貨船和戶外篝火等場景。主編輯器支持WebGL和WebVR，其布局方式與我們測試過的許多低碼工具相同。

左邊是一個實體面板。一個實體本質上是資料庫中的一個表格，可幫助你管理導入應用程序的數據。下方則是asset窗口，你可以在其中搜索要拉入場景中的對象，或者打開Sumerian3D模型的完整asset庫。Roche表示，Sumerian提供了一系列的開源對象庫並且與Sketchfab API集成。亞馬遜也有興趣整合諸如TurboSquid和谷歌Poly AR/VR對象庫等平台。你同時可以將自己的asset導入到Sumerian中，然後將它們放入場景。

Roche解釋說：「asset面板可以作為調整管道的拖放區。你可以拖放大多數常見的3D文件格式。我們會轉換它們，對它們進行優化並為你儲存它們。我們在後端做的一件事情是，如果你在多個場景中使用相同的asset，我們實際上會為你創建一個參考鏈接。」

屏幕中間是主畫布，你可以將asset和3D模型拖放到場景之中。畫布的角落有一個按鈕，用於啟動場景的WebVR預覽。

其下方則是時間線編輯器，工作原理與視頻編輯工具類似。當你拖入動畫和聲音並使用Visual State Machine創建場景，Host行為和事件進程時，它們都會顯示在時間軸中，你可以通過時間軸調整一個狀態將如何過度至另一個狀態。

右側欄是inspector面板，其包含你正在查看的組件詳細信息，以及你可以如何定製它們。對於可能有一百種不同變體的模型而言，你可以在不實際觸及場景的情況下調整屬性和紋理等內容。

4. 亞馬遜的策略：海納百川式的集成

Sumerian不僅在3D開發領域發支持Unity，Unreal和Vuforia這樣的平台，同時還在更廣泛的AR/VR生態系統中兼容ARKit，ARCore和Windows Mixed Reality。Roche表示，Sumerian將「開發一次，隨處運行」的理念應用於AR/VR應用程序，特別是針對企業開發者。

Roche指出：「專業3D開發者或專業動畫師都有一個合作的工作室，但大多數（AWS用戶）都是網路或移動開發者，在工作中學習到像Unity這樣的工具。Unity很優秀，但要真正精通它要比把他們的技能帶到3D困難得多。所以我們決定把重點放在這一部分。」

Sumerian支持多種核心開源標準：WebGL，WebAR，WebVR和即將推出的WebXR框架。 WebXR框架可以把AR/VR應用帶到不同平台的所有設備與瀏覽器，而萬維網聯盟（W3C）將在未來幾個月內投票批准WebXR。屆時，Sumerian應用將能夠直接在瀏覽器中運行。

在WebGL，WebVR和WebXR之間，Sumerian完全與平台無關，而且Sumerian已經發布了本地wrapper來直接與ARKit和ARCore集成。Roche表示，Sumerian可以為任何支持WebVR的平台構建應用，這不僅只是包括Oculus Rift和HTC Vive，同時還包括三星Gear VR和谷歌Daydream View等等。另外，Sumerian正在就WebXR與谷歌Chrome團隊進行緊密合作，開發基於瀏覽器的應用程序。

另一個主要角色是微軟。儘管亞馬遜尚未宣布Sumerian將與WMR生態系統集成，但Roche確實提到最新的微軟HoloLens RS4版本包含了WebAR支持，而這意味著Sumerian可以運行HoloLens的場景。亞馬遜同時在觀察Magic Leap和Meta等公司的頭顯。

Argenti說道：「我們做出了選擇，我們本可以進行自研，並推動開發者走向這條道路。但我們希望可以儘可能廣泛地支持一個巨大的市場。當一切都整合至WebXR時，完整的設備生態系統就會隨之而來。我們瞄準的是底層基礎。」

5. Sumerian的AI Host將改變一切

Host是Sumerian最獨特的賣點之一。Host是一種可以放置在AR或VR場景中的3D動畫角色。用戶可以向Host提出問題，而開發者可以編寫一套複雜的動作，行為，手勢和移動方向，因為它們可以進行對話，並且會圍繞場景四處走動。Roche指出，亞馬遜吸收了大量的靈感，包括《第二人生》和《模擬人生》等在線遊戲。

Sumerian目前有兩個默認Host：克莉絲汀(Christine）和普雷斯頓（Preston）。但亞馬遜將在今年推出一系列的Host。這些AI角色存在很多細微的差別。Roche向我展示了一個關於克莉絲汀的演示，他將Host拖到場景之中，並打開inspector面板來定製她的情緒，面部表情和手勢。Sumerian可以自動生成手勢，Host會根據對話的自然語言處理進行對話。所以如果克莉絲汀對你說「嗨」，這可能會觸發揮手動作。

藉助一個名為興趣點的系統，你可以在編輯器中選中一個複選框，令Host的眼睛始終看著相機。所以如果你佩戴HTC Vive Pro在360度的空間中走動，Host將跟隨你。如果這是一款與智能手機攝像頭相關的AR應用程序，亞馬遜的Rekognition深度學習系統則可以運行面部分析，判斷你的位置和你的面部位置，然後令Host直接透過屏幕看著你。這會提供一種眼睛接觸的幻覺。

用戶還可以使用亞馬遜的Maya SDK從零創建自己的定製Host，但亞馬遜已經提供了基本框架，方便你從中調整Host的外觀，口音和語調變化，以及語言等等。從長遠來看，亞馬遜正在考慮如何幫助用戶更輕鬆地創建Host。Argenti談到了用於第一人稱角色的Host生成器概念，或者使用面部識別來匹配渲染角色和真實人類。

Argenti表示：」結合Rekognition，如果我們在程序上儘可能多地生成這些角色，我們可以嘗試將你與最接近的角色進行匹配。我們可以拍攝你的照片並運行反向面部識別，並將其與隨機角色進行匹配，從而提供一個看起來像是你的Host版本。」

Argenti解釋了集成其他AWS服務可以令Host更加逼真，比如說Amazon Comprehend自然語言處理服務。Comprehend可以分析文本並提取諸如心情和情緒分析等元數據。所以根據對話者的情緒，Host可以有不同的面部表情或表達方式。

Argenti說：「如果對話者生氣了，也許Host可以令他們平復心情。不僅在我們傳達信息的方式上有所發展，我們通過深度情感分析來呈現這一點的方式上也有進步。」

6. Alexa背後的語音服務

能夠進行對話的Host才是好NPC。與在WMR中激活Cortana小娜的方式不同，你不能在Sumerian應用中通過說「Hey Alexa」來激活語言服務。相反，亞馬遜採用了Alexa背後的自動語音識別和自然語言理解API來幫助Host進行對話。

Sumerian與Amazon Lex和Amazon Polly進行了集成。Polly是一種文本到語音轉換服務，可將文本轉換為Host的語音腳本。Lex則是一個用於構建會話界面的NLP引擎，這是Host理解和響應用戶說話內容的方式。Sumerian目前已經通過Polly支持了超過二十種語言，而且嘴唇同步功能可以令Host的嘴巴動作與語言或語音節奏相匹配。

Argenti說道：「當你沉浸在AR或VR中時，語音是一種真正有意義的媒介。如果你看到一個角色站在那裡，我會希望與它進行交談。所以我們從人工智慧團隊中挑選了兩個這樣的工具，並試圖將它們人格化。我們希望場景能夠傾聽並回應我們。因此，你可以像聊天機器人一樣將整個Lex流程拖放到角色上。從很多方面來講，它比構建一項Alexa技能要容易得多。」

7. 沉浸式世界中的腳本邏輯

Sumerian的Visual State Machine是你設計複雜序列和虛擬模擬的工具。藉助視覺時間線編輯器或完整的JavaScript界面，應用創建者和開發者就可以編寫腳本邏輯來控制場景中的Host或其他對象。例如，Sumerian包括一個可以編寫腳本的飛行無人機對象。

當你把真實世界的對象引入等式時，這一切都將變得更加複雜。由於Argenti同時負責AWS的無伺服器計算和物聯網部門，他認為將Sumerian連接到Lambda和Greengrass這樣的AWS服務中可以為複雜模擬帶來更多可能性。Greengrass是機器學習模型在物聯網設備上進行本地運行的一種方式。我們可以設想一個根據工廠車間機器數據進行訓練的ML模型，然後我們把這種演算法帶到Sumerian，並且使用AI來模擬同一台機器。

Argenti說道：「AR和VR中真的可以存在一個模擬世界，每個角色或對象都能通過現實世界中的機器學習訓練變得智能起來。最終，你將希望嘗試以最逼真的方式來重新創造現實。今天我們可以進一步靠近，但從行為角度來看，它還不足以模擬實際情況。」

8. Weatherbug的模擬氣象學家

當亞馬遜向我演示Sumerian應用時，我十分驚訝於他們展示的第一個應用是與天氣有關。

但正如WeatherBug總經理Olivier Vincent所解釋的那樣，虛擬現實與天氣數據的結合比你想像中更為合理。由於人們已經開始通過應用程序查看天氣狀況，天氣預報已經丟失了其中一個亮點：站在天氣屏幕前的當地天氣預報員。

Vicent說道：「天氣就是告訴你某個時間段內某個地方將會發生什麼，你可以在應用中以一種2D方式進行快速查看，但我們知道一直以來天氣預報員都十分受歡迎。所以我們的想法是以一種更加身臨其境的方式重新引入天氣預報員。」

WeatherBug構建了一個包含虛擬新聞工作室的Sumerian場景，並配有一個主播台和天氣屏幕。然後他們把克莉絲汀當作氣象學家。這款應用可以根據你的位置提取當前的天氣數據，然後Host將以一種個性化的方式來向你播報天氣。在WeatherBug主應用中，Vincent啟動了一個展示曼哈頓3D模型的VR場景，這時克莉絲汀會向你播報天氣，並且提供最高溫度和最低溫度等其他信息，而你甚至可以看到飄落的雪花。

9. 艾迪生：虛擬看護者

位於新墨西哥州的健康管理科技公司Electronic Caregiver則開發了一款十分不同的Sumerian體驗。

這家公司為老年人提供了包含醫療幫助的可穿戴設備，他們同時開發了一種名為Addision Care的解決方案，目標是降低家庭護理成本，並使用會話式AI來評估老年患者跌倒的風險。Electronic Caregiver為藥店，醫院和臨床醫生推出了一個終端機，通過機器學習來分析患者的步態。他們開發的Sumerian體驗同時應用了一個自定義的Host：艾迪生（Addison）。Addison將會幫助用戶完成關於跌倒歷史的口頭調查問卷。

Electronic Caregiver的技術總監Bryan Chasko表示：「讓老年人接受技術並不容易。隨著這方面越來越好，語音技術將會涉足這個市場，你將不再需要讓他們坐在鍵盤和滑鼠前面，通過艾迪生，他們只需進行對話即可。」

Electronic Caregiver製作艾迪生已有數年時間，利用Amazon Lex和Polly來開發這個3D角色。該公司是其中一家幫助亞馬遜構思可以通過Sumerian解決的難題，以及如何自動化AR/VR應用創建流程的AWS用戶之一。

Electronic Caregiver的一名虛擬開發者Judah Tveito表示，Sumerian將他們需要投入數月時間的流程轉化為只需幾次點擊的體驗。Chasko指出，該公司還在開發艾迪生移動應用。Electronic Caregiver將艾迪生定位為家庭虛擬護理人員。對於獨立生活的老年用戶，AI可以提醒他們服用藥物，或者在其跌倒或出現其他醫療緊急情況時自動撥打911（美國報警電話）。

Chasko說道：「我們認為這可以解決的最大問題之一是，老年人獨自生活時的隔離感，我們希望提供一個全天候的家庭環境，當你沒有與艾迪生對話並且在浴室跌倒時，只需大喊『我需要幫助』就可以挽救許多生命。」

10. 賺錢機器：B2B和物聯網

亞馬遜談到很多關於互動式數字標識的場景。想像一下，當你在酒店大堂，商場或體育場中散步時，你可以在屏幕中看到陪你一起走動的Host。這聽起來可能有點令人毛骨悚然，但Host可以處理位置等情景信息，並將廣告轉變為個性化的對話。Argenti認為Host是公司品牌的虛擬擴展，可以根據業務需求進行改變。

亞馬遜正在為Sumerian的用戶探索一系列的B2B和物聯網應用。在工業方面，Argenti表示諾基亞整合了一個包含感測器和可視化系統，並將其用於監測集裝箱內的環境，這樣工作人員無需實際打開集裝箱即可測量內部溫度和減震效果。

他說：「你可以想像這麼一個AR世界：我們將數百萬台設備連接到AWS，並從現實世界獲取大量的感官數據。然後，我們可以使用AR進行三角測量來識別對象，並在其上顯示相關信息。從服務和維修到監控，安全等各種服務，這存在很大的適用性。」

Sumerian同樣存在廣泛的電子商務可能性。對於任何來自亞馬遜購物目錄的Sumerian 3D模型而言，如果將其添加到AR/VR場景中，你都有可能獲得開發者推薦費用。這是AWS上的企業和獨立開發者通過Sumerian應用實現營收的一種方式。

Argenti設想了Sumerian和亞馬遜零售部門之間的眾多交叉機會，他說：「我們可以利用我們零售團隊在家居裝飾，家用電子產品，以及其他高價值物品方面的一些工作來創建3D模型。然後你可以用它們來拍攝一個照片級真實的透視空間。我該如何設置一個現代化的閣樓呢？我們應該擺設什麼傢具呢？」

11. 一切都回到AWS

為所有AR/VR設備和平台搭建橋樑是降低AR/VR開發門檻的一種明智方式，不僅對B2B公司是如此，對開發者來說都是如此。令亞馬遜大力發展Sumerian的一點是，這可以推動更廣泛地AWS服務採用。對於嘗試使用新服務的現有用戶，以及新Sumerian用戶來說都是如此。後者將開始使用亞馬遜的存儲，計算，處理，人工智慧和其他服務，因為它們都融入了之中體驗。定價模式同樣很有吸引力，因為亞馬遜不徵收預付費，AWS只按照你的使用量進行費用。

這只是所有流經AWS大環路的一部分。數據來自於物聯網設備，通過AWS Lambda函數進行處理，部署在AWS Greengrass以進入訓練機器學習模塊的AWS IoT，並且最終作為3D模型成為Sumerian中的AR可視化。

12. 亞馬遜對AR/VR未來的展望

亞馬遜希望Sumerian能夠刺激行業製作3D大眾產品，以及降低成本。在AR方面，Argenti表示由於ARKit和ARCore的原因，基本的支持者已經到位。他指出，當開發者提供足夠的應用和視頻內容時，行業將出現一個拐點。在VR方面，亞馬遜希望看到的重大變化是硬體價格下降，變得輕便和無線。

Argenti說：「當這一切發生的時候，以及當你像佩戴眼鏡一樣佩戴VR體驗的時候，VR將實現騰飛。我認為它必須要像在平板電腦上觀看視頻或打開電視機一樣自然，只有這樣才能達到與其他媒介相同的主流消費水平。圍繞內容創建者，廣告客戶，終端用戶，以及迎合這些用戶的公司來開發一個完整的生態系統就是具體的操作方式。」

Argenti還強調了VR和MR中沉浸感的重要性。亞馬遜為Sumerian設置的另一個目標用例是教育和培訓。他指出，無論你是在學習如何使用醫療設備，還是說學習新的語言，這一切都是為了令你感覺自己彷彿置身於一個真實的環境之中。

他說道：「你足不出戶就可以坐在一家法式小酒館裡學習當地語言。Host會用法語與你進行對話。菜單是用法語書寫。然後在這個現實中，你可以觸摸一個菜單並看到相應的翻譯，將你的手指放在一個條目上即可看到單詞變成不同的語言。學習主要是情景化的學習，所以作為一種學習工具，能夠涉及你所有感官的體驗將十分強大。」

原文鏈接：https://yivian.com/news/44225.html

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！