深度 | 手機AR，谷歌為何起了個大早卻趕了個晚集？

就在前幾天，谷歌正式發布增強現實軟體工具開發包ARCore 1.0，上億安卓手機將擁有AR功能。在蘋果ARKit推出半年之後，谷歌終於與蘋果正面開戰。

在手機AR上，相比蘋果，谷歌似乎成了後來者。

而其實，ARCore的前身——谷歌Tango早已面世幾年，谷歌才是智能手機AR的開創者。蘋果搶先推出在大量設備上使用的ARKit，使得谷歌迫於壓力停止Tango項目，轉而推出ARCore。看起來像只是改了個名字，但是也意味著谷歌在Tango上的心血和希冀也大部分付諸東流。

雷鋒網特意梳理了Tango項目的前因後果，加入多位業內人士觀點，與您一起聊聊：谷歌砸重金的創新項目Tango為何行不通，以至於被蘋果搶了先機？谷歌Tango項目還有哪些可能，能給我們哪些啟示？

超前的Tango：定義下一代智能設備

谷歌原本是想定義下一代智能設備。

2014年2月，谷歌先進技術和項目團隊（ATAP）發布名為」Project Tango「的新項目，以計算機視覺技術為智能手機添加運功追蹤、3D感知功能。

項目負責人Johnny Lee表示：「我們的目標是讓移動設備擁有和人類一樣的空間和運動感知能力，以增強和創造新的用戶體驗。」「這個手機配置了一些能繪製完整3D的硬體和軟體，它可以精確描繪關於周圍環境的3D地圖。其中的感測器速度可以快到實時更新周圍的地理位置，並將這些數據迅速轉換成3D模型。」

Tango有三大核心組件：

• 運動追蹤（Motion Tracking）：通過移動設備自帶的多種感測器，在不通過外界信號的情況下（例如GPS，WiFi，藍牙Beacon等），實時獲取設備的姿態與位置（6Dof）信息。這是Tango的核心功能，其技術實現方式是：tango使用視覺+慣性器件，實現了VIO（visual-inertial odometry）演算法。

• 深度感應（Depth Perception）：利用自帶的深度感測器掃描外界三維環境，生成點雲，構築三維模型。

• 環境學習（Area Learning）：可以被視作是motion tracking的增強，它可以將之前走過的路徑記錄下來，自動矯正環境構建與運動追蹤中積累的誤差，識別重複環境，減小誤差。

Tango無疑在軟體和硬體上都很有技術含量。

在凌感科技CTO馬賡宇看來，「Tango之前，基於視覺的3D運動跟蹤和場景建模還只是一個學術研究題目，可以做些demo，但是沒有能實際應用的系統。谷歌投入了大量精力，為3D運動跟蹤和場景建模專門設計了感測器和移動計算平台，把停留在紙面上的技術變成了能廣泛應用的產品，使得移動AR成為可能。」

Tango並不是真正的產品，而是一個品牌名。Tango 是一個在規定的硬體標準下運行的軟體程序，其規定了RGB、魚眼鏡頭、深度相機、CPU/GPU規格等硬體參考設計，還涉及VIO（運動跟蹤），稀疏映射（區域學習）和密集 3D 重建（深度感知）等軟體。谷歌還與Movidius合作，為Tango打造了獨特的視頻處理晶元Myrid VPU，該晶元助力複雜的Tango演算法能在手機上流暢運行。

谷歌沒有把Tango的技術授權給任何第三方，想使用Tango只能去購買谷歌官方支持的幾款硬體。

（The Yellowstone Tablet）

谷歌發布了幾款硬體來主導Tango手機，第一款是2014年初的」花生「手機（The Peanut），第二款是」黃石「平板（The Yellowstone Tablet）。Tango平板售價起初為1000美金左右，而後降低至500美金，總共賣出1000台左右，主要面向開發者。

（聯想Tango手機）

2016年6月，谷歌與高通合作開發消費級Tango手機，取消了Tango平板上有的視覺處理晶元，也取消了對深度相機的要求。同年，聯想發布第一款搭載Tango的智能手機——聯想Phab2 Pro，採用高通驍龍652晶元，售價400美金。隨後，2017年，華碩與谷歌合作，推出了支持Tango的ZenFone手機。從2014年到2017三年的時間裡，我們也僅看到幾款支持Tango的手機，而這些手機設備也沒有引起市場太大的關注。

「看起來很酷，但是究竟要怎麼用呢？「這是不少人對谷歌產品的感覺。

Tango究竟要用來做什麼？雖然現在ARCore很明顯就是AR開發平台工具，但是Tango一開始其實定位為3D感知手機，谷歌一直介紹Tango是一款——「知道自己在哪兒的手機」。基於運動追蹤和空間感知功能，谷歌一開始希望用Tango來解決室內導航的問題，在室內無法使用GPS的時候，不依靠任何外部的設備，就能提供設備的定位。

Tango與AR/VR發生關聯的重要信號在於：2016年11月，Tango項目從先進技術和項目團隊（ATAP）轉移到了Daydream部門。負責人Johnny Lee表示：Tango 團隊將會和 Daydream 團隊協調合作，兩個團隊的工作將會由谷歌 VR 部門的負責人 Clay Bavor 統一管理，並且 Clay 則會直接將工作彙報給谷歌CEO Sundar Pichai 。

2016年是VR的元年，HTC、Oculus、PSVR幾大高端頭顯發布，Pokemon Go的火爆也讓大家對AR充滿期待。Tango技術開始越來越多地應用於AR。

2016年底，在谷歌與聯想合作舉辦的Tango開發者大賽上，谷歌Tango項目的研發工程師郭旭曾說：Tango技術的一個最關鍵優勢就是易於普及，「目前，如果要推廣其他的VR/AR平台，開發者一般都需要花費幾百美元或者上千美元去購置一套設備。但是Tango不同，它藉助一個現有的智能手機平台，如果推廣開來，可以很容易地達到一個非常高的市場佔有率，而且像安卓一樣是免費的。更重要的是，隨著用戶數和開發者數量的持續增長，Tango將對整個AR/VR行業產生一個積極的推動作用。」

在馬賡宇看來，「Tango是第一個能實現AR功能的手持設備。它證明了手機AR可以達到以假亂真的效果。是一個具有跨時代意義的產品。很多用戶和開發者，都是通過Tango第一次體驗到了AR的神奇。」

然而，在2016年底，聯想Phab2 Pro發布時，Google Play商店中有僅有為數不多的幾款Tango設計的應用：AR虛擬家居擺設、AR遊戲、AR博物館等。Tango無疑是第一個能在智能手機上支持AR的平台，可惜，卻沒能早早地普及到大規模設備，也沒有火爆的應用誕生。

Tango為什麼賣不出去？

馬賡宇分析到：「Tango手機的研發成本高。需要特殊的硬體。而且演算法需要針對不同的CPU進行優化。同時由於Tango手機少，開發者開發AR內容的熱情不高。導致用戶沒有購買意願。又進一步降低廠商研發Tango手機的熱情。」

矽谷投資人Matt Miesnieks分析到，三年來，僅有屈指可數的幾款手機搭載了Tango，其原因可能是：谷歌公司不想為每家 OEM 都進行特定的感測器校準過程，且隨著 Android 智能手機硬體商品化，相機和感測器堆棧是 Android 手機最後實現差異化的地方，所以 OEM 廠商無法滿足谷歌的要求。谷歌認為，深度相機是手機的一部分，但是深度相機增加了手機成本，這也是 OEM 廠商拒絕 Google 的另一個原因。

蘋果搶佔先機

Tango發展緩慢，而蘋果藉助ARKit，搶先在所有iOS設備中上線了AR功能。AR真正變得進入大眾用戶，以大量的硬體設備持有來支持消費市場的內容開發。

2017年6月，蘋果在WWDC上公布了自己邁入 AR 領域的第一步——針對 iOS 11 推出 ARKit，使得上億設備瞬間擁有AR功能。開發者不需要任何別的工具，就可以輕鬆利用ARKit開發AR應用。蘋果CEO庫克認為AR是等同於智能手機一樣重大的創新，會給人生活帶來巨大的影響，而蘋果ARKit將和App Store一樣成功。ARKit一推出就備受關注，短短半年時間，App Store中就有超過三千款基於ARKit的AR應用。

2017年9月，谷歌發布ARCore，與蘋果分庭抗禮，然而由於晚到一步，谷歌成為了蘋果尷尬的追隨者。

「12 個月前，Google 本就可以輕鬆交付能夠在 Android 系統上運行的 Tango手機，但 Google 沒有這樣做。如果 Google 早早將 Tango 發貨 ，那麼 ARKit 的問世也只是緊跟趨勢，而非重大突破。「Matt不由得感嘆。

Matt指出，ARKit的基礎技術是視覺慣性測量（VIO）系統、簡單的2D平面檢測。ARKit可以被看成輕便的SLAM系統，可以將3D虛擬物體放置在真實的平面中，使得虛擬物體在平面上運動，還可以追蹤用戶的相對運動。

ARKit核心的VIO系統和谷歌Tango沒有區別，ARKit能實現的功能和Tango也幾乎一樣。但是，顯然，蘋果在軟體和硬體的整合上，甩了谷歌幾條街。Matt認為ARKit的優勢在於蘋果公司可以負擔得起將 VIO 演算法緊密耦合到手機感測器上，並花費很多時間來校準 VIO 系統，以減少計算空間位置時產生的誤差。

賽格威機器人研發高級總監陳子沖分析到：「單目的VIO都需要每台手機有標定的流程。蘋果的手機因為是標準化的，一共只有幾個型號，所以他顯然做得更容易一些。Google要在android生態中要推廣普通相機使用VIO，那就要解決這個標定問題，可能是通過某種自適應方法，使得這個步驟可以免除。但是仍然，他需要一家一家去測試，畢竟每家手機的攝像頭和IMU型號和位置都不一樣。所以你看他是一批一批的支持Android手機。「

庫克在接收英國獨立報採訪時，更為簡潔地指明了ARKit的先發優勢：「蘋果公司自己打造手機製造軟體和硬體，這使得它在AR和其他領域都處於獨一無二的優勢地位。谷歌也在對它的Pixel手機系列做同樣的事情，並整合了良好的虛擬現實功能，但這些手機的銷量並不大。」

谷歌的AR技術積累早於蘋果，但是由於沒有整合好軟硬體，被ARKit搶佔了先機。此時，谷歌顯得十分尷尬，要麼推出單目AR SDK，要麼強推Tango讓安卓手機硬體升級。

Tango推出三年，也僅獲得幾款手機支持，谷歌現在明顯只剩下推出單目AR SDK這條路。2017年8月，谷歌在新品發布會上展示了ARCore開發者預覽版，可以支持Samsung S8和 Pixel系列手機，正式與ARKit開戰。ARCore被看作是輕量級的Tango，有業內人士認為，谷歌看起來只是注釋掉了Tango深度相機部分，換了個名字。

前文介紹到，Tango有三大核心組件——運動追蹤、深度感知、環境學習。由於減少了深度相機和一些感測器，ARCore保留了運動追蹤和一部分的環境偵測功能，其深度感知，3D建模的能力則不如Tango，而這曾經是Tango最黑科技的一部分。

2017年12月，谷歌停止Tango項目，全力支持ARCore。

谷歌發文解釋到：「自 2014 年開始，我們一直在關注 AR 研發，並且推出 Project Tango。從 Tango 中我們積累了不少經驗，將其應用於 ARCore 的研發中。遺憾的是，Tango 需要定製硬體，而 ARCore 是一個快速和高性能的，可廣泛應用的 SDK 工具，能為數百萬台符合要求的移動設備實現高質量的 AR 效果……由於我們將關注點從 AR 技術本身轉移到整個以 ARCore 為主的安卓生態系統，所以我們決定將停止支持 Tango。」

也就是說，在長達三年的技術探索之後，谷歌Tango的軟硬體參考設計行不通之後，谷歌要將ARCore開放給更多的安卓設備了。

而就在前幾天，谷歌宣布正式發布ARCore 1.0，可運行於13種不同型號、超過一億台的智能手機。這13款手機包括：谷歌Pixel，Pixel XL，Pixel 2，Pixel 2 XL；三星Galaxy S7，S7 Edge，S8，S8+，Note 8；LG V30，V30+；華碩 Zenfone ；One Plus 5。谷歌也正與包括華為、摩托羅拉、華碩、小米、HMD/諾基亞、中興、索尼和 Vivo 在內的多家智能手機廠商展開合作，在他們將推出的產品中搭載 ARCore。

簡化Tango，推出ARCore是谷歌不得已之舉，這意味著承認Tango項目的失利，並且承認蘋果ARKit搶佔了先機，正確地引領了手機AR之路。

但是，谷歌或許也得感謝蘋果打開了手機AR的市場，為Tango日後的發展奠定基礎。雖然說，谷歌停止了Tango項目，放棄了以Tango為品牌打造智能設備的策略，但是並不等於谷歌會放棄繼續發展Tango的核心技術，用於ARCore的升級，以及其他的創新產品。

馬賡宇談到：」蘋果突然發布ARKit產品，性能與Tango相近，而且可以在普通手機上實現。使得還需要特別硬體的Tango方案失去了市場競爭力。Tango優於ARkit的一點是它還可以實現場景的3D建模。在一些低紋理區域可以工作的更好。而且在未來的AR應用中可以給用戶更多的信息。傳聞蘋果也在考慮加裝後攝的深度攝像頭，未來的硬體可能跟tango類似。「

陳子沖認為：「從Tango到ARCore，谷歌全面轉向了AR這個業務需求，致力於在所有的Android手機上提供給AR的SDK。在技術上是一個平移，在業務上是一個拓展（從原來少數幾款手機推廣到整個Android生態。國內相關的手機公司大概率會和谷歌合作，獲得ARCore的支持。對於從事VR的公司也是利好，可以通過極少的技術投入，以很低的成本（android+攝像頭）實現一個6軸的VR頭盔。」

雖說現在蘋果ARKit搶先幾個月發布，但是這種領先估計也只能說先走了半步。ARKit 1.5 和ARCore 1.0都還是初代產品，不少開發者對雷鋒網表示，無法用它們做出很驚艷的產品。而不少開發者心中理想的AR開發工具還需要具備：更強大的環境理解功能、實時3D重建、多人交互、語音識別等，才能達到真正的虛擬與現實融合。目前，我們確實還沒有看到爆款的AR應用。

雖然蘋果不升級硬體，搶先了半步，但是硬體升級或許是必然的。UCVR CEO胡金暉談到：「谷歌停止Tango，推出簡化版ARCore，策略上可能打算曲線救國。這些手機OEM廠商覺得Tango方案又貴，又要重新設計主板，不想採用，那就乾脆先把軟體技術集成到現有手機上，等大家適應了也用慣了AR手機，想要更高端的時候，只要在上面加個深度感測器就好了。」技術總是不斷更新迭代的。

從技術史來看，從沒有一個憑空冒出來的創新技術，新技術一般是舊技術的組合創新。Tango也是一些技術組合而成，Tango項目的停止，並不會終結這些核心技術的可能性。

這一切，可以從微軟Kinect說起。

2010年，微軟為Xbox 360特意打造了Kinect。Kinect配有深度攝像頭和語音識別麥克風的硬體，可以識別空間、人體動作，且支持語音控制，xBox立馬變身體感遊戲機，增添了很多創新的玩法。

微軟Kinect是人機交互領域跨時代的作品，在此前，人機交互一直是以機器為中心的，人類學習機器的語言去和機器交流。微軟Kinect首次讓機器學會理解人類，理解人類世界。Kinect是微軟為了填補人體和設備界面之間，超越鍵盤、滑鼠、觸控屏極限的一次偉大嘗試。

在雷鋒網此前文章《微軟的Kinect停產了，但它為今天的VR/AR做了很多貢獻》一文中曾寫到：

自 2010 年來，蘋果仿效 Kinect 語音控制功能，推出了 Siri 語音助手；谷歌也開始了 3D 追蹤系統 Project Tango（該項目的領導者是曾經研發 Kinect 的 Johnny Lee）。視覺和語音系統幾乎成了智能手機的標配，也逐漸進入我們的家居領域。亞馬遜 Echo 將語音助手帶進爺爺奶奶的卧室。新一版的 Echo Show 還在 Alexa 上加裝了攝像頭。

谷歌Tango項目起源於Kinect，命運也和Kinect相似。作為開創性的產品，Kinect的黑科技難以擴展應用場景，被市場接受。微軟停止Kinect項目，但是並沒有停止Kinect相關技術的研發。

商詢科技CTO鄔浩告訴雷鋒網：「Kinect二代停產，也僅僅是用於xbox的Kinect硬體設備賣的不好，所以硬體不再生產了，但Kinect技術線是一直持續的。HoloLens自身屬於Kinect四代技術，而Kinect五代技術一直在研發中，並且已經就要發布了，而這就是HoloLens二代。「

即便是矽谷消息最靈通的科技記者，也經常不知道幾大科技巨頭公司都有哪些部門，每個部門實際上在從事著什麼樣的研究。在雷鋒網看來，Tango項目雖然停止了，但是其後續影響力肯定還將持續。

谷歌在Tango的技術積累可以幫助ARCore更新迭代，這自然不必再說，Tango還有其他更多的炫酷應用。

iPhone X人臉識別

（iPhone X原深度攝像頭系統）

2017年10月，蘋果發布了iPhone X，其最大的特色是增添了一個擁有數十顆感測器的」原深度攝像頭「。這個攝像頭可以實現人臉識別，使得人臉解鎖代替指紋解鎖，同時還可以實現人臉3D重建，方面AR貼紙功能。iPhone X的深度攝像頭用到是和Kinect、Tango一樣的結構光技術。

目前，3D機器視覺獲取深度信息的辦法主要有三種：結構光、TOF 時間光、雙目立體成像。Kinect一代和Tango一代採用結構光的方法，2013年蘋果收購了Kinect的開發商PrimeSense，Kinect二代和Tango二代都改為採用TOF感知深度信息。

榮耀V10發布會，華為宣布正在開發「占雲深度攝像頭」

去年11月，華為在榮耀V10發布會上，推出「點雲深度攝像頭」散班結構光手機配件，可以感知用戶臉部的深度並對臉部建模。據雷鋒網了解，華為不僅會做前置的深度攝像頭，也會做後置攝像頭。另有消息，小米和OPPO將在明年發布的智能新機中，使用3D感應的面部解鎖方案。

雖然現在前置的原深度攝像頭主要用於人臉識別，相信日後我們會看到更強大的可以理解環境、理解物體的深度攝像頭。Tango首先讓人們看到了搭載深度攝像頭的智能手機的潛力，iPhone X的人臉識別讓這個技術先一步普及，未來，深度攝像頭將成為智能手機的標配。

工業機器人

2014年，谷歌Tango就曾被用在NASA的空間站機器人SPHERES上，幫助機器人執行通訊、拍照、和處理能力。在裝上Tango之前，SPHERE可以做的事情僅僅是在空間站里飛來飛去，藉助Tango的運動追蹤、環境感知能力，這些機器人可以從事修理、運輸、搜尋物品的工作。如果NASA採用定製的深度攝像頭將會比Tango貴1000倍，真是節省了不少錢。

Tango的技術可以對機器人領域有所助益。在機器人領域，感知環節是進展緩慢且相對薄弱的環節。感測器和環境感知技術的進步，會使得機器產業有較大的跳躍。

谷歌很多的產品都相當的酷，例如Google Glass，例如Tango。而這些產品似乎都有一個共同的問題：Google還沒有想好要怎麼用，不過這是大多市場引領者都會面臨的問題。谷歌雖然停止了Tango項目，但是我們現在看到了ARKit和ARCore的分庭抗禮。俗話說，走的人多了，自然就有了路。隨著更多玩家的加入，AR的發展會越來越清晰，谷歌之前借Tango暢想的新一代智能設備，也變得更加切實。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！