福布斯揭秘Facebook AR的野望

想要了解更多的VR遊戲資訊 一定要關注VR陀螺！

編譯/VR陀螺 雲吞

可愛又迷人的反派角色

馬克·扎克伯克在2014年1月時第一次體驗了Oculus Rift。當時，他站在Facebook少數幾個裝了百葉窗的辦公室中的一間，把這塊磚頭一樣的眼罩綁在臉上，然後在瞬間覺得自己被傳送到了一座中世紀城堡的遺迹中，厚重的雪花在自己的身邊落下，有著翅膀的怪物從自己的嘴中不斷噴射出滾燙的熔岩。這一讓人神魂顛倒的景象立馬就讓他信服：VR總有一點會成為主要的計算平台。兩個月之後，他身體力行的支持了自己的想法：花費20億美金買下了Oculus。

但是小扎在當時沒有想到的是，另一種還沒有獲得廣泛關注的、和VR有著千絲萬縷關係的年輕技術，AR，也正在追趕著VR的步伐。AR能夠將虛擬的情景圖像、特效覆蓋到真實的環境中，僅僅需要一台手機。儘管在AR方面並沒有像VR那樣數十億美金收購案的頭條，但小紮實際上還是命令自家的工程師們開始同時研究VR和AR的未來。這一決定是合乎情理的，因為兩種媒介在底層技術上有著許多同樣的東西，從硬體的組成到更為複雜的計算機視覺軟體都是如此。

「馬克是那個在當時真正推動我們在AR上有所投入的人，」Facebook首席技術官Mike Schroepfer告訴《福布斯》。Schroepfer說，AR和VR一起成為了Facebook三大最重要的技術研發方向之一，其他兩個方向則是人工智慧（AI）和連通性（connectivity）。在Facebook內部，有數千名工程師都在研究底層技術，比如計算機視覺，它能夠讓一台智能手機實現實時面部動作追蹤、識別出一個咖啡杯、或者推薦基於情景的特效。同時，AI對於AR來說也是一個重要的基礎，因此Facebook經常會把自己的app內相機成為「AI相機」。Schroepfer表示，對這些技術的研發牽扯到了「重大的資金投入」。

如今，Facebook也必須和市場上其他的競爭對手正面碰撞，包括蘋果和谷歌，甚至還有Snap。這些公司都希望自己的平台和規則成為AR開發者們的首選。而AR技術本身雖然仍處於起步階段，迎來了一輪爆炸期。這也驗證了小扎近期的直覺：AR能夠沖向大眾市場——儘管VR仍然是一項較為尷尬的技術，吸引的絕大部分都是硬核的玩家。AR最大的優勢在於，並不依賴於昂貴、大型的頭顯和電腦，同時也不會將用戶和環境割裂。它所能夠使用的設備，本身就已經被世界上超過1/4的人所擁有。

「最直接的事實是，你可以在你的手機上使用AR，而世界上已經有13億人在手機上使用Facebook，」Facebook應用機器學習負責人Joaquin Candela這樣對記者表示。她所在的團隊負責打造Facebook AR技術背後的AI支撐體系。「手機的用戶要比VR頭顯的用戶高出100多倍。這就讓AR很值得研究和關注。」

同時，很多案例也已經表明，AR具有吸引消費者的能力，甚至還能夠徹底改變用戶和手機交互的方式。看看一些先鋒的AR應用，比如Snapchat上面的小狗濾鏡，或者《Pokemon Go》這樣的遊戲。這些都表明，AR，而不是VR，是我們MR未來的下一個主要的階段。驅動AR的智能手機交互，比如用濾鏡改變自己的外貌，或者用手機來抓小精靈，已經成為了我們可以接受的社交行為。

但是科技巨頭們對AR投入如此大，是因為它的應用要比社交媒體、遊戲和濾鏡多得多。AR技術在許多其他領域已經有了實際的應用，包括導航、電商等。比如，宜家就推出了自己的AR應用，讓用戶可以把虛擬的傢具放在房間裡面進行查看。製藥公司也正在使用AR來實時顯示關於藥物的信息。現代用AR來讓消費者切身感受自己車輛的一些特性。AR還能夠和聊天機器人結合，用於客服培訓。「你的手機會變成一個神奇的鏡頭，讓你更好的看世界，」Facebook相機團隊總工程師Tom Meyer說。

在Facebook內部，工程師和管理層都知道風險很大。如果無法正確的推動AR發展的話，公司就會遭受自家app使用率下滑的風險。公司和Snapchat之間的鬥爭已經表明，年輕用戶對於社交應用的忠誠度並沒有那麼高。他們很容易就會被有著吸引眼球的工具的平台所吸引，然後就會逐漸發展出一個社區，尤其在有著大量圖片和視頻內容的前提下，因為這些內容會形成具有吸引力的、不但傳播的體驗。

Facebook直到Snapchat發布AR特效很多年之後才推出自己的產品。儘管如此，公司還是完成了自己這個巨大的任務，這得益於公司內部強大的AR技術，這能夠支持更加高級的特效和更加強大的產品設計。這些能力讓Facebook能夠很快跟上Snapchat的步伐，也在一定程度上阻礙的了對方的發展，讓Facebook免於陷入谷歌之前的境地——Google Plus太遲推出，以至於完全沒有辦法成為社交媒體中的一個有力的玩家。

在AR上的成功能夠為Facebook帶來很多好處。公司的廣告業務是由用戶在其應用上所有的活動和時間所驅動的，在2016年時帶來了269億的收入。AR特效占人們花在社交網路上的所有的時間中的比例正越來越大，鼓勵了用戶更加頻繁的和好友發送信息以及製造自己的內容。Facebook用戶平均每天在Facebook app、Instagram和Messenger上花費50分鐘，而公司需要持續的推出新的產品功能來抓取用戶的眼球，推出圖片占很大比重的社區的發展，保持高質量來應對挑戰，尤其是公司希望能夠將其他獲得用戶認同的行為頻率降低到最小，包括「騙贊」和「標題黨」等。

而Facebook所有應用上的濾鏡的普遍存在，表示公司已經邁出了主要的一步——從為固態圖像打造的「過去的相機」逐漸轉換為「未來的相機」。這個「未來的相機」將由AI所驅動，能夠實現吸引眼球的特效，同時能夠附著在朋友和家庭的網路上。濾鏡看上去似乎不是什麼大事，但是它給Facebook帶來的如何正確做AR的啟示是非常有意義的。根據Facebook公首席產品官Chris Cox的說法，司持續向圖像集中這一特點的轉化對於公司未來的發展非常關鍵，就和從桌面轉向移動端一樣。

「從更長遠來看，Facebook必須要在AR上做的非常好，如果我們想要在接下來10-2年間不落後於其他人的話，」Schroepfer說。

從「過去的相機」到「未來的相機」

在去年5月的一個早晨，扎克伯格的一張自拍照片出現在網路上：他戴著一副「黑框眼鏡」，頭上漂浮著幾個數學公式。這張照片宣告了Instagram Stories的首個「臉部濾鏡」的誕生。「這是我目前最喜歡的濾鏡，」小扎著么對著鏡頭說。

其他的特效還包括彩色的紙屑、水下的場景、抽動的考拉鼻子和兔子耳朵，激發了3億人的參與，其中還包括女演員瑞希·威瑟斯彭(Reese Witherspoon )和模特卡莉·克勞斯(Karlie Kloss)等名人。還有不計其數的青少年每月都會在家使用Instagram這一有著厚重AR元素的Stories上的功能。Instagram、WhatsApp和Facebook自己的app加在一起，讓公司現在已經成為了世界上最大的AR生態系統，此時距離小扎第一次嘗試Oculus的demo過去了僅僅4年，距離公司開始研究AI技術僅僅過去了6年。

已經有數千名開發者正在使用「AR Studio」在Facebook的AR平台上打造應用，這一軟體是在去年12月正式向公眾開放的。目前所有擁有Facebook賬號的人都可以打造自己的AR特效，包括濾鏡、動畫和3D的虛擬物體。

儘管Facebook在社交AR上進展不錯，但卻不是第一個讓它變得流行的。這一光榮的稱號要屬於他的死敵Snapchat，而Snapchat一開始其實是一個和色情打擦邊球的通訊工具。正是Snapchat首創了「閱後即焚」功能，也就是AR特效得到應用的主要場景。直到3年之後的2016年，Facebook才推出了幾乎一模一樣的功能。直到一年之前，Snapchat的AR功能還是全面領先Facebook的。然而，Facebook其實已經花了很多年在幕後研究AR的核心技術，因為扎克伯格很早就直覺性的察覺到AR終有一天會成為主流的通訊工具。

Snapchat一開始的AR效果是為整個屏幕上的照片和視頻覆蓋虛擬物體，隨後在2014年推出了針對用戶所在特定地點的「geofilters」和「lenses」，比如在2015年風靡一時的「口吐彩虹」和2016年推出的定製化AR虛擬形象「Bitmojis」。Snapchat的這些特效一夜之間就火了，讓它迅速積累了超過1.5億的日活用戶。青少年們，這一最有價值卻最難捉摸的群體，每天都會使用Snapchat來聊天。雖然Facebook的高管們一直迴避在採訪中談到Snapchat這一競爭對手，但是在當時，公司毫無疑問對於自己的劣勢充滿了角度，並且一直緊咬不放。

在Facebook一直監控著自己這一新對手的同時，也意識到了自己app上的一些趨勢。圖片、動圖和視屏的瀏覽量大大增加，將文字信息甩在了身後。更加讓人吃驚的是2016年4月上線的視頻直播功能的效果。所有的高管，包括小扎自己，都對其直線上升的採用率感到震驚，這也明顯的表示出人們希望在Facebook上通過圖像和動畫來交流，並且希望是實時的。

因此，在基於圖像上的分享功能上加大投注是不可避免的了。Facebook的產品路線圖在公司推出視頻直播功能和收購白俄羅斯AR濾鏡應用MSQRD之後到達了一個轉折點。MSQRD在東歐起家，然後在美國地區流行開來，收穫了1600萬用戶。它的濾鏡工具看上去和Snapchat幾乎沒有差別，因為聯合創始人Eugen Zatepyakin花了將近3年的時間來打造自己的3D圖像渲染技術。Facebook的設計VP Julie Zhou 回憶起了當時公司高管們在總部試用這一應用時的情景。他們很快就著了迷。

「改變你自己的外貌能夠立馬就產生一種吸引力——你會想要去成為另一個人，去裝扮成別人的樣子，」Zhou說。

Facebook在2016年3月以未披露的金額收購了這家創企，隨後就開始了大力的研究。不久之後，小扎就在網上po出了一段自己使用MSQRD的鋼鐵俠特效拍攝的視頻，而且在內部悄悄地加大了對更加複雜的app內置相機的技術基礎的研發支持。

AI上的突破

Facebook一直在研究AI相關的技術，比如計算攝影學，這一技術從2015年開始就支持AR。然而，直到2016年的夏天，扎克伯格才終於決定對AR開始全面的投入，成立了一隻專註於AR的「相機小組」。這一團隊由來自公司內部的應用機器學習部門的一群AI工程師和研究人員組成，辦公地點就在Building 20的開放式樓層中，在小扎的辦公室的隔壁。

在接下來的一年半之間，「相機小組」已經擴大至100名員工，包括從好萊塢和遊戲公司挖過來的設計師，還有Messenger和Instagram相機功能的參與人員，來幫助小組快速的發布新的功能和進行迭代。團隊需要忙碌的事情有很多，包括加強基礎視覺識別技術和深度學習技術，還需要在Facebook之外的地方組建焦點小組來實驗不同的AR工具。

在團隊其中一項研究課題中，應用機器學習團隊的產品設計負責人Dantley Davis回憶起了有一次，他們需要不停的拜訪別人，來詢問大家在跟別人說「生日快樂」時有哪些不同的方式。團隊給了參與研究的志願者一系列的工具，他們可以將這些特效和信息發送給過生日的人。Dantley說，有一名男性的志願者，對於可以用動畫特效來跟自己的妻子說「生日快樂」感到鬆了一口氣，因為相比要他通過語言或者文字來表達，這種形式要更加輕鬆和簡單。

「他用這些工具創造了一段非常親密的、私人的體驗，基於他和她妻子的日常交流的內容，」Dantley說。「AR工具給了他一條捷徑來表達自我，他認為很有價值。這讓在情感交流中稍顯笨拙的人會感到更加有自信。」

就在相機小組成型後不久，Niantic所開發的《Pokemon Go》大獲成功，這進一步證明了AR對於主流消費者具有吸引力。從2016年7月面世後僅僅19天，《Pokemon Go》的用戶數量上升到5000萬，大家願意在城市中行走數英里的距離，用自己的手機來捕捉AR版的小精靈。扎克伯格自己也是這款遊戲的粉絲，在當月公司的財報電話會議上，他還向投資人特意提到了這一點。這款遊戲也向Facebook的高管們證明了，AR不僅僅能夠應用在Snapchat這樣的通信軟體中。

與此同時，Facebook相機團隊的工程師們正在埋頭打造自己的AI處理軟體，他們希望能夠成為公司未來AR特效的紮實基礎。此時，像Snapchat這樣的競爭者正在以來外部的服務來驅動AR，降低了速度和複雜程度。但Facebook希望能夠直接在手機上打造一個可以處理AI的系統，這一技術最終被命名為「Caffe2Go」。Facebook希望在基礎架構建設好之後、確保效果能夠和現有的相機無縫結合之後才正式發布AR功能，同時也希望自己的AR能夠比Snapchat的擁有更好的臉部追蹤渲染和速度。

在Caffe2Go開發的同時，Facebook的產品部門也在MSQRD的幫助下試驗著各種不同的AR工具。在2016年8月，在夏季奧林匹克運動會開幕之前，公司選在巴西和加拿大測試直接在自己的主應用中打開全屏的相機（和Snapchat一樣），同時也發布了奧運會主題的相機邊框和可以添加在已有照片上的彩色面具。同一個月，公司也為Instagram打好了AR效果的基礎，發布了自己的首個「閱後即焚」功能。

那年的秋天，Facebook完成了Caffe2Go的研發，實現了在手機上直接處理AI的系統，能夠實時捕捉和分析像素。在2016年的秋天，公司通過「風格轉換」這一功能（可以把你的照片或者視頻變成畢加索或者梵高的風格）進一步測試了Caffe2Go，隨後這一系統就開始正式在所有Facebook旗下的app上來驅動AR功能。這一功能的一個應用地是Messenger，很快，它看上去和Snapchat看上去驚人的相似，在同樣的「閱後即焚」的功能「我的一天」中，充滿了可以用來修飾照片和視頻的面具、濾鏡和鏡框。去年3月，Facebook把AR效果進一步擴展到了主app上，用戶只需輕輕的一划就可以開啟全屏的相機，屏幕中央有可以開啟濾鏡和動畫覆蓋層的按鍵。

在一個月之後的F8開發者大會上，扎克伯格宣布的最重要的消息之一，就是發布首個「相機平台」，這一平台可以讓開發者基於社交網路來打造AR特效。依然是灰色的T恤和簡單的牛仔褲，小扎在台上闡述了這一功能能夠給未來的世界帶來什麼。他表示，最終，科技能夠解放人們用於社交的時間，更加的具有創造性和製作更多的藝術。

「在未來，我們對於文化和社會的貢獻的方式，將會更難以用傳統的經濟學或者GDP來衡量，」在展示公司的10年產品路線圖時，他這麼說到。「我們將會創造更多的藝術品，這將會是我們社區的基礎。」

「這也是我對於AR感到如此興奮的原因。AR能夠讓我們打造出此前只能在虛擬世界中做出來的東西，而且我們能夠和它們進行互動，並且一起探索。」

這是第一次，扎克伯格將Facebook的內置相機作為溝通交流的核心來展示，這也是對Snapchat將自己稱為「相機公司」的直面回應。扎克伯格還預測，AR眼鏡和AR隱形眼鏡很可能成為未來首個AR可穿戴設備，而從現在開始，人們正在從自己的手機上開始享受AR。

從Facebook在2016年晚些時候發布AR特效以來，Snapchat的增長就陷入了停滯。Facebook旗下最受歡迎的AR平台，Instagram Stories的用戶增長和Snapchat的用戶下滑存在著相關性。目前Snapchat的日活僅有1.9億，而Instagram的日活達到了5億。

更加廣泛的AR競賽

儘管普通消費者對於AR最大的用處是在社交網路上，但幾乎每個科技巨頭都在競相將AR功能融入到自己的產品和生態中，然而大部分開發者還不知道應該怎樣開發AR。就在Facebook發布自己的AR相機平台的兩個月之後，蘋果發布了自己的開發者工具ARKit，能夠讓開發者和營銷人員為已有的app加入AR元素。調研公司Forrester預測，已經有4億台設備可以兼容ARKit。在去年9月，蘋果還為iMessage推出了「Animoji」，通過iPhone X上的面部識別技術來為用戶定製自己的動態emoji。

但是谷歌可能是所有科技巨頭之中研究AR時間最長的，早在2013年就發布了自己的智能眼鏡Google Glass。但是這款產品的失敗也是史詩級的——儘管在科技愛好者之中取得了不錯的口碑，但是卻因為隱私和社交可接受性的問題，讓普通消費者難以接受。谷歌隨後在2016年發布了一個AR平台Tango，使用深度感測器來繪製室內的空間地圖，但是這一平台只可以和很少的幾款設備相兼容。為了讓更多的手機在無需額外相機和感測器的情況下就能夠使用AR功能，谷歌在去年八月推出了和ARKit對標的ARCore。這一開發者套件針對現有的和未來的安卓設備，包括三星的旗艦機型。

谷歌發言人表示，在冬季結束之前，ARCore預計可以在1億台安卓設備上運行。和Facebook一樣，谷歌很自然的也對將AR用於搜索非常感興趣。在5月份，谷歌發布了「Lens」功能，這是一個計算機視覺工具，可以自動整理谷歌照片中的圖像，而且Pixel和Pixel 2的用戶可以直接將手機鏡頭對準某件物品，就可以實時獲得相關信息。蘋果和谷歌的優勢不僅僅在於擁有自己的操作系統，這讓開發者可以打造很多的AR應用；而且這兩家公司也有著打造硬體的經驗，這些都是Facebook無法比擬的。

「Facebook的相機平台能夠讓開發者和市場營銷人員在未來更多的達到更加廣泛的人群，但是Facebook的局限性在於，無法控制硬體，」Forrester分析師Thomas Husson說。「如果想要實現真正驚艷的AR體驗的話，需要軟體和硬體的結合。」

就在Facebook、蘋果和谷歌都專註於智能手機的時候，微軟則一直專註於企業用戶的可穿戴硬體。公司在2016年發布了價值3000美元的HoloLens。HoloLens基於微軟的Mixed Reality平台運行，同時也可以驅動其他的VR和AR硬體。但是對於AR設備來說，想要讓普通消費者負擔得起，或許還需要很多年的時間。

Facebook或許最終都不會擁有自己的操作系統或者下一代的AR設備，但是他也有著自己的關鍵資產：首先，Facebook可觸及的用戶要比其他所有的社交app還有即時通訊軟體的用戶都要多，包括Snap、Kakao、Line和微信。第二，Facebook有著世界上最大的計算機視覺團隊之一，這有助於打造更好的AR效果。就算Facebook始終無法讓自己的AR硬體流行開來，公司可能也會在很多年之中保持最大的AR內容生態系統的地位。

廣告的下一個趨勢

在去年7月《權利的遊戲》第七季最終集放映的周末，世界上所有的權游粉絲們都按慣例在社交媒體上分享著自己的對於電視劇的看法和期待。但是除了普通的貼子之外，還出現了這樣一種更加吸引眼球的帖子：超過100萬人在Facebook上製作了自己的權游主題AR視頻，可以將自己的臉轉換為嚇人的「夜王」的模樣，連聲音效果和雪花的掉落效果都有。這一特效能夠實時根據臉部的位置進行調試，就算用戶大聲喊叫和唱歌也沒有問題。很快，這些片段就開始在新聞和社交網路上流傳開來。

這款特效實際上由HBO打造，而非Facebook。它很快成為了Facebook上最成功的AR營銷案例之一，表現出高質量的AR效果會讓人們樂於和朋友們分享，就算是廣告也無妨。對於營銷人員來說，AR具有很大的誘惑力，就像「夜王」特效所展現出的那樣，因為AR可以讓手機用戶在上面停留更長的時間。Facebook對自己的定位是成為AR營銷活動的首選平台，圍繞著鼓勵大家和朋友一起遊戲或者po動態的自拍。

「《權利的遊戲》粉絲每天都希望能夠有新的活動，」HBO數字媒體和市場總監Emily Giannusa這樣跟福布斯說。「Facebook相機平台對我們來說如此有吸引力，是因為在使用簡單的同時，也給粉絲們提供了一個可以把自己傳送到權游宇宙中去的機會。而他們所需要的僅僅是一台手機而已。」

僅有大概5%的市場營銷人員正在使用AR技術。但根據Forrester 最近的調查，有17%的人正打算在今年使用這個技術，而且相比VR，在至少3年的時間內，AR將會和營銷者產生更多的關係。

「探索時期」

隨著AR從手機拓展到可穿戴設備，這項技術能夠成為人們全天候的感官提升器，同時也能夠根據我們所在的地點、我們的興趣點和社交網路來定製搜索功能。但是普通消費者對於AR的使用仍然處於早期。在接下來的幾年中，科技巨頭們將會忙著提升自己的核心技術，同時為手機打造AR，比如Facebook就會專註於自己的長處。隨著時間推移，AR很可能會讓Facebook和它的新聞功能完全大變樣——更加具有沉浸感、更加聚焦視頻和互動性。

同時，公司需要持續提升自己的AI技術，來變得更快和更加精確。比如，在識別視頻中的物體時，能夠理解從不同的角度來看，一個場景應該發生怎樣的變化，更好的映射虛擬物體和環境之間的關係。為了到達更加廣泛的長期用戶，包括那些正在發展中的市場，Facebook需要讓自己的AR功能能夠和性能比較弱的手機以及老款的手機兼容。

「我們還處在基礎的探索時期，我們也還在打造基礎的技術，」Facebook的Candela說。「所以我現在的重點會放在執行上。同時，在一些次要的時候，我們會做一些瘋狂的探索性項目。」

與此同時，Facebook正在「大力投資」硬體來支持AR，也正在打造更多的社交工具。除了讓公司保持競爭力之外，提升底層AI技術還有其他的好處，比如通過更好的視覺識別以及語言理解，幫助對抗垃圾信息和問題內容，同時還可以提升遊戲效果和機器人的效果。

「很多人以為，AR僅僅是用來打造好玩的濾鏡，這是錯誤的，」Candela說。「我們正在推動的技術，很難讓普通人想像能夠有什麼樣的應用。但是我很確定，它們會解鎖我們現在從未想過的未來——有意義的AR體驗將會非常具有社交性，你將會成為你自己。」

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！