神級開源混合現實眼鏡，只要兩百塊！

我昨天晚上徹夜未眠，不是因為蘋果昨天的發布會發布的ARKit，而是因為我體驗的一個紙板做的增強/混合現實(AR/MR)眼鏡，讓我激動不已。

我被邀請到位於矽谷的科技創意工作室Amber Garage，參觀他們的開源項目HoloKit。它由畢業於清華和斯坦福的胡伯濤和來自紐約大學的朱逢源研製。

在我看來，他們送給了AR行業這份大禮，將改變整個增強/混合現實和虛擬現實（VR）行業的規則，森森的有一種增強/混合現實界的普羅米修斯的感覺！！

GIF/1.8M

用生命擔保這個是實拍圖，於紐約地鐵

GIF/2.0M

眾所周知，微軟HoloLens商業版賣39188人民幣，而開發版賣23488人民幣，而且還限量！

而這個牛逼的研究團隊用不到兩百人民幣的成本，接近甚至超過了微軟HoloLens的視覺效果！要知道微軟HoloLens上百人團隊研發了數年時間，初略估計耗費上億美元。(Hololens用的是waveguide波導成像，HoloKit用的是和Meta 2一樣的傳統光學方案)

而Holokit，不要39188，只要兩百塊！！！

GIF/1.9M

更可怕的是，他們把軟體和硬體方案全部無償的開源出來，所以現在任! 何! 人！都可以做增強/混合現實的開發了。

GIF/2.0M

對，就是這個看起來醜醜的紙板HoloKit眼鏡，讓整個增強現實行業面臨洗牌，但成千上萬的開發者將因此受益。

2017年6月6日的這個夜晚，這個眼鏡也會讓無數人激動，增強現實開啟了新紀元。

影響的會是全球幾十家增強現實和虛擬現實公司，包括英特爾、微軟，谷歌、Facebook、Meta、Magic Leap等一大波VR/AR領域投入重金的科技及巨頭。

激動的會是國內所有的VR開發者，創業者、廠商和代工廠，和所有想做AR/MR卻無從下手的開發者、創業者、廠商和代工廠。

而如今，同樣影響的還有蘋果ARKit，ARKit這個昨天發布會上最容易被人忽視，卻是昨天蘋果發布會上最革命性的產品之一。

簡單的說，ARKit基本實現了單目加慣性測量元件(IMU)的定位演算法可以提供的大部分功能，憑藉廣泛的硬體覆蓋率，iOS有望有活力的AR內容平台，類似PokeMon GO類的AR遊戲體驗肯定有質的飛躍，一大波真AR遊戲應用可能會到來。

蘋果封裝了這些定位演算法並提供給開發者調用，做的事情其實和HoloKit一樣，所以並不會對蘋果AR策略有影響。但根據目前通過粗略的與蘋果的iOS 11測試版對比評測發現，HoloKit的VINS演算法應該也能基本達到ARKit官方展示的效果，所以安卓廠商可能可以直接利用修改HoloKit開源的演算法做到比蘋果ARKit更牛逼！

為什麼對行業有巨大影響？

先解釋一下MR（混合現實）是什麼呢？MR是將真實世界和虛擬世界混合在一起，來產生新的可視化環境，環境中同時包含了實時的物理實體與虛擬信息。當VR已經爛大街，MR的大門才剛剛開啟，在Garnter的技術成熟度曲線上遠遠落後於VR，還處於幻滅期。

所有人都相信MR是未來，巨頭也瘋狂的投資AR/MR行業。

為了布局，Google和阿里等投資了13.9億美元給Magic Leap，微軟HoloLens上已經研發數年時間，騰訊和李嘉誠等投資5000萬美元給Meta，而Google也花費重金在Project Tango上，英特爾在Project Alloy上也制定了明確的MR策略，要砸錢做頭盔，連Facebook也開始大談特談AR策略。

儘管巨頭們都花重金投入，然而從一個普通的消費者角度來講卻沒有看到實質性進展：

1.Magic Leap依然還是個迷，流出來的信息也就是一張背包圖，也有人說是頭戴電冰箱。

2.Hololens還是限量的非消費者版，現在這個版本據胡伯濤說他2年前就用過了，東西是不錯，感知部分空間定位做的很棒，顯示部分一般（視場角只有34度），要價$3000（2萬多人民幣），消費者買不起，第三代版本據說要2019年發布。

3.李嘉誠和騰訊投資的Meta 2開始預訂，還沒有發貨，據說定位的延時超過100毫秒，顯示部分清晰度一般，而且還需要一台PC連著，用戶預定等了一年半還是沒有拿到！

其他的MR公司的眼鏡也都停留在展會演示品階段。

現在，這些都無所謂了，過去大家體驗不到的神秘兮兮的混合現實眼鏡已經向我們打開了大門。

因為任何一個人，利用開源的HoloKit的演算法和硬體，不到兩百塊錢可以搞出世界上頂尖的混合現實眼鏡。

動圖

動圖

（咦，上面的東西看起來好熟悉）

為什麼有人要激動？

來說一下我的用戶體驗，我體驗之後，說了大概十五個「我操，太牛逼了」。

其實用了HoloKit之後表示震驚的不止是我，還有斯坦福光場顯示專家 Gordon Wetzstein教授，甚至是谷歌Project Tango的創始人Johnny Lee。

Johnny Lee of Google Project Tango

連Youtube第一網紅Casey都拍手叫好！

Casey Neistat using Holokit in New York City, May 24 2017

來看看這段視頻感受一下：

把增強現實產品行業水平前進了至少一年

先給一張表格對比HoloKit和其他產品的優劣。

(這麼算 FOV : h = 30 deg, v = 17.5 deg for hololens. 2 * atan(sqrt((2 * tan(h degree /2))^2 + (2 * tan(v degree /2))^2) / 2) to degree)

交互部分

交互外設支持：你能想到的能連上手機的東西，都能做交互。

比如說一個藍牙耳機的音量鍵 + 你頭部指向中心的游標，就可以做幾乎等價於HoloLens 主要交互模式。

比如說任意一個藍牙控制器（$10以下），都能做交互。

比如說另外一個手機也能做控制器，還能實現了3自由度的交互呢。

下圖中這兩人一個用手柄，一個用手機做交互。其實效果都是一樣的。是不是很便宜就實現了很多很科幻的效果？

動圖

動圖

手勢識別

最簡單的方式：我們可以裝個 leap motion上去也實現了黑科技手勢識別。

黑科技的方式：利用現有普通手機的單目攝像頭做手勢識別，不需要額外硬體。這個目前有很多庫都能用，一個比較好的是 manomotion。

動圖

感知部分

感知部分是這個項目中最高科技的部分。

1.內向外的定位 Inside out tracking。

原來我們參考了開源的VINS做定位部分。

好消息是，Apple 在6月5日，發了 ARKit ，效果看起來也不錯。所以那就更好了，HoloKit也可以完美支持ARKit。

所以現在感知部分可以使用 VINS, ARKit, Tango 三選一。多好，Google和Apple 我們都支持，開發者誰好就用誰的。用戶體驗優先。我會放出針對HoloKit適配的調參SDK。保證三個Tracking都支持。

2.平面檢測。以上三種感知演算法都可以告訴開發者平面位置。所以可以將虛擬物體置放於桌子和地板上。

3.HoloKit是支持Unity的，所以不需要你懂黑科技和c++，普通程序員藝術家也能使用Unity，來開發基於HoloKit的App！

普通程序員也能使用Unity，來開發基於HoloKit的App！

普通藝術家也能使用Unity，來開發基於HoloKit的App！

簡單的說，HoloKit憑著一己之力，至少把MR行業的普及硬生生往前推進了一年，而且將增強/混合現實的火種傳遞給了所有的普通開發者！！！

你不需要買一個幾萬塊的HoloLens，就可以做出超牛逼的混合現實項目！！！而我的感受是在學神把作業讓你抄，所以學渣也能及格了！！

順手把VR行業水平推進了至少一年

說句題外話，HoloKit雖然做的混合現實，但是順手可能把虛擬現實行業拯救了。

不依靠外部標記點的Inside-out（自內到外）追蹤方案一定是未來VR設備發展的趨勢，VR能夠真正成為的「無線」體驗，讓人們在 VR 世界裡拼接利用肢體和手勢進行交互。

定位追蹤有多重要呢？簡單的說，以前看片(不可描述)你是固定在一個地方，如今你可以繞著她從不同角度從不同位置強勢圍觀。

微軟的MR專家Mark Bolas曾表示，HoloLens當中擁有「Inside-Out」追蹤技術可用於VR頭顯設備。如果把HoloLens改用非透明的屏幕，並將視場角擴大，那就成了一款可以秒殺目前所有VR頭顯的一款高性能VR設備。

而這次HoloKit開源的位置追蹤演算法（注意是基於移動設備的方案），基本秒殺了目前市面上所有基於移動設備的方案的 「Inside-Out」 VR頭顯的位置追蹤，從視場角看也優於HoloLens。

矽谷密探此前也報導數家矽谷做「Inside-Out」追蹤技術的公司，他們可能也不得不被迫轉型。國內的VR廠商也接觸到了最尖端的位置追蹤方案，瞬間超越了HTC Vive和Oculus等廠商，把國內VR行業水平推進了至少一年。

這也造福了廣大開發者和消費者，能夠「無線」定位的VR頭盔和移動VR設備可能會因此普及，大量受制於定位困難的VR遊戲開發者會因此解綁，或許會有VR的殺手級APP誕生。

這是一個禮物

HoloKit是Amber Garage創始人胡伯濤的一個實驗性藝術項目。

所有人都相信MR是未來，但眾所周知，受限於各種因素，谷歌，微軟等大型互聯網公司在MR上的表現是緩慢成熟。他認為將學術界的最新技術轉移到手機上，可以實現一種簡單，價格實惠的MR套件，然後就有了Holokit。

HoloKit 由Amber Garage工作室和紐約大學ITP學生朱逢源合作研發 。硬體設計和研製來自歌航電子，經過整個團隊半年的打磨，才形成目前的產品設計和開源代碼。

「這是一份送給 AR/MR行業的禮物，為所有技術人員提供開放源碼，甚至我們HoloKit的硬體都給出DIY指南。」胡伯濤表示，「對非商業行為全部免費開源，每個人都可以發揮創意思維。」

國內外用戶可以從App Store下載Holokit演示應用程序，支持iPhone 7和iPhone 7 Plus。預計七月份將會提供更加完善的版本。GitHub上已經提供了官方視頻和開放相關代碼。

這是一次社會性的藝術實驗，「我對增強/混合現實的態度是中性的，因為長久以來都沒有AR的killer app，我想知道如果所有人的都能低成本的參與增強/混合現實，試錯成本大大降低。大量的開發者和有創意的學生和藝術家都能進入這個領域這個行業是否會迎來爆發？還是說可能MR/AR並沒有想像那麼大影響？」

胡伯濤還表示，「我們很期待並好奇，開源貢獻者將這樣的核心演算法發展成什麼樣，創建什麼樣的應用，為MR的內容生態提供什麼樣的創意。HoloKit軟體的核心跟蹤庫是一個開放源碼的C++庫，開發者可以使用Unity開發App」。

這是一份送給AR/VR/MR行業的大禮，這會帶來一場新媒體藝術的革命，混合/增強現實從此開啟了新紀元。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！