曠視發布3D感知全棧解決方案!現在,AI+3D只差殺手級應用了
李根 發自 凹非寺
量子位 報道 | 公眾號 QbitAI
曠視者,大視覺之謂也,現在更能顯出這家AI獨角獸的抱負和野心了。
就在昨天(8月8日),曠視發起了一場「3D視覺產業先鋒研討會」,並正式對外推出了「軟硬一體」的移動端3D感知全棧解決方案。
從演算法、應用開發、晶元、攝像硬體、感測設備到解決方案,現在萬事俱備,只待AI加速下的3D視覺迎來殺手級應用的爆發。
自深度學習「開天闢地」以來,自2D圖像、視頻被AI結構化解析以來,視覺領域已有天翻地覆的變化。
但曠視雄心不止於此,新世界、新方向是什麼?
3D視覺。
曠視移動端產品矩陣架構
全棧方案
在曠視推出的解決方案中,包含了3D視覺發展的一整套所需。
首先是演算法。
曠視會集中於識別和重建2個大類。
識別即機器感知、理解世界的能力,這是曠視的強項,基於曠視自研的MegBrain深度學習引擎,之前曠視在人臉識別、人體識別、活體檢測、注意力檢測追蹤及其他圖像識別的演算法層面,已有業界公認的技術基礎。
重建是把識別出的物體進行三維重建,是開發針對人、針對物的3D視覺應用核心所在。曠視稱,目前已在人像3D建模、人體3D建模及物體幾何測量演算法研發方面走在世界前列,並與Bellus 3D、Altizure等3D視覺企業開展了聯合研發合作。
其次是解決方案。
毫無疑問,不同應用場景需要不同的3D視覺解決方案,基於此,曠視根據不同應用場景中對深度計算、深度修復、深度優化、標定、畸變校正等能力的需求,設計出了基於雙攝、三攝、深攝的解決方案,而且之前在整合結構光、TOF、雙目等不同的攝像、感測系統架構上,都有成熟應用經驗。
第三是硬體模組。
硬體製造處於移動端3D產業鏈最底層,包含攝像頭、感測器、晶元等硬體模組的研發。
結構光、TOF和雙目方案涉及到高清攝像頭、IR投射器、IR接收器、激光發光器等設備的搭配組合,曠視目前與艾邁斯半導體等3D硬體模組廠商展開合作。
此外,還將聯合主要晶元廠商合作研發演算法適配性更強的晶元,進一步優化手機3D應用能力。
最後,基礎條件兼具,應用其實已如雨後春筍。
3D視覺究竟能做什麼?怎麼實現價值?曠視認為,目前曠視在3D人臉識別解鎖和3D人像光效應用方面,已經實現了大規模的應用,並且還開發出全面可用的安全支付、3D 美顏、3D 整形等應用。
下一步,AR遊戲、虛擬試穿等應用上,還能持續有3D賦能手機的更多應用。
所缺的是更多合作夥伴和開發者。
創新應用開發
整個研討會上,有種工具已齊備,但創新性應用還只是潛力初現之感。
作為此次「AI+3D」研討的召集人,曠視也請到了幾家合作夥伴及開發者,分享了具體實踐。
Bellus 3D創始人Eric Chen
Bellus 3D,一家來自於矽谷的移動端3D面部掃描企業,其創始人Eric Chen是蘋果公司Quicktime VR 項目的創建者之一。
2015年,Eric Chen創建Bellus3D,專註於為手機等移動設備提供高解析度的3D人臉掃描、建模技術和產品。
Eric Chen針對Bellus 3D的實踐分享是:「Bellus 3D 是最早採用『active stereo』(主動式立體)深度感測技術打造3D面部掃描相機的企業,通過將 Bellus3D研發的3D面部掃描相機與智能手機或平板電腦連接就可以檢測人臉上的50萬個3D點,在幾秒鐘內創建出高解析度和高精確度的面部模型,同時掃描後的面部模型可以進一步應用於人臉的識別、分析和動畫製作。」
Eric Chen認為,當前3D產業的技術和硬體研發進入快速發展期,研發3D掃描器不再像以前一樣昂貴、難做,3D應用或許現在還不能完整清晰的面貌,但未來人手一台三維掃描器後每個人都將成為應用的開發者,可能性無限。
Altizure聯合創始人兼CEO方天
Altizure,深圳珠科創新技術有限公司,是三維重建技術應用系統集成商和網路解決方案提供商。
Altizure平台主要通過計算機視覺技術來識別圖片中的信息,加以人工智慧以及深度學習技術來實現二維圖像到三維模型的建立工作。目前該平台已擁有來自全球各地成千上萬個3D重建模型。通過一架無人機,就能實現某個建築、地點的3D模型繪製,打造的是一個眾包版的Google Earth.
Altizure聯合創始人兼CEO方天說:「自2015年上線以來,Altizure已經和眾多大型工程企業合作為其提供項目工程的三維建模服務,幫助提高建築效率和質量。今後Altizure將在戶外運動、旅遊、遊戲、影視、三維列印,自動駕駛、高精度地圖等領域,聯合行業合作夥伴一起繼續三維建模技術和應用的創新研發。」
上海疊鏡數字科技CEO洪煦
還有一家彙集了虞晶怡、馬毅等機器視覺大牛的上海疊鏡數字科技,公司CEO洪煦分享說,目前在電商商品3D圖像構建、明星3D形象繪製方面,都開始進入了商業化應用。
而且底層晶元硬體方面,其實也已感知到了潮向。
此次現身研討會現場的感測器解決方案提供商艾邁斯半導體透露,過去一年營收增長的70%都主要來自於手機市場,其中手機3D攝像模組的應用貢獻了巨大力量。
此外,艾邁斯半導體在中國的業務也實現了300%的增長,也是得益於中國手機市場對感測模組的需求增長。
總之,AI+3D視覺,看起來路通橋建,渠也通暢。
但不意味著發展沒有挑戰。
缺組織者
最大的挑戰在於組織者缺乏。
在研討會現場,嘉賓們被問及AI+3D視覺的「殺手級」應用何時能到來。
曠視SVP吳文昊認為,最關鍵的問題不在技術準備層面,而在產品應用方面。
以3D視覺目前最廣為人知的「刷臉解鎖」為例,在iPhone X發布前,其實數家國內安卓廠商就已經向曠視提出了訴求。
但相比蘋果有整一套方案的上下游構建能力,安卓陣營里缺乏實際組織者,都是OEM廠商先主導提需求,再向行業不同參與方要方案,產品方案最後出爐需要耗費的時間和精力可想而知。
所以在陪OEM廠商完整推出3D視覺方案後,曠視開始意識到,這個生態平台,需要一個承擔更多責任的組織者和號召者。
曠視高級副總裁吳文昊
於是時也運也,曠視決定將「AI+3D」的生態平台組織、維護和應用創新引導,攬責任於自身。
曠視想做的,就是在整個產業上下游中,整合軟體、硬體、演算法、應用,讓3D視覺從技術到產品的落地速度進一步提升。
說白了,3D視覺的終端應用,iOS陣營里整合者是蘋果,那安卓陣營里,是曠視。
所以這套3D感知全棧解決方案發布,也便自然而然。
可以肯定的是,這只是開始,如果曠視能團結更多產業上下游公司加入,AI+3D視覺,會有更多應用,會出現在更多設備,也會造出一個更立體的世界。
你怎麼看曠視的這一步?
作者系網易新聞·網易號「各有態度」簽約作者
—完—
加入社群
量子位AI社群19群開始招募啦,歡迎對AI感興趣的同學,在量子位公眾號(QbitAI)對話界面回復關鍵字「交流群」,獲取入群方式;
此外,量子位專業細分群(自動駕駛、CV、NLP、機器學習等)正在招募,面向正在從事相關領域的工程師及研究人員。
進專業群請在量子位公眾號(QbitAI)對話界面回復關鍵字「專業群」,獲取入群方式。(專業群審核較嚴,敬請諒解)
誠摯招聘
量子位正在招募編輯/記者,工作地點在北京中關村。期待有才氣、有熱情的同學加入我們!相關細節,請在量子位公眾號(QbitAI)對話界面,回復「招聘」兩個字。


※CMU科學家們帶一群機器人開房,並收集了28,000種不同的姿勢
※陳天奇的tvm更新了:VTA,開源AI晶元棧
TAG:量子位 |