爆發前夜:僅5%用戶使用,巨頭卻不惜一切代價布局
機器視覺目前處於爆發前期,潛在能量巨大,視覺體驗不斷進步,對視覺的理解也有賴於AI的演進。根據Automated Imaging Association發布的統計數據,2015年全球機器視覺系統及部件市場規模是42億美元,2016年這一數字約為46億美元,預計2017年,全球機器視覺系統及部件市場規模將達到50億美元。從長遠的潛在市場規模來看,根據AIA調查,當前只有5%的潛在用戶使用了機器視覺,也就是還有95%的潛在用戶需要但還沒有用上機器視覺,全部潛力發揮出來後,全球的市場可達到1200億美元。
機器視覺就是用機器代替人眼來做測量和判斷。它是人工智慧正在快速發展的一個分支。機器視覺正從平面2D邁向3D立體效果。3D較2D可識別圖像更有深度更立體、精確,但對圖像處理性能的要求更高,對軟硬體提出更大挑戰。在工業、汽車、醫療、消費電子等領域3D機器視覺前景廣闊,其背後的架構體系以及人工智慧也在走向新階段。
汽車機器視覺:從英特爾收購Mobileye,到分布式架構駕起汽車的智慧
「在我看來,機器視覺現在是在自動駕駛中非常重要的組成部分,因為機器視覺實際上在整個自動駕駛中成本有所下降。」 英特爾無人駕駛事業部中國區市場總監徐偉傑說,現有的自動駕駛的方案,包括了機器視覺、激光雷達、雷達等。其中像谷歌、百度在激光雷達方案上用得多,但是激光雷達面臨一個問題是成本無法達到真正的量產化和規模化。而機器視覺確實能彌補一部分,特別是像現在的單目或者雙目。所以從某些角度來說,包括特斯拉現有的一些方案,機器視覺實際上會給當前自動駕駛提供一個主要的工具,這是前景。也是我們認為整個機器視覺在自動駕駛上很重要的一點。
市場狀況來看,機器視覺有單目、雙目的方案。因為汽車屬於工業品,需要考慮量產成本,所以現在單目方案,很多公司都投入了大量的研發精力和大量的投資成本,希望在這上面有一個突破。
機器視覺圖像方案也是當前在可靠性和成本之間的平衡。從這個角度來說,單目、雙目方案是非常重要的,也是市場可預見的。因為機器視覺更多涉及到這些圖像的處理,很多人都在談論的激光雷達,目前成本比較高,未來也不排除成本降下來的可能。但是無人駕駛要考慮很多場景,視覺的部分是必不可少的,儘管雷達可實現,但是視覺的處理也是一個重要問題。
英特爾不僅僅是收購Mobileye,在機器視覺上有兩方面部署。第一是收購Mobileye,這是英特爾在機器視覺上一個巨大的投入。如今在機器視覺部分,Mobileye應該是全球做得非常領先的;第二塊是英特爾自己也在設計做相應的機器視覺,因為英特爾提供的方案更多的是集成在底層的晶元和計算平台上。基於這兩塊,英特爾也在晶元級別和計算平台上開展研發工作,將來在自動駕駛領域也會有機器視覺方面的晶元和相應的計算平台。
Mobileye當前在機器視覺最大的優勢在於它有足夠多的數據,第二,Mobileye在機器視覺上的演算法現在也是在行業內領先的。而英特爾實際上現有的所有內部的投資和方向是不涉及這兩塊的,我們主要是涉及在底層處理器的處理能力和上層的計算平台,從而輔助、加速處理。但加上Mobileye的數據與Mobileye的演算法以後,就形成了一個完整的解決方案。
在無人駕駛汽車上實現3D機器視覺主要的挑戰將來自於哪些方面?徐偉傑認為,現有的狀態,3D機器視覺對比2D會多一維數據量的處理,數據量的處理不僅僅是多一維,從設計來說整個數據量會呈一個幾何級的增加。英特爾當前更多的使用機器學習和深度學習的方式,應用於機器視覺。從計算方面會做相應的機器視覺形成我們的計算框架,而演算法上,我們與商業夥伴共同合作,例如英特爾之前收購了Itseez和其他公司,將他們機器視覺演算法應用到我們的計算框架和平台上。
機器視覺解決了看的問題,解析這些攝取到的圖像有賴於智能化程度。3D機器視覺對人工智慧帶來新的挑戰。機器視覺在「看」以後我們要去「想」,通過深度學習、神經網路的方式把它變成可學習的場景,同時這些場景我們可以把它徹底的泛化。徐偉傑分析,這樣的過程面臨著一個挑戰,因為我們看到的場景非常多,深度學習對計算能力和計算時間提出更高要求。但是,自動駕駛方對實時性是有要求的,這跟後端的智能學習不一樣。同時對於能效也有要求,如果功耗太大在車上很難實現。總而言之,在過程中面臨的挑戰,一是如何提高它的時效性、實時性。第二是如何提高它的能效比。第三,自動駕駛整個領域現在是新興領域,所有的演算法、方案,沒有形成一個真正的工業標準,演算法在三個月內會有一次更新,會有翻天覆地的變化。如何能夠保證設計在這種變化中具有足夠的靈活性,這也是我們要探討的。
當前英特爾如何解決這三個問題。第一,如何解決實時性的問題。英特爾現在有一套端到端的解決方案,同時也有英特爾?GO?平台,從晶元級到軟體、SDK,同時從系統架構設計來保證符合自動駕駛對於實時性的要求。第二,能效比,英特爾在自動駕駛方案上採用分布式體系結構,從而保證計算可以分布到不同的處理器上,並且每一個處理器都有它的特點,讓演算法在這個處理器上達到最優,也保證它的能耗最優。第三,英特爾收購了Altera,FPGA作為自動駕駛整個系統平台上一個輔助的加速器,是一個可拓展的產品,保證了在演算法變化時,FPGA可做出相應的拓展。 FPGA現在從工業界來看,用來做深度學習等計算時,它的單位功耗是最好的。也就是說,同樣的工作,做同樣的計算處理時,它的功耗是比較低的。
處理大量實時數據需要密集的運算能力,要實現穩定的3D感測影像變得困難,分布式體系架構對於平衡性能和功耗起到關鍵作用。同時也在平衡演算法需求。徐偉傑表示,在自動駕駛上,演算法實際上是一種多樣性的演算法,有一些是深度學習的演算法,它需要特彆強的並行計算能力。有一些是類似於人腦邏輯的前期的預測判斷性演算法,這種判斷性演算法需要很強的邏輯推導和很強的傳統CPU的計算能力。英特爾現在所做的工作就是採用一種分布式方式,把這些有特點的演算法分布到對應的處理器上去,構建處理計算框架,來保證這種演算法是對症下藥,從而保證了它在性能和功耗上得到最大優化。
各大廠商都在積極布局無人駕駛,我們看到英特爾在處理器、5G、雲計算等方面都有全面的部署。徐偉傑表示伺服器端和汽車端均擁有一整套的解決方案,以及5G連接。在今年CES上英特爾發布GO?平台,提出一個端到端的解決方案。這個端到端的解決方案不是所說的進和出這樣端到端,而是說明我們會在伺服器階段,從數據的採集、數據的存儲到人工智慧的訓練,到整個自動駕駛方案的模型的形成,模型的模擬,到將來車端的工程化。同時在汽車端我們也有一整套的解決方案,從伺服器端過來的模型支持從perception到sensing fusion到driving strategy到execution整個的過程中,我們也有一整套的晶元與計算平台的解決方案。再加上無延時的5G的連接,從而形成了自動駕駛從數據採集到最後自動駕駛上車,完整的端到端解決方案。
英特爾以前在機器視覺perception階段,在汽車的數據和演算法有相應的不足,收購Mobileye 實際上把這一塊補足了。同時在伺服器端,類似於人工智慧英特爾也收購了Nervana,從而形成一個鏈狀的整體解決方案。
無人駕駛汽車的機器視覺在體系架構中得到性能和智能提升,而這無時無刻不伴隨著汽車安全性的考量。「英特爾非常重視安全性,安全涉及到兩個方面,第一是function safety。第二是security safety。為此投入很大的人力物力,同時我們也建立了內部相應的流程。其中function safety方面需要認證流程,同時我們也收購了做OTA升級的公司,可以說,英特爾現在對安全方面做了系統的思考和補足。」
3D機器視覺全面走向眾多應用領域,開放式的平台能集結更多合作夥伴。英特爾計算平台正以開放式,同時關注底層晶元的計算能力和計算框架,令更多的不同領域對這些計算框架不同級別的應用,比如工業自動化、機器人等,都有不同的合作夥伴。對英特爾來說更關注的是如何加速計算,如何方便客戶應用,從這個角度規劃開放式的計算平台。
移動市場應用帶動3D視覺 與AI融合
隨著產品製造要求高品質、高精度的需求變化,3D機器視覺已經由開發試用階段發展成實際應用的狀態,並且以驚人的速度在擴散至各個製造領域,甚至是生活消費領域。而目前推動3D機器視覺技術開發的主力市場,晶焱科技總經理姜信欽博士認為還是以汽車與製藥行業為主。若就3D機器視覺的未來前景做預測,識別應用市場應該是最醒目的市場,它會讓3D機器視覺技術同時開枝散葉到製造環境及生活環境中。
現在,構建一個很好的3D視覺系統的必要技術似乎都已面世,但利用這些技術開發出完整、低功耗的集成方案的進展仍然緩慢。CEVA 多媒體產品市場總監Yair Siegel接受國際電子商情採訪時表示,這一技術的成敗仍然取決於移動市場的採納與否,蘋果自然是關鍵,谷歌(Project Tango)作為第二大驅動力量也很重要,他們能夠帶動3D視覺市場真正發展起來。而主要因素還是在於移動市場的規模經濟效應。一旦得到移動市場採納,3D視覺就能夠拓展到其它市場,比如消費電子、機器人和企業級應用等市場。此外,像亞馬遜的ECHO等家用設備也會推動3D視覺的發展。AR/VR可穿戴設備市場已經有大量投資進入,這也會促進3D視覺的發展,因為它是更好地融合現實和虛擬物體的關鍵器件。
3D較2D可識別圖像更有深度更立體、精確,但對圖像處理性能的要求更高,對軟硬體提出更大挑戰。要想獲得很好的3D用戶體驗,需要結合各方面的技術,比如好的感測器、演算法、實時邊緣處理,以及低功耗以確保很好的電池續航能力。現今市場上有很多不同的3D方案,比如Time-of-Flight或Lidar、Structured-light、被動立體成像、主動立體成像等。每種技術都有其優缺點,主要挑戰是如何能夠淡化弱點,以合理的成本向市場推出集成方案一個比較好的選擇是集成幾種技術,這要求比較強的處理能力。CEVA的視覺平台是一種可編程DSP,可以在設備端實現低功耗視覺處理。因此,視覺平台可以幫助市場達到這個目標,讓3D視覺技術快速進入大批量生產階段。
「精密「是3D機器視覺技術主要的挑戰,精密的識別、精密的控制、可持續維持精密識別與控制的能力,這些都是智慧型製造產線所需要的功能。為滿足這些精密要求,目前3D機器視覺技術的開發還是著重在硬體的開發上,譬如高功能電路板、攝像頭、信號處理器、光學元件、照明元件、圖像辨識元件等,這些組件必須要很可靠地互相連結、互相溝通、互相協作,要對環境雜訊有高抗受能力。基於此,姜信欽表示晶焱在提高3D機器視覺系統對環境雜訊的高抗受能力有一系列完整有效的IC零組件方案提供,包括抗靜電雜訊、抗浪涌雜訊、抗過電壓雜訊、以及過電源電壓保護元件等。
僅僅有視覺顯然不夠,深度學習是AI和智能設備的起點。姜信欽分析,深度學習所面臨的挑戰莫過於即時的大數據處理能力,因為接收到的數據就是超大量的數據,而要處理這些數據的數學模型就會越趨複雜,衍生出來的訓練模型也是很複雜,並且導引出付的模型設定參數,這都增加了運算速度的壓力。為了達成即時的大數據處理能力,硬體的提升是必要的,增加一切動作的運算速度唯有硬體能解決,至於軟體的發展則著重在平台的開發,這需要大量新的演演算法被開發出來。
「現在的問題是大部分深度學習發展都還處於實驗室階段,要將這些演算法應用於嵌入式攝像頭是一項複雜的任務,而現有的處理引擎又不適合這些演算法。深度學習網路中的存儲帶寬也很快成為瓶頸。」Yair Siegel表示,CEVA的視覺處理器可以支持繁重的深度學習演算法,使其適用於低功耗運行的嵌入式設備。CEVA很早就涉足這一領域,並且已經開發出一種軟體工具包,可以「一鍵式」簡便地從實驗室網路遷移到嵌入式適用的網路,實現性能和存儲帶寬的優化。過去一年我們也贏得很好的市場認可,預計近期就會有一批新的設備使用我們的技術,可以讓深度學習在設備端單獨運行,或與3D視覺及其它成像技術結合使用。
雖然3D成像和機器視覺技術的難題是獨特的,但它們與其它嵌入式功能,比如CEVA已經開發多年的蜂窩基帶,也有很多內在的共性。CEVA的視覺IP平台專註於為低功耗設備提供高性能可編程引擎,並且提供一系列開發工具和IP庫,從而可以讓合作夥伴縮短開發周期,提早進入批量生產。CEVA用於簡化運算的一些技術包括有效使用定點運算的方法,以及快速將重度圖像處理負荷從通用引擎轉移到專用視覺處理器。
當下最熱門的3D技術莫過於由iPhone 7 plus帶動的立體攝影成像。在這支手機中,3D視覺獲取的信息可以實現背景虛化 (Bokeh) 效果,從而將物體與其背景分開。CEVA的視覺DSP可以在設備端以高解析度運行背景虛化處理,同時保持手機的電池續航能力。此外,也可以實現其它利用這類深度信息的功能。一個實際的設備是Asus ZenFone 3 zoom,這支手機包含一個由CEVA客戶設計的SoC晶元,可以在手機上實現上述功能。另一個例子是實現類似Tango的3D體驗,這種AR技術可以構建一個虛擬的3D物體,將其融入現實世界的場景,看起來栩栩如生。CEVA的視覺DSP還可以實現複雜的多種技術融合,在一個設備上同時運行3D視覺、本地化、映像以及物體識別。
目前3D視覺向智能手機等終端設備導入,例如聯想支持Tango技術的手機Phab2Pro,據稱蘋果新一代手機前置攝像頭也將採用3D感測器。工業自動化、智能駕駛、機器人也是熱門領域。實際上這是不同市場的科技公司已經鋪排好的路徑,這意味著IC供應商必須使用專用視覺處理器來完成這些複雜的任務,而不是使用CPU和GPU等通用型引擎,因為它們不是專門為此任務設計的,處理效率不夠高。
這也要求軟體演算法開發團隊進一步提升這些產品的質量。感測器和模塊開發商也需要將感測器與IC和計算模塊進一步集成,無論是以堆疊裸片的形式還是僅僅緊湊排列,這樣才能實現高效和低成本的快速處理方案。因此,我們將看到更加智能、集成度更高,而且成本更有效的攝像頭。
3D視覺會有大量的攝像頭,這些攝像頭會暴露在高雜訊的工作環境中,性能的要求已被應用端所決定,並沒有太大的妥協空間存在,因此開發低功耗的硬體零組件與系統及變成重點。要實現一個低功耗的系統的方式,就是大量採用IC零組件。而當大量低功耗、高性能的IC零組件聚在一起工作,工作環境的雜訊會是一大殺手,因此這樣的低功耗系統,抗環境雜訊防護設計就變成是必須的。
面對複雜的3D機器視覺技術需求,單獨的強勢無法造就出完善好用的3D機器視覺系統產品。晶焱的規劃即是與3D機器視覺系統產品的硬體開發商維持密切的合作聯盟關係,對抗環境雜訊防護設計做最深入的研究與開發,以提出最符合軟硬體所需要的抗環境雜訊能力的防護設計。
CEVA與供應生態鏈中的不同供應商合作,不斷改進處理引擎,擴展生態系統和可用演算法以配合這種智能攝像頭的發展。這將是容納數十億計設備的市場機遇,在未來幾個月以至未來數年,配備有這種改善的圖像感測器的新式智能設備將大量湧現,實現3D視覺與AI功能的融合。
識別二維碼,一鍵關注
深度報道電子產業供應鏈
分享最及時前沿商情解讀


※剛剛,紫光集團發布重要聲明!
※手機沒它出不了貨,工廠產能全部賣光,NOR Flash又炸了
※同樣做自動駕駛,這家以色列公司卻將目光瞄向車內安全
※Q3接單暴增,兩類IC佔滿8寸廠,台積電員工半年獎5W美金
※索尼投影機發展史:從視頻投影機到激光投影機
TAG:國際電子商情 |
※不計後果炮轟火箭,三連勝後15+2巨頭卻服軟了,還願做出一個犧牲
※它才是滴滴最大的對手,坐擁2000萬用戶,又一巨頭即將崛起!
※他是火箭第3巨頭,3次被嘲笑均被冤枉,只用一份榜單洗清冤屈
※有6個巨頭就是不一樣,3個倒下還有3個,這比賽有點太不真實了!
※砍22分6搶斷,搶了3巨頭風頭,今晚他才是大腿,威少賽後讚不絕口
※最低調的手機巨頭,一年賣出2.2億部,華為蘋果都不是對手
※資本扎堆,巨頭布局,新零售的下一個時代
※這個巨頭忽然宣布:千億利潤不再分紅!擬用來研發晶元?
※火箭3連勝,被他們拋棄的底薪巨頭,卻獲得超巨力挺:別看不起他
※支付巨頭的收割時刻:不是扛不住,而是吃定你了
※又一巨頭無奈「倒下」了,曾經比蘋果還牛,現單季度虧損20.9億!
※最後5分鐘落後23分,勇士正式繳槍投降,5巨頭只有他一人意氣風發
※孤注一擲!莫雷不死心或亮出殺手鐧,不惜一切代價,全力打造三巨頭
※悲哀!被放空3米不敢投,只拿4分,他還是巨頭嗎?
※股價暴跌96%!別了,一代手機巨頭
※哈登不在!他被打哭了,火箭第三巨頭僅得4分
※這家網路印刷巨頭銷售額不及預期,正在通過降價應對市場競爭
※曾經的手機巨頭,贏在起跑線,周杰倫為其代言,如今份額不到1%
※貢品‖當年的三巨頭就他一個離開,可惜了
※13順位出奇才,前有科比後有米切爾!他一人打爆雷霆三巨頭