事件導向型視覺感測器系統登場

透過生物啟發方式擷取影像中的「事件」(event)聽起來不僅酷炫，而且未來感十足。但有多少開發人員真正目睹基於事件的機器視覺技術效果？

大多數的開發人員都聽說過或讀過這一類的消息，他們可能感到很好奇。但是，他們多半只能在局外觀看，而不曾經有過這種所謂「事件導向」(event-driven)的新型機器視覺技術之實戰經驗。

總部位於法國巴黎的新創公司Prophesee鎖定的正是這些在此競賽中的「旁觀者」。該公司日前推出其首款針對視覺系統開發人員的參考系統，協助其用於嘗試、測試以及了解神經形態(neuromorphic)視覺如何運作。

Prophesse首席執行官Luca Verre在接受《EE Times》訪問時表示，該公司的參考設計最初鎖定的用戶將是「工業自動化機器和機器人領域的開發人員。此外，在汽車和物聯網(IoT)系統的客戶也將找到有助於表徵[Prophesee]感測器性能的參考系統。」還有，研發實驗室和大學的研究人員也將從中受益。但Verre解釋說，真正的關鍵在於該參考系統將觸發圍繞著Prophesee事件導向、非影格基礎(frame-based)的視覺系統打造一個「生態系統」。「唯有建立了生態系統，才會帶來革命。」

Prophesee的Onboard參考系統將包含一個支持VGA解析度的攝影機，內建Prophesee的ASIC、高通(Qualcomm)的1.5GHz四核心Snapdragon處理器、六軸慣性測量單元(IMU)，並支持一系列的連接器，包括USB 3.0、乙太網絡、微型HDMI、Wi-Fi (802.11ac)與MIPI CSI-2。

該視覺感測器採用3/4英吋的光學格式，具有15μm的光學間距。據Prophesee表示，它不僅具有極快速的視覺處理能力，而且支持超過120dB的高動態範圍(HDR)。此外，由於支持低至次毫秒級的時間解析度，能夠擷取極快速的動作。

Prophesee聲稱其功率效率和系統延遲均「低於10毫秒(ms)」。該公司之前曾經說，其感測器支持低於10mW的工作特性。

不同於傳統frame-based影像感測器

數十年來，機器視覺系統設計人員依靠的是他們對於傳統影像感測器如何擷取視覺信息的知識和經驗。傳統的感測器被設計為以一種預定的影格速率(frame rate)運作，而無論動態場景如何變化，而每個影格(frame)傳送來自所有像素的信息，同時對其進行均勻採樣。

所以，提高機器視覺系統的性能一直著重於由新型影像感測器所實現的更高影格速率和更高解析度。

Prophesee認為現在正是重新思考這種典範的時候了。

相較於傳統的frame-based攝影機，在Prophesee開發基於非同步時間的影像感測器中，每個像素均以不同速率各自決定對場景的每一部份進行採樣。Prophesee首席技術官Christoph Posch曾經對為《EE Times》解釋：「透過對光線作出反應或改變接收到的入射光量，每個像素單獨控制其採樣，而不涉及頻率。」因此，Prophesee的感測器僅選擇場景中最有用和最相關的元素，從而有助於降低傳統frame-based系統所造成的功耗、延遲和數據處理等需求。

Prophesee的感測器建立在「神經形態」視覺的基礎上。人眼和大腦並不會將視覺信息記錄在一連串的影格中。Prophesee共同創辦人Ryad Benosman解釋，「人類擷取感興趣的東西——空間和時間的變化，並以極高的效率將這些信息傳送至大腦。」

由於影像感測器並不受限於影格，因此，Verre解釋：「我們的技術不會錯過每個影格之間可能發生的重要事件。」

讓懷疑論者變成信徒

要求視覺系統工程師放棄神聖的影格概念，轉而開始使用事件導向的影像感測器來打造新系統，可說是一項艱巨的任務。Verre在德國斯圖加特與博世(Bosch)晤談後，他在電話訪問中告訴我們：「這是許多工程師都難以接受的提議。」

Prophesee參考系統

協助設計工程師克服心理障礙的方法之一是為他們提供一個兼容於現有frame-based攝影機的參考系統，讓他們能複製現有結果作為默認選項。同時，Verre解釋說，相同的參考系統還可用於展示non-frame-based的影像感測器如何執行，使其比較新型成像數據的優點。

他表示，該公司的Onboard參考系統採用「嵌入了大量工具庫的單板計算機，可用於檢測、追蹤、計數和測量等應用」。

鎖定工業自動化和機器人市場

Prophesee在德國國際『Control』展會上展示其Onboard參考系統。據主辦單位表示，該展會專註於質量保證，是「工業4.0計劃的驅動力」。

然而，Prophesee要追求典型保守的工業自動化市場並不容易。Verre坦承，這是一個成熟的市場，由機器製造商、系統整合商和機器視覺專家組成，他們已經習慣於為每個機器視覺應用開發一系列昂貴且體積龐大的獨立設備。

Prophesee積極追逐工業自動化和機器人市場（來源：Prophesee）

Verre認為，Prophesee有能力改變遊戲規則。Verre聲稱，透過導入基於單板移動平台的機器視覺技術，自動化系統設計人員將能以更低功率和更多彈性，開發出更便宜、更小型的系統。

例如，Prophesee說，這是一種基於事件的方法，「讓感測器達到較高速視覺相關應用更高的動態範圍。」該公司補充說，它讓具有成本效益的感測器和系統記錄事件，否則這些事件需要傳統攝影機以每秒10,000格或更快的速率執行。

Verre說，設計人員還可以進一步將Prophesee的技術應用於「監測機器的健康狀態」。「機器是由移動組件組成。事件導向的攝影機可以檢測振動機器的機動組件，並以高頻率(超過100Hz)監測任何異常行為。」他解釋說：「傳統的機器視覺系統並不容易做到這一點。它們必須始終開啟，才能在振動發生之際實時擷取影像，而這將會要求傳統系統必須具有大量處理能力和數據儲存。」

Prophesee Onboard參考系統的軟體堆棧（來源：Prophesee）

相較於傳統工業自動化領域習以為常的單點機器視覺系統解決方案，Verre認為，Prophesee的參考系統的優勢就在於透過高性能、多功能和低成本解決方案，讓整體產業運作更流暢、更簡單。

Prophesee目前正與對事件導向解決方案感興趣的汽車和IoT系統公司合作。華為(Huawei)透露Prophesee正是其合作夥伴，在開發增強現實/虛擬現實(AR/VR)和IoT計劃中使用了Prophesee技術。Verre說，Prophesee還與一家大型消費電子公司達成了合作協議，但他並未透露更多有關細節。

編譯：Susan Hong

本文授權編譯自EE Times，版權所有，謝絕轉載

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！