泓觀科技：面向IoT首創非同步AI晶元，另闢蹊徑的潛行者重裝上陣
自2017年以來，人工智慧（AI）的發展熱潮已經蔓延到集成電路領域，不僅如英偉達、海思、英特爾等大廠但凡有個風吹草動就能霸佔頭條，諸多新晉公司也相繼重磅發布了有關人工智慧晶元的產品。如果說當今科技界什麼最火，AI晶元毫無疑問是最大熱門之一。
泓觀科技（otureo.ai），由三位清華校友創立於2015年的科技型公司，一直致力於通過邊緣計算實現深度學習高效率賦能於嵌入端設備和應用，與上下游合作夥伴攜手共築人工智慧產業生態。一貫低調潛行的他們，也在用著自己的方式開拓著另一條產品線，如今破繭而出——面向物聯網（IoT）物聯端率先推出超低功耗非同步AI晶元，上演了一次另闢蹊徑的厚積薄發。
泓觀科技選擇了一個AI晶元領域中獨特的發力點潛心磨礪，提出並設計了一種全新的基於非同步架構的卷積神經網路AI晶元，劍指loT物聯端的超低功耗智能化場景應用需求，可以極大的降低loT場景下智能數據分析所需的功耗。目前，首款該類晶元已經由泓觀科技的團隊率先設計完成並實現流片（如下圖），這是迄今面向IoT領域的非同步架構AI晶元的第一次問世。
泓觀科技的創始人向雷鋒網(公眾號：雷鋒網)介紹到：「從近20年前我們進入清華大學微電子學專業讀書時算起，雖然後面的職業生涯不斷帶來更多元化的知識背景，但畢竟都算是集成電路這一行里多年的從業者了，對於晶元這個龐大產業的自身規律有著自己的理解和認知。既然決定在AI晶元這裡也做點兒事情，構建第二產品線，我們希望選擇一個獨特而有趣的著力點，對應具有一定差異化的應用領域和生態位置，同時可以與我們依託平台型系統晶元的第一產品線，兼容互補，相得益彰。」
泓觀科技所採用的非同步架構，與這個領域中先前已推出的各類AI晶元有著顯著的區別。先前的AI晶元有一個共同的特點，就是遵循功能與性能優先的設計原則。其針對的應用場景主要分為兩類：基於雲端的在線計算和基於前端設備的離線計算。前者如Google TPU系列、比特大陸Sophon系列等；後者如Movidius Myriad系列、海思包含NPU的Kirin970、Apple包含Neural Engine的A11等，即使作為前端AI晶元，其應用環境也集中在手機、無人機等高端設備上。
然而對於IoT設備及其應用場景而言，上述AI晶元的架構與特點並不適合。「一則因為loT 設備通常專註於某種單一功能，例如針對視頻採集的設備一般情況下無需運行語音識別和自然語言處理的相關演算法；二則相較於手機、無人機這樣的高端設備，大部分loT設備的剛性需求在於超低功耗，性能並非第一考慮因素。」泓觀科技的創始人這樣告訴雷鋒網，「像我們這樣，遵循著完全不同的設計原則和技術路線來實現卷積神經網路AI晶元，可以說有點卓爾不群甚至頗為超前。就目前已知的媒體報道，我們應該是率先實現非同步卷積神經網路電路方案並實現流片的創業公司，不論在中國還是世界範圍內。」
關於這款具有首創意義的超低功耗非同步卷積神經網路AI晶元，泓觀科技的創始人向雷鋒網予以了頗為詳盡的講解。
「首先要從架構設計上入手。IoT 設備大多無需集成通用型晶元，只需根據應用需求設計定製架構即可。」泓觀科技在晶元架構上專註於卷積模型所支持的特定操作（如卷積、池化等），並針對識別場景的特點，考慮晶元工藝、面積、片上存儲等因素，對支持的網路架構加入一定的約束（如層數、通道數量等）。
「大量的loT設備只有在被喚醒時才工作，設備經常處在休眠狀態，如何在設備休眠狀態下嚴格控制功耗產生，是重中之重。」在這個環節，泓觀科技採用了非同步（asynchronous）電路技術，與常規的同步（synchronous）電路對比（如上圖），非同步電路能夠保證晶元在設備休眠時，產生的功耗可以忽略不計。
「接下來優化訪存同樣是一個關鍵環節。」受限於晶元面積和成本，片上存儲的容量也非常有限，傳統解決辦法是引入大量的片外I/O 訪存，但由於 IoT 設備的自身特點，偏低的片外訪存效率會導致性能下降和功耗增加。泓觀科技則採用了多層融合的架構技術（如上圖）來減少 I/O 訪存——通過架構和演算法的交互優化（co-design），保證演算法層的輸出數據能夠被有效緩存。
此外，神經網路操作對數據存在較強的魯棒性，因而網路對於數據的精度變化並不敏感。泓觀科技通過定點化處理神經網路，使用16位數據甚至更低的比特數可以保持網路性能基本不下降，並通過自動化搜索不同網路層定點化配置的方法，對權值和輸入/輸出採用不同的策略（如上圖）。
同時，泓觀團隊設計了一種自動化剪枝演算法（如上圖），對神經網路的每一層建立單獨的剪枝參數，從而解決了神經網路本身存在的冗餘性。
基於上述設計要點的非同步卷積神經網路晶元，其整體框架圖如上。泓觀科技的創始人告訴雷鋒網，「在同樣的晶元製程、達到相同性能的情況下，位於晶元active ratio（工作時間佔比）較低的應用區間，相比基於傳統同步電路，採用非同步電路設計可以顯著減少功耗，而這一區間恰恰是大量的物聯網終端智能化應用場景的分布重心。」下圖顯示了不同active ratio條件下，同步電路和非同步電路的功耗對比。可以看到，在物聯端應用重點分布的低active ratio區間，採用非同步架構的AI晶元，可以將功耗降低近一個量級甚至更多。
這款獨特而全新的非同步卷積神經網路晶元，其功能聚焦於物體識別等智能化視覺分析,面向可穿戴設備、智能家居、自供能（如太陽能）監控等對超低功耗有剛性需求的IoT終端領域，逐步賦能實現AI應用落地。「這個路線及發力點的選擇，來源於我們對技術發展和市場定位的思考與判斷。」 泓觀科技的創始人這樣總結到，「屆時從不久的未來里回望，這款晶元所代表的特質，應當不再是獨特和另類。對於AI和IoT這兩大領域的廣泛交匯和深度融合，相信這一次意味著一個開端。」
TAG:雷鋒網 |