鯤雲科技方舟：基於定製數據流的AI應用｜職播間第 9 期

雷鋒網 AI 科技評論按：深度學習已經在安防，金融，自動駕駛等領域得到了廣泛的應用。市場上的方案大多是基於 GPU 或者精簡指令集 RISC 架構，通過增加多個處理單元提升計算能力。

近日，在雷鋒網 AI 研習社公開課上，鯤雲科技 FAE 團隊負責人方舟講解基於數據流架構的 AI 方案和適配的工具鏈。公開課回放視頻網址：

http://www.mooc.ai/open/course/588？=aitechtalkfangzhou

分享嘉賓：

方舟，鯤雲科技 FAE 團隊負責人，目前負責鯤雲硬體平台、軟體平台與編譯器技術支持。他是帝國理工模擬與數字晶元設計碩士，愛爾蘭 IRC 獎學金獲得者。

分享主題：基於定製數據流的 AI 應用

分享提綱：

數據流定製架構與指令集架構的區別

數據流定製架構的原理和發展

開發快速應用數據流定製架構的方法

數據流定製架構的應用

雷鋒網 AI 研習社將其分享內容整理如下：

今天的分享分為四個部分：

第一部分，講一下數據流定製架構是什麼以及它與指令集架構有什麼區別。

第二部分，介紹數據流定製架構的原理和基本發展歷史。

第三部分，介紹開發快速應用數據流定製架構的方法，鯤雲科技如何通過工具鏈來解決終端用戶在使用高性能定製化架構的同時，還能保持應用的簡單化和普遍性。

第四部分，介紹數據流定製架構的應用和實際落地項目。

數據流定製架構與指令集架構的區別

首先，大家可以看一下下面這個簡單的數學公式，它表示了神經網路在做卷積時的基本操作，那為什麼我們需要一個定製化的架構以及它怎樣實現高性能？

（關於定製 AI 數據流架構的講解，請回看視頻 00：02：10 處，http://www.mooc.ai/open/course/588？=aitechtalkfangzhou）

我們先來看一個經典的指令集架構：

（關於這個經典指令集架構的講解，請回看視頻 00：04：47 處，http://www.mooc.ai/open/course/588？=aitechtalkfangzhou）

我們再看一個指令集執行例子，這是一個典型的加法操作。

（關於這個指令集執行案例的講解，請回看視頻 00：07：20 處，http://www.mooc.ai/open/course/588？=aitechtalkfangzhou）

經典指令集的好處包括：

首先，現在大部分的 GPU、CPU 都是基於指令集的架構，應用層可以通過軟體和編輯器去將語言最終轉化為機器的語言，即二進位的碼，以很高的效率去執行指令和操作，保證兼容性的優勢。

其次，針對特定領域的專用架構，可以使用開發工具將應用下載到架構中，從而實現高效的計算。

相較於指令集，數據流的核心就是保證每個時鐘周期進行有效計算，那就要保證有數據時時刻刻地流入計算單元，得到數據輸出後，將最終數據存儲到內存中，或進行到下一步流水線操作。

（關於這個指令集執行案例的講解，請回看視頻 00：10：20 處，http://www.mooc.ai/open/course/588？=aitechtalkfangzhou）

下面是一個典型的基於神經網路 SSD 的架構：

（關於該部分的講解，請回看視頻 00：11：00 處，http://www.mooc.ai/open/course/588？=aitechtalkfangzhou）

數據流架構能實現性能的極大提升，同時需要解決在複雜計算架構下對於高計算效率保持，以及高定製架構對於不同深度學習演算法的通用性支持。這是鯤雲的一個基於數據流架構的 AI 解決方案，它的優勢包括：

• 是一種輸入到輸出的數據流架構

• 最大化 AI 性能，全面使用架構下的計算單元

• 使用硬體流水線架構完成，數據與控制

（關於定製 AI 數據流架構的講解，請回看視頻 00：17：50 處，http://www.mooc.ai/open/course/588？=aitechtalkfangzhou）

快速實現神經網路檢測，第一個是實現底層參數化：可配置通路。下圖來自創始人在 1994 年發表的一篇論文，講述了如何在定製化的架構里，採用不同的操作來執行通用人工智慧演算法。

（關於底層參數化的講解，請回看視頻 00：24：15 處，http://www.mooc.ai/open/course/588？=aitechtalkfangzhou）

第二個就是進行多層並行可拓展的優化。通過實現數據並行、Filter 並行、Channel 並行、Layer 並行以及加速器引擎並行的優化，來支撐高性能計算。

（關於多層並行可拓展的優化的講解，請回看視頻 00：27：00 處，http://www.mooc.ai/open/course/588？=aitechtalkfangzhou）

這是一個數據並行的例子：

基於特定的數據流架構，它可能不像指令集的通用性那麼強，那就需要一個工具來將演算法解構導入架構結構去完成神經網路計算的過程，下面就是我們基於 AI 所做的框架工具鏈——RainBuilder：

（關於 Rainbuilder 的具體介紹，請回看視頻 00：31：55 處，http://www.mooc.ai/open/course/588？=aitechtalkfangzhou）

目前我們公司整套數據流架構方案的應用方向主要包括四大領域：

• 機器人、無人機以及自動駕駛

• 攝像頭

• 感測器

• 伺服器

（關於產品應用方向的具體介紹，請回看視頻 00：35：45 處，http://www.mooc.ai/open/course/588？=aitechtalkfangzhou）

現在，鯤雲科技也在招聘各類工程師，期待大家加入！

以上就是本期嘉賓的全部分享內容。更多公開課視頻請到雷鋒網(公眾號：雷鋒網) AI 研習社社區（http://ai.yanxishe.com/）觀看。關注微信公眾號：AI 研習社（okweiwu），可獲取最新公開課直播時間預告。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！