香港浸會大學——褚曉文：深度學習軟體工具的性能評測

本文由圖靈君整理編輯

褚曉文香港科技大學計算機科學博士，目前擔任香港浸會大學計算機科學系副教授，香港浸會大學高性能集群計算中心主任，IEEE的高級會員。目前，他的研究方向包括無線網路、對等網路以及並行和分散式計算、GPU計算及其建模、並行演算法設計、應用優化和能效等。

主要觀點：在過去的11年裡面內存帶寬僅僅提升了15~16倍，而計算能力提升了30~50倍，這說明內存的性能跟計算的性能之間的差距在逐漸擴大，這也是GPU計算今天面臨的一個巨大挑戰，這個挑戰就是巨大的計算能力和相對薄弱的內存訪問之間的一道鴻溝。

褚曉文老師從過去十年CUP和GPU的發展、深度學習軟體工具、深度學習平台性能評測項目和最新的性能評測結果進行了介紹。

深度學習生態圈主要由三層組成，底層的深度學習硬體生產商，中間層的深度學習框架和上層的深度學習應用。

各個大公司在深度學習硬體上都進行了布局，包括nVIDIA、英特爾、AMD、谷歌等，它們都生產深度學習硬體。

目前的深度學習框架也比較多，為了搶佔人工智慧制高點，國內的百度公司也開發了自己的深度學習框架。

各個公司開發的深度學習應用也比較多，比較知名的應用是AlphaGo和微軟公司的Translator等。

計算力是深度學習的基石。在一個全連接的人工神經網路中，需要大量的計算。

英特爾公司的CUP近十年的發展如下，其性能大概提升了50倍，從2006年的40GFlops發展到2017年的2000GFlops。其發展一直遵循著摩爾定律。

下圖是nVIDIA公司GUP近十年的發展。其性能大概提升了近30倍。從2006年的500GFlops到2017年的15TFlops，從128核發展到了5376核。

雖然GPU的性能大幅度提高，但是內存帶寬僅僅提升了16倍左右。

GPU計算存在著巨大挑戰：在處理能力和內存存取之間存在著巨大鴻溝。內存成了計算的瓶頸。

在深度學習中，軟體和硬體同樣重要。

深度學慣用戶也面臨著巨大挑戰：如何選擇硬體和軟體。

褚曉文老師介紹了其過去一年的工作。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！