「哈希法」可以將計算量驟減95％以上

摘要：兩名計算機科學家對一種廣泛使用的用於快速查詢數據的技術稍加改動，大幅減少「深度學習」所需要的計算量，因而節省了精力和時間。

美國賴斯大學的兩名研究員對一種廣泛使用的用於快速查詢數據的技術稍加改動，大幅減少深度學習所需要的計算量，因而節省了精力和時間。深度學習是一種計算密集型的機器學習。

首席研究員、賴斯大學的計算機學助理教授安蘇馬里·施里瓦斯塔瓦說：「這適用於任何一種深度學習架構，這種方法呈亞線性擴展；這就意味著，運用這種方法的深度神經網路越龐大，節省的計算量就會越大。」

研究成果將於8月在加拿大新斯科舍省哈里法克斯召開的2017年 KDD 大會上予以介紹。它可解決谷歌、Facebook和微軟等科技巨頭在競相構建、訓練和部署大規模深度神經網路時面臨的最大問題之一，它們希望將深度神經網路用于越來越多的不同產品，從自動駕駛汽車、語言翻譯工具到智能回複電子郵件，不一而足。

施里瓦斯塔瓦和賴斯大學的研究生賴恩·斯普林已表明，「哈希法」（hashing）是一種久經考驗的數據索引方法，稍加改動，就可以顯著減少深度學習的計算開銷。「哈希法」需要使用智能哈希函數，而這種哈希函數將數據轉換成易於管理的小數（名為哈希）。哈希存儲在表中，表的運行方式酷似印刷書中的索引。

斯普林說：「我們的方法結合了兩種技術：一種巧妙改動的局部敏感哈希法和稀疏反向傳播，在準確性不大幅下降的情況下，減少所需要的計算量。比如說，在小規模測試中，我們發現可以將計算量最多減少95%，同時準確性與標準方法相比只相差於1%以內。」

深度學習網路的基礎構建模塊是人工神經元。雖然上世紀50年代起初設想人工神經元作為人類大腦中生物神經元的模型，但其本質上就是數學函數，這種等式在收到數據後可執行操作，並轉化成輸出結果。

在機器學習中，所有神經元開始都一樣（就像一塊空白），不斷訓練後變得特殊化。在訓練期間，向網路「展示」大量數據，每個神經元都成為識別數據中特定模式的專家。最低層的神經元執行最簡單的任務。比如說，在照片識別應用軟體中，低級神經元可能識別來自暗處的光線或物體邊緣。來自這些神經元的輸出結果被傳遞給網路中下一層的神經元，這些神經元搜索各自的特殊模式。

即便只有幾層的神經網路也能學會識別臉部、狗貓、停車標誌和學校巴士。

施里瓦斯塔瓦說：「為網路層添加更多的神經元增強了表達力（expressive power），我們想要網路規模多大這方面沒有上限。據說谷歌在訓練一個擁有1370億個神經元的網路。」他表示，相比之下，可用來訓練和部署這類網路的計算能力卻是有限制的。

他說：「如今使用的機器學習演算法大多數是30年前至50年前開發的。它們在設計當初並沒有考慮到計算的複雜性。但是出現了『大數據』後，計算周期、能源和內存等資源存在基本限制。我們的實驗室專註於克服那些限制。」

斯普林表示，在大規模深度網路上，哈希法減少計算、節省能源的效果來得還要顯著。

他說：「由於我們在利用大數據中固有的稀疏性，節省幅度會隨著網路規模的增加而加大。比如說，假設一個深度網路有 10 億個神經元。針對任何給定的輸入（比如一張狗的照片），只有少數幾個神經元變得興奮。用數據術語說，我們稱之為稀疏性（sparsity）；正是由於稀疏性，網路規模擴大後，我們的方法節省的效果會更顯著。所以，我們已證明了擁有1000 個神經元的網路可節省95%的計算量，數學原理表明：如果是擁有10 億個神經元的網路，我們就能節省99%以上的計算量。」

題為《通過隨機化哈希，實現可擴展、可持續發展的深度學習》的論文可在此（https://arxiv.org/abs/1602.08194）訪問。

點擊展開全文

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！