當AI深度學習模型走進死胡同時該咋辦？

OFweek智能硬體網訊深度學習是一項龐大又複雜的工程，在建立深度學習模型時，走進死胡同被迫從頭再來似乎是常事。

近日，Semantics3網站的聯合創始人Govind Chandrasekhar在官方博客上發表了一篇文章，講述了程序員在解決深度學習問題時的應該自問的五個問題。

Semantics3是一家2012年成立的數據科學初創公司，它創建了一個資料庫，跟蹤產品在網上的銷售過程，為零售商提供數據。對於Govind Chandrasekhar寫的這篇文章，量子位全文翻譯如下：

研究數據科學是一件悲喜交加的事情。喜在當你偶然的發現提高了演算法的性能，可能讓你擁有持久的興奮感；悲在你會經常發現自己站在一條單行道的盡頭，苦苦探索到底哪裡出了問題。

在這篇文章里，我將詳述走過無數條深度學習死路後，得到的五個教訓。在處理新問題或新方法前，我都會用想想下面這五個問題。

問題一：

先不管神經網路，一個沒有先驗知識、只受過你的數據集訓練的人能解決這個問題嗎？

這個問題對解決監督學習的困境尤為受用——這些問題的典型前提是，一個小的高質量數據集（比如N個實體）可以幫助你的模型近似得到一個潛在的功能，之後泛化到包含1000N個實體的整個數據集。

這些方法的好處在於，人類只需要研究很小部分數據就可以了，機器會學會把它運用到大範圍的示例中。

但是在現實世界中，問題不總是含有可以被優先識別的模式。人們利用外部常識來解決的認知挑戰比我們意識到的還要多，這經常導致我們錯誤地期望我們的演算法在沒有常識的情況下能夠解決同樣的挑戰。

舉個例子吧，看下面這三種描述：

Pets First Arkansas Dog Jersey, X-Small, Pink

Pets First Arizona Dog Jersey, X-Small, Pink

Pets First AR Dog Jersey, X-Small, Pink

這三組描述中，有兩個表示的含義相同，你能找出那個含義不同的嗎？

大多數美國人都不難解決這個問題，因為AR=Arkansas，AR！=Arizona是個常識。但是，一個對美國並不熟悉的人，可能就不知道答案是什麼了。

你會發現，你創建的神經網路也沒有能力解決這個問題，因為在語言應用這方面，沒有特定的縮寫規則可以供神經網路去模仿。當然指定了Arkansas等同於AR的情況除外。

類似這樣的問題還有很多（可能在一開始你並不理解這些問題），並且它們在實際工作中還經常出現。回頭審視之前建造的神經網路，並且明確需要補充的新知識是非常困難的。所以，在構建神經網路時，要及時跳出自己的思維定式。

問題二：

你構建的神經網路能通過正確的視角理解你的數據嗎？

假設地區的縮寫始終是名字的前兩個字母，同時這個縮寫不會重複。那麼，我們再來用不同的示例回看剛剛的匹配問題：

「Pets First Arkansas Dog Jersey, X-Small」

「Pets First Arkansas Dog Jersey, Extra-Small」

「Pets First AR Dog Jersey, X-Small」

「Pets First Arkansas Dog Jersey, Large」

「Pets First MA Dog Jersey, Large」

你的目標是建立一個神經網路用於識別1、2、3等價而4、5不同。這個任務是在考驗神經網路對「大小」這個概念理解——它們是否知道X-Small=Extra-Small ？也是在考驗它對縮寫的理解能力，比如Arkansas=ARkansas=AR因為前兩個字母相同，而Arkansas不等於MA，等等。

你可能會通過Word2Vec來構建一個嵌入空間，將 X-Small映射為Extra-Small來解決這個問題。

儘管這種方法是一個標準解法，但可能你會妨礙神經網路找到你想讓它學習的內容。如果把AR換成小寫的ar，對人類來說就比較難識別了，我們會糾結ar到底指的的Arizona還是are。

同樣，如果你選擇建立辭彙的嵌入空間，有效地將每一個單詞映射到唯一的標記，那麼你就掐斷了神經網路理解組成字元「ARkansans」的機會。

這種模糊網路問題在你構建網路時經常出現，尤其是在建立考慮不同類型的輸入信號的模型時。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！