為什麼遷移學習的前景這麼大？為什麼PyTorch這麼火？

圖：pixabay

機器學習的未來是非常光明的，為什麼這麼講？因為導致機器學習大發展的激勵因素幾乎是一致的——大廠商們熱切地開源各種工具，開始在更快的硬體領域投資，改變他們原先基於廣告的商業模式。那些瘋狂的科學家們（tinkerers）發明出了以前聞所未聞的應用程序。私人、公共、科學、閑置和不可利用的數據，可互換性越來越高。那麼我們討論一些實際的事情吧：我們到底怎樣利用最近機器學習上的提升——那些可用的、預先訓練的機器學習模型呢？

與遷移學習相關的任務需要一小部分潛在的能力，來區分不可見的數據。例如，無論你彈吉他還是鋼琴，你都會比沒有玩過這些樂器的人更好地選擇和弦。從機器學習的角度來說，這意味著你可以複製別人的訓練工作，並將其快速應用到分類照片。

吳恩達曾在2016年的神經信息處理系統大會（NIPS2016）上，總結概括了機器學習的高速發展。

特別需要說明的是，遷移學習在決定機器學習技術的所有方面都有所改進。

人力效率：如果你想要輸出最後的信號，使模型可解釋，易處理，並具有魯棒性，你需要專家。得益於學術研究，各種架構在相關任務中不斷進行測試，爆炸式增長。

計算效率：目前，以最先進的論文而言，在2到8個GPU的群集上進行訓練通常大約需要兩周。但是，通過遷移學習，你可以節省很多調整內部參數的過程。

數據效率：如果對大數據集進行訓練，在大多數情況下，需要更少域的特定數據。

遷移學習被廣泛用於區分具體的圖像類別。普渡大學的Alfredo Canziani和Eugenio Culurciello曾在2016年5月發表過一篇名為《深度神經網路模型實際應用分析》的論文，該論文比較了在imagenet數據集上計算時，主要架構的計算效率。

具體來說，根據你的設備限制，你可以進一步將計算成本分為訓練時間、推理時間和內存需求。我們需要深入挖掘，給出非常具體的約束。

首先，新的數據經常出現；其次，這些圖像也具有潛在的專有性。因此，再訓練過程必須在本地的中層GPU上進行，以保證可靠性。從用戶的角度來看，如果在一致的時間內給出一致的結果，再訓練就是可靠的。因此，基線基準測試將使用一個簡單的優化方法，有利於收斂的數據效率。再其次，每個預測需要幾乎實時地發生，因此我們還要關注推理時間。最後，我們關注圖像（或圖像的一部分）的確切類別作為決策的輸入。這樣，我們將top-1 accuracy考慮在內。

現在，為了降低專家的成本，隨著不斷發展的數據集，將計算時間與硬性約束相適應，讓我們研究一下最令人垂涎的工具之一——PyTorch。

為什麼PyTorch這麼火爆呢？

框架合理完整、簡潔、完全在代碼中定義，並易於調試。只需要添加一行代碼，就可以從torchvision軟體包載入6種框架：AlexNet、DenseNets、Inception、SqueezeNet和VGG。

圖表中的模型僅在最終層（淺），整個參數集（深）或從其初始化狀態（從零開始）進行了再訓練。在所有運行中，雙K80 GPU大約運行在75％。

數據顯示，SqueezeNet 1.1是高效的計算架構。因為想分成再訓練和靜態層次比較難，所以只是基於淺層再訓練模型的結論太隨意了。例如，VGG13的最終分類器具有8194個參數，而ResNet34的最終層比較窄，具有1026個參數。因此，只有對學習策略的超參數搜索才能使給定目標的比較真正有效。

需要注意的是，在相同訓練時間下，與淺層再訓練相比，深層再訓練時間的精確度要低得多。在其他任務中，其他模型也遇到了相似的事情。從前一個局部最優化的角度來看，更深層次的卷積平均（小誤差梯度）發生緩慢，並且在比隨機初始化的情況下更不平滑。因此，參數可能最終在過渡階段並列。如果未知的特徵與原始數據不同，這種間歇性混亂應該是特別真實的，下圖就是一個例子：有時候有螞蟻靠近，有時你觀察到整個蟻群。

因此，事實上，你可能會建議提高深層再訓練的學習率，或者在某種程度上使用規模不變網路（scale invariant networks）https://github.com/msracver/Deformable-ConvNets。

為了評估由推理和再訓練時間組成的計算效率，這是一個很好的開始。如果你想進一步提高再訓練效率，你可以忽略數據增強，從未訓練層中提取結果。當然，結論將會隨著類別數、前面提到的其他因素，以及其他具體的限制而不同。

編譯自：towards datascience

作者：Alexander Hirner

文章做了不改變原意的修改

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！