淺談小樣本學習
淺談小樣本學習
在這一次的人工智慧浪潮中，深度學習無疑是一股中堅力量；在傳統機器學習所涉足的許多領域，深度學習的應用往往對學習模型的性能帶來了本質上的提升，例如語音識別、圖像分類等任務。
然而，相較於一系列經典的機器學習方法，深度學習需要大量的數據以滿足深度網路中超大量的參數的訓練，即使在大數據背景下的今天，想獲取具有大量優質的、標識正確數據的數據集，仍是一個令人頭疼的問題。並且，雖然神經網路是一種仿照生物學上大腦反應而構造的機器學習模型，但其實際應用中卻與大腦的功能相去甚遠，比如，一般情況下我們與某個人見面一次，便能夠通過相貌辨認他的身份，但一個神經網路卻難以通過對一到兩張圖片的學習，完成一個人臉識別的任務。
小樣本學習便是這樣一類更貼近實際的問題，以分類問題為例，這一類問題中，需要預測的類別數往往是很多的（例如數以萬計的人臉圖庫），而每個類別中的帶有標籤的樣本往往又是很少的（每個人的臉部圖片只有幾張），兩相結合使得這一類問題成為機器學習領域中較為複雜的問題，而尤其需要數據的深度學習似乎顯得更加與此問題不搭。
那傳統的機器學習方法中，是怎樣解決小樣本問題的呢？以分類為例，直觀來想這個問題，如果我要對一張照片是ABCD中哪個人進行判斷，而我手中只有ABCD四人每人的一張照片，那對我來講，一一比對這張照片和四張照片中哪個人最像就可以了。而在機器學習中，對應的方法便是聚類了，通過聚類，將相同類別和不同類別樣本的特徵區分成不同的簇，而對需要預測的樣本，只需要計算其特徵與這些簇之間距離的遠近，即可預測樣本所屬類別。
回到本文，是不是深度學習真的就無法在小樣本學習中展露拳腳呢？
恰恰相反，以上基於度量的方法，結合神經網路取得了好於傳統方法的效果，孿生網路【1】和匹配網路【2】便是很好的例子，在這些模型框架中，（深度）神經網路作為優秀的特徵提取工具被使用，在特徵提取方面取得了優於傳統人工定義的效果，進而帶來了預測性能的提升。
另一方面，李飛飛在其論文「One-Shot Learning of Object Categories」【3】中提出，利用貝葉斯方法，可以將之前訓練好的分類模型用於新的分類任務，能夠在小樣本學習任務上取得很好的效果。
而歸根結底，小樣本學習的難點在於模型可以用以學習的有標註樣本太少，即訓練數據不足的問題，基於Fine-tuning的遷移學習【4】便是解決此問題的方法之一，遷移學習分為源域（擁有充足的訓練樣本）和目標域（問題的背景域，用於訓練的帶標籤的樣本稀少），可以理解為利用源域上學習到的知識結合目標域少量的樣本做微調，解決目標域上的預測問題，如果源域和目標域的樣本分布相同，這只是一個簡單的預測問題，而遷移學習則認為，即使兩個域分布不同，利用源域上學習到的知識也能夠在一定程度上幫助目標域問題的解決，相關研究人員往往將遷移學習所帶來的模型性能的提升歸功於預訓練的模型將源域的樣本「借」給了目標域，這是很形象的解釋。從這方面來看，似乎遷移學習確實很適合於解決小樣本問題。
當我們回到小樣本學習本身，數據是否是一切問題的癥結所在呢？數據本身並不能幫助我們解決問題，而數據背後的統計學規律才能幫助我們進行預測，而這統計學規律在機器學習模型中則體現在特徵的學習上，因而解決小樣本問題的方向也很明確，要麼我們需要得到足夠多的足以刻畫出預測目標的特徵，要麼我們找到那些最具有區分度的特徵，能夠有效地對我們的預測任務起到幫助。
DeepID網路框架
對於人臉識別這個經典的小樣本學習問題，DeepID一系列論文【5】【6】【7】【8】就在特徵的選取上下足了功夫，在「Deep Learning Face Representation from Predicting 10,000 Classes」這篇文章中，作者使用一個神經元個數沿網路深度逐層遞減的神經網路進行模型的訓練，將經過多層卷積後的得到的特徵向量稱為「DeepID」，而利用DeepID，文章中的模型在人臉10000分類上取得了優異的效果，顯然在這篇文章中，少量而優質的特徵以質量戰勝了數量，DeepID被稱為最為優秀的人臉識別演算法。
本文主要介紹了小樣本學習及一系列解決小樣本學習的演算法，希望通過本文能夠讓讀者對小樣本學習有一個初步的認識，若感興趣，可以通過本文所引用的一系列文章對這個領域進行更深入的了解和研究。本文作者也仍處於學習之中，觀點的方法難免有錯誤之處，望批評指正。
參考文獻：
【1】Chopra S, Hadsell R, Lecun Y. Learning a Similarity Metric Discriminatively, with Application to Face Verification[C]// IEEE Computer Society Conference on Computer Vision and Pattern Recognition. IEEE Computer Society, 2005:539-546.
【2】Vinyals O, Blundell C, Lillicrap T, et al. Matching Networks for One Shot Learning[J]. 2016.
【3】Fei-Fei L, Fergus R, Perona P. One-shot learning of object categories[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2006, 28(4):594-611.
【4】CS231n Convolutional Neural Networks for Visual Recognition
【5】Sun Y, Wang X, Tang X. Deep Learning Face Representation from Predicting 10,000 Classes[C]// Computer Vision and Pattern Recognition. IEEE, 2014:1891-1898.
【6】Sun Y, Wang X, Tang X. Deep Learning Face Representation by Joint Identification-Verification[J]. 2014, 27:1988-1996.
【7】Sun Y, Wang X, Tang X. Deeply learned face representations are sparse, selective, and robust[J]. 2014:2892-2900.
【8】Sun Y, Liang D, Wang X, et al. DeepID3: Face Recognition with Very Deep Neural Networks[J]. Computer Science, 2015.
TAG:PKUFineLab |