樣本和標籤？IBM 為多標籤小樣本圖像分類帶來新進展！

雷鋒網 AI 科技評論按：目前大多數關於圖像小樣本分類的研究工作都是研究單標籤場景，每個訓練圖像只包含一個對象，然而現實中的場景中以多對象多標籤居多，因此對於多標籤小樣本的圖像分類研究更 具現實意義。IBM 的研究人員對多標籤小樣本的圖像分類進行了研究，並在 CVPR 2019 大會上進行了論文分享，相關成果發表在 IBM 官網博客上，雷鋒網 AI 科技評論編譯如下。

當我們將人工智慧和機器學習擴展到面向企業和工業界應用的更廣泛的任務集時，從更少的數據集中學到更多是必要的。數據增強是一個重要的工具，特別是在沒有足夠的訓練數據的情況下，它通過自動合成新的訓練樣本來改進學習。小樣本學習就是這樣的一個例子，其每個類別只有一個或很少的樣本可用。之前大多數關於圖像小樣本分類的研究工作都是研究「單標籤」場景，其中每個訓練圖像只包含一個對象，因此只有一個類別標籤。然而，更具有挑戰性和現實意義的場景是多標籤、小樣本的圖像分類，其訓練數據樣本較少，圖像具有多個標籤，而之前的研究工作尚未對該場景進行廣泛的研究探索。

為了研究上述課題，我們在 2019 年 6 月舉行的 IEEE 計算機視覺與模式識別（CVPR 2019）大會上發表了相關論文，對多標籤、小樣本圖像分類進行了研究。本論文題目為《LaSO：面向多標籤小樣本學習的標籤設置操作網路》（「LaSO：Label-Set Operations networks for multi-label few-shot learning」，論文地址：https://www.research.ibm.com/artificial-intelligence/publications/paper/?id=LaSO:-Label-Set-Operations-Networks-for-Multi-label-Few-shot-Learning），提出了一種訓練深度神經網路的新方法，即將圖像樣本對與一定的標籤集相結合，合成具有「合併」標籤的新樣本。例如，考慮圖 1 中的兩幅圖像，一幅描繪的是「一個人遛羊和狗」，另一幅描繪的是「一個人抱著一隻狗和一隻貓」。第一張圖片的標籤是「人」、「羊」和「狗」，第二張是「人」、「狗」和「貓」。通過給定的這兩幅圖像，LaSO 網路合成了新的訓練樣本，這些樣本通過對標籤執行聯合、交叉和減法操作而產生。「聯合」生成了一個標有「人」、「狗」、「貓」和「羊」的樣本，「交叉」和「減法」生成了分別標有「人」、「狗」和「羊」的多個樣本。LaSO 網路直接在深度神經網路學習的特徵空間進行操作。

圖 1：在兩幅圖像上進行 LaSO 網路操作的案例

作為一個單一的多任務網路，LaSO 網路通過使用特定的損失函數共同訓練，以使其操作適應相應的標籤集操作任務（圖 2）。

圖 2：支持交叉、聯合和減法操作標籤集的 LaSO 網路體系結構

多任務網路是在一個大規模的多標籤數據集上進行訓練的，每個圖像的多個標籤與出現在圖像上的目標相對應。我們通過使用不同的方法對產生的 LaSO 網路進行了測試，以評估它們在操作多標籤內容方面的潛力。這些測試包括使用在真實、留存的多標籤數據上經過預訓練的分類器對生成的示例進行分類，以及使用 LaSO 網路合成的特徵向量來測試源自留存的測試集的檢索（圖 3）。

圖 3：基於合成 LaSO 向量進行的圖像檢索的定性結果

LaSO 網路被設計成直接在圖像表徵進行操作，而不需要任何額外的輸入來控制操作。換句話說，就是不需要人工干預來指示它們要操作哪些標籤。因此，在訓練過程中，它們可以潛在地泛化到包含尚未見過的新類別的圖像上。在這方面，LaSO 網路可以用來挑戰多標籤小樣本的分類任務。在這種情況下，LaSO 網路從所提供的訓練樣本隨機對中合成新的訓練樣本。在本文中，我們將 LaSO 網路的這種能力應用到一個新的多標籤小樣本分類基準中，希望能引起對這一重要問題的更多研究。通過使用 LaSO 網路在所給出的基準上進行數據增強的結果表明，將其推廣到新的類別具有很強的潛力（圖 4）。

圖 4：LaSO 增強表現（底部四行）VS 基準（頂部三行）

多標籤小樣本分類是一項全新的、具有挑戰性和實用性的研究工作。我們為這個研究工作提出了第一個基準。在該基準上利用神經網路對 LaSO 標籤集操作進行了評估，結果表明 LaSO 具有很好的應用潛力。我們希望本次工作能激勵更多的研究人員去研究這個有趣的問題。

via :?https://www.ibm.com/blogs/research/2019/06/few-shot-learning/ ?雷鋒網

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！