MIT 新發布大型數據集 ADE20K：用於場景感知、語義理解等多種任務

選自CSAIL

機器之心編譯

參與：黃小天、Smith

近日，MIT 通過官網發布了一款名為 ADE20K 的數據集，可用於場景感知、解析、分割、多物體識別和語義理解。整個數據集（包含所有的圖像和分割在內）的大小為 3.8Gb。MIT 從下載、描述、瀏覽、評估等方面對該數據做了扼要介紹。機器之心對原文進行了編譯，數據集下載地址及原文鏈接請見文中。

項目地址：http://groups.csail.mit.edu/vision/datasets/ADE20K/

數據集下載頁面

描述

圖像和註解

每個文件夾包含通過場景範疇進行分類的圖像。對於每一張圖像，目標和部件分割被存儲為兩種不同的 png 文件。所有的圖像和部件示例都被分別注釋。

瀏覽

已注釋圖像涵蓋了 SUN 和 Places 數據集中的場景範疇。下面是一些展示圖像、目標分割和部件分割的示例。你也可以通過 ADE20K 瀏覽器瀏覽其他圖像。

下面的可視化給出了目標、部件和注釋示例的數量的列表。樹狀表只展示了帶有超過 250 個註解示例的目標，以及帶有超過 10 個註解示例的部件。

一些類別可以既是目標，也是部件。例如，一個「門」可以是一個目標（在一張室內圖片中）或者一個部件（當它是車的一個門時）。一些目標經常是部件（比如一條腿、一隻手），儘管在某些情況下它們看起來與整體是相互獨立的（比如車庫中的汽車輪子）；而有些目標則永遠不是部件（比如一個人，一輛卡車等等）。依據於部件所屬的目標，相同的名稱類別（比如門）可對應於若干個視覺範疇。例如，一個汽車的門從視覺上看是不同於一個櫥櫃的門的。然而它們也共享一些相似的可供性（affordance）。proportionClassIsPart(c) 的值可以用來決定一個分類是否主要作為一個目標或一個部件。當目標不是另一個目標的一個部件時，其分割掩碼將出現在 * _seg.png 內。如果分類是一個部件，則分割掩碼將出現在 * _seg_parts.png 內。正確檢測目標需要區分目標是否表現為獨立目標，或者是否是另一目標的一個部件。

評估

使用驗證集評估你的演算法。你可以使用評估工具包進行場景解析挑戰。

數據集偏差

在訓練集中：

• 圖像的中值長寬比為 4/3。

• 圖像中值大小為 307200 像素。平均圖像大小為 1.3M 像素。

• 目標分割的模式如下所示，包含四個目標（從上到下）：天空、牆、建築和地板。

• 部件分割的模式包含兩個分類：窗戶和門。

在測試集中：

• 當簡單地使用模式來分割圖像時，它平均獲得驗證集中的每個圖像的像素的 20.3％。

• 在驗證集中，IoU（The Intersection over Union）對於表現在分割模式中的四個分類是：

注釋噪音分析

為了分析注釋的連貫性，我們採用了一個包含從驗證集中隨機選取的 64 張圖像的子集，並要求對其再次進行注釋。這些圖像中的 20 個通過兩個外部注釋器進行注釋。我們會期望兩個注釋之間存在一些差別，甚至是在任務被同一個人完成的情況下。通常 82% 的像素獲得了相同的標註。下圖展示了由同一個注釋器完成的一張圖片和兩個分割。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！