有史以來最大、最豐富、最多樣化的自動駕駛數據集之一開源了！

知識 08-30

近日，谷歌母公司 Alphabet 旗下的自動駕駛公司 Waymo 宣布開源他們團隊的自動駕駛資料庫，以幫助研究界在機器感知與自動駕駛技術方面實現突破。公開的數據集由 Waymo 自駕汽車在各種條件下採集的高度標註數據組成，包括了覆蓋多個地點的 1000 個駕駛段上收集的數據。

Waymo 首席科學家兼項目負責人 Drago Anguelov 表示，該數據集是有史以來最大、最豐富、最多樣化的自動駕駛數據集之一。Waymo 也發布了相關博客來介紹該數據集。

數據集簡介

數據是機器學習的關鍵要素。我們的車輛在 25 個城市收集了超過 1000 萬英里的自動行駛里程數據；這一豐富多樣的實際數據幫助我們的工程師和研究人員開發了 Waymo 的自動駕駛技術和創新的模型及演算法。

現在，我們邀請研究界加入我們的 Waymo 開放數據集中，該數據集是一個用於自主駕駛的高質多模式標註數據集。它由 Waymo 自駕車輛收集的高度標註數據組成，數據集涵蓋了各種各樣的環境，從密集的城市中心到郊區景觀，以及白天和黑夜、黎明和黃昏、晴天和下雨天中收集的數據。所有感興趣的研究人員都可以在 https://waymo.com/open/ 免費下載。

圖 1 Waymo 開放數據集涵蓋了從密集的城市中心到郊區景觀的各種環境

數據集具體內容

我們相信它是有史以來最大、數據最豐富、最多樣化的自動駕駛數據集之一。數據集包含：

尺寸和覆蓋範圍：此版本包含 1,000 個自動駕駛路段的數據。每個數據片段捕獲 20 秒的連續駕駛過程，相當於每個鏡頭標註參數為 10 Hz 的 200,000 幀。這樣的連續鏡頭可以使得研究人員易於開發模型來跟蹤和預測其它道路使用者的行為。

多樣化的駕駛環境：該數據集涵蓋鳳凰城、亞利桑那州、柯克蘭、華盛頓州、山景城、加利福尼亞州和加利福尼亞州舊金山的密集城市和郊區環境，並捕捉了各種駕駛條件下的數據（包含：白天和黑夜、黎明和黃昏、晴天和下雨天）。

高解析度的 360 度視圖：每個分段包含了來自五個高解析度 Waymo 激光雷達和五個前置與側面攝像頭的數據。

密集標註：數據集包括激光雷達框架和圖像；車輛、行人、騎自行車者和標識牌都經過了精心的標記，共捕獲了 1200 萬個 3D 標註和 120 萬個 2D 標註。

圖 2 數據集包括 Waymo 高清攝像機的攝像機鏡頭和 120 萬個 2D 標籤

相機 - 激光雷達同步：我們一直致力於融合了來自多個攝像頭和激光雷達數據的 3D 感知模型。我們設計了整個自驅動系統，包括可以無縫地協同工作的硬體和軟體，也包括了對感測器位置的選擇和高質量時間同步設置。

圖 3 數據集包含了高質時間同步的激光雷達與相機拍攝數據

數據集現狀

Waymo 開發的數據集目前包含來自 1000 個片段（每個數據片段大小為 20s）的激光雷達和相機拍攝數據，以下是當前包含的內容：

1000 個片段，每段 20s 錄像，在不同的地理位置和條件下以 10 Hz（200000 幀）參數進行收集。

感測器數據

1 個中程激光雷達

4 個短程激光雷達

5 個攝像頭（正面和側面）

時間同步的激光雷達和相機拍攝數據

激光雷達到相機的投影數據

感測器校準和車輛姿態數據

標記數據

4 個對象類別的標註，包括：車輛、行人、騎自行車者、標誌

所有 1000 個區段的激光雷達數據的高質量標註

帶有激光雷達數據跟蹤 ID 的 12M 3D 邊界框標註

100 段攝像機數據的高質量標註（之後將添加更多內容）

具有攝像機數據追蹤 ID 的 1.2M 2D 邊界框標註

代碼

可通過 GitHub 進行訪問，https://github.com/waymo-research/waymo-open-dataset。

這些數據可用於非商業用途，但研究的定義相當廣泛，其他企業、學者和研究人員都可以使用；可通過（https://waymo.com/open/terms/）查看詳細許可協議。

數據集意義及未來計劃

在機器學習研究方面，獲得相應的數據能很好的將想法變成真正的創新。這些數據有可能幫助研究人員在 2D 和 3D 感知方面取得進展，並在場景適應、場景理解和行為預測等領域取得進展。我們希望研究界能夠通過我們的數據發現更多令人興奮的研究方向，這不僅有助於使自動駕駛車輛更加安全強大，而且還會影響其他相關領域和應用，例如：計算機視覺和機器人技術。

雖然這個數據集不能反映我們感測器系統的全部功能，並且它只包含 Waymo 自動駕駛系統訓練所依據數據的一小部分，但我們相信出於研究目的，這個大型、多樣化和高質量的數據集是非常有價值的。

我們計劃將很快擴大這個數據集的規模。除此之外，我們還計劃後續在此數據集上發布一些基準模型的性能；到時，我們會為使用該數據集的人提供相應的挑戰賽。