OpenPV：中科院研究人員建立開源的平行視覺研究平台
本文轉載自「 GAN生成式對抗網路」
作者：田永林、王雨桐
審校：王坤峰
本文介紹了來自中國科學院自動化研究所複雜系統管理與控制國家重點實驗室、青島智能產業技術研究院平行視覺技術創新中心的研究成果。王飛躍研究員、王坤峰副研究員帶領的平行視覺團隊，從複雜系統的角度研究計算機視覺。近期，他們建立了開源的平行視覺研究平台OpenPV (Open Source Parallel Vision Platform)，用於推動平行視覺研究，構建更健壯的智能視覺系統。在OpenPV平台上，發布了一批ParallelEye虛擬圖像集，包括原始圖像及標註信息，可以供平行視覺和計算機視覺研究者免費使用。
OpenPV平台的網址是：http://openpv.cn
平行視覺和平行圖像
針對視覺計算研究中存在的實際數據獲取和標註成本高、難以覆蓋複雜環境、極端場景樣本稀少、訓練的模型適應性差等問題，中科院自動化所王坤峰、苟超和王飛躍將視覺計算系統看作複雜系統，採用虛實平行思想，把視覺計算研究從單一的物理世界擴展到虛實結合的平行世界（物理世界+虛擬世界），提出了一種虛實互動的智能視覺計算方法，即平行視覺（Parallel Vision）[1][2]。平行視覺由人工場景（Artificial Scenes）、計算實驗（Computational Experiments）和平行執行（Parallel Execution）三步曲組成。其核心是利用可控、可觀、可重複的人工場景來模擬和表示複雜挑戰的實際場景，使採集和標註大規模多樣性的虛擬圖像數據成為可能，然後通過計算實驗進行視覺模型的訓練與評估，最後藉助虛實互動的平行執行來在線優化視覺系統，實現對複雜環境的智能感知與理解。圖1顯示了平行視覺的基本框架和體系結構。
圖1. 平行視覺的基本框架和體系結構
考慮到虛擬圖像在視覺計算研究中的重要性，王坤峰、王飛躍等在平行視覺的基礎上，又提出了一種新的圖像生成理論框架——平行圖像（Parallel Imaging）[3]。平行圖像是平行視覺的一個分支，提供平行視覺研究需要的圖像大數據。平行圖像的核心單元是軟體定義的人工圖像系統。從實際場景中獲取特定的圖像「小數據」，輸入人工圖像系統，解析和吸納實際圖像的特點，同時加入外部知識，自動生成大量新的人工圖像數據。這些人工圖像數據和特定的實際圖像數據一起構成解決複雜視覺問題所需要的平行圖像「大數據」集合，用於視覺模型的學習與評估研究。總之，平行圖像遵循實際圖像「小數據」→平行圖像「大數據」→特定「精準知識」的技術流程，如圖2所示。
圖2. 平行圖像的技術流程
目前，該團隊已經利用OpenStreetMap、CityEngine、Unity3D、3ds Max等圖形學模擬工具構建了大規模的人工城市場景，生成了面向交通視覺研究的虛擬圖像集ParallelEye。基於平行視覺理論，田永林等利用ParallelEye數據集進行了目標檢測器的訓練和測試研究，通過虛實結合的方式提高了Faster R-CNN和DPM目標檢測器的性能，並且通過定製虛擬圖像中的目標尺寸、遮擋程度等屬性，測試其對目標檢測器的影響[4][5]。更多信息請閱讀文章：【平行講壇】ParallelEye：面向交通視覺研究構建的大規模虛擬圖像集。
張文文等採用增強現實技術，將虛擬行人疊加到特定場景的背景圖像，構建人工場景，生成帶有標註信息的虛擬圖像集，從而訓練特定場景的行人檢測器，取得了良好的實驗效果[6]。圖3顯示了特定場景的虛擬圖像及其標註的生成過程。更多信息請閱讀文章：【平行講壇】基於平行視覺的特定場景下行人檢測。
圖3.特定場景的虛擬圖像及其標註的生成過程
苟超等通過生成對抗網路將帶有真實紋理信息的圖像和帶標註信息模擬圖像融合，進一步訓練人眼瞳孔檢測模型，在BioID、GI4E等公開數據集上取得很好的瞳孔檢測效果。關於該項工作的技術細節，會在後續進行詳細報道。
發布的ParallelEye數據集
圖4.OpenPV平台發布的ParallelEye數據集頁面
目前，OpenPV平台發布的ParallelEye數據集（見圖4）由7個子數據集組成，包含了40251幅虛擬圖像以及六種標註信息。其中子數據集1–3提供了三類交通目標（car、bus、truck）的包圍框信息，可以用於目標檢測研究。子數據集4–7包含更多的目標類型，並給出了更豐富的標註信息，包括感興趣目標的包圍框、像素級語義/實例、深度等，能夠支持目標檢測與跟蹤、語義/實例分割、深度估計等多種視覺計算任務。每個子數據集對應一個人工場景，同一個子數據集中又包含多段視頻，對應著該人工場景在不同光照和天氣條件下收集的圖像數據。圖5顯示了ParallelEye虛擬圖像集的標註信息示例。
圖5.ParallelEye虛擬圖像集的標註信息示例。第一行左：深度標註；第一行右：光流標註；第二行左：目標跟蹤標註；第二行右：目標檢測標註；第三行左：實例分割標註；第三行右：語義分割標註。
在構建ParallelEye的過程中，他們力求模擬複雜的交通場景，從多方面提高數據集的多樣性。第一，攝像機拍攝角度的多樣性。在收集圖像的過程中，控制場景中的虛擬攝像機進行升降旋轉，來獲得人工場景在不同觀察視角下的成像效果。第二，目標外觀和姿態的多樣性。通過目標擺放位置的不同來創造不同的遮擋情況，同時利用腳本改變目標模型的部分參數，使其顏色和姿態在每一幀都發生變化。第三，光照和天氣條件的多樣性。藉助天氣系統插件來模擬早、中、晚不同時刻的光照條件以及晴、陰、霧、雨等多種天氣狀況，渲染得到不同的視覺效果，如圖6所示。
圖6. 人工場景中光照和天氣條件的多樣性
OpenPV與學術服務
據悉，該團隊計劃為OpenPV平台賦予更多功能。首先，他們將擴展人工場景的時空規模，引入更多更豐富的3D模型，增加人工場景中的極端情況和挑戰性案例，來更加全面地模擬物理世界。此外，除了當前的城市環境，他們還計劃在郊區和鄉村環境下進行人工場景構建和虛擬數據收集，進一步提高數據集對複雜交通場景的覆蓋範圍。目前已發布的ParallelEye數據集支持單向下載，可以用於視覺模型的學習與訓練。這當然不是平行視覺的全部內涵。未來OpenPV將同時支持下載和上傳服務，支持對用戶視覺模型的線上測試與評估，甚至提供解釋和優化視覺模型的建議，逐漸過渡到知識自動化。
一直以來，王飛躍、王坤峰帶領的平行視覺團隊致力於學術服務。他們運營了微信公眾號「GAN生成式對抗網路」，每天發布一篇文章，及時跟蹤GAN、深度學習與計算機視覺的研究前沿。他們正在Neurocomputing牽頭組織Special Issue on Virtual Images for Visual Artificial Intelligence（見文章：【CFP】Virtual Images for Visual Artificial Intelligence），正在IEEE IV2018牽頭組織Workshop on Parallel Vision in Intelligent Vehicles（見文章：【徵稿通知】IEEE IV 2018「智能車輛中的平行視覺」研討會），以提升計算機視覺研究者對虛擬圖像和平行視覺的重視。
他們建立OpenPV開源平台，希望為更多的研究人員服務，構建更健壯的智能視覺系統。歡迎讀者訪問http://openpv.cn，獲取更多信息，也歡迎各種形式的技術交流。
參考文獻
[1] Kunfeng Wang, Chao Gou, and Fei-Yue Wang. Parallel vision: an ACP-based approach to intelligent vision computing. Acta Automatica Sinica, 2016, 42(10): 1490?1500.
[2] Kunfeng Wang, Chao Gou, Nanning Zheng, James M.Rehg, and Fei-Yue Wang. Parallel vision for perception and understanding of complex scenes: methods, framework, and perspectives. Artificial Intelligence Review, 2017, 48(3): 299?329.
[3] Kunfeng Wang, Yue Lu, Yutong Wang, Ziwei Xiong, and Fei-Yue Wang. Parallel Imaging: A New Theoretical Framework for Image Generation. Pattern Recognition and Artificial Intelligence, 2017, 30(7): 577?587.
[4] Yonglin Tian, Xuan Li, Kunfeng Wang andFei-Yue Wang. Training and Testing Object Detectors with Virtual Images. IEEE/CAA Journal of Automatica Sinica, 2018, 5(2): 539?546.
[5]Xuan Li, Kunfeng Wang, Yonglin Tian, Lan Yan, andFei-Yue Wang. The ParallelEye Dataset: Constructing Large-Scale Artificial Scenes for Traffic Vision Research. arXiv:1712.08394. 2017.
[6] Wenwen Zhang, Kunfeng Wang, Hua Qu, Jihong Zhao, and Fei-Yue Wang. Scene-Specific Pedestrian Detection Based on Parallel Vision. arXiv:1712.08745.
往期文章推薦
人工智慧名人堂第49期 | 斯坦福研究院名人堂成員：Peter E. Ha
TAG:德先生 |