「學科發展報告」模式分類與機器學習
一、引言
模式是指存在於時間和空間中可觀測性、可度量性和可區分性的信息；模式識別則是對模式進行分析與處理，進而實現描述、辨識、分類與解譯。模式分類是模式識別的核心研究內容，相關問題包括模式描述、特徵提取和選擇、聚類分析、分類器設計等。取決於具體的數據對象，模式識別的研究內容還包括信號 / 圖像 / 視頻理解、視覺目標分類、圖像 / 視頻檢索、文本分類等，以及各種面嚮應用的技術研究。
機器學習是一門研究機器獲取新知識與新技能，並識別現有知識的學問。從人工智慧的角度，機器學習是指從經驗中產生模型的一切方法論的總稱。學習模型的構建是機器學習的核心研究內容。取決於已有知識表示形式、學習任務與學習環境，機器學習的研究內容十分廣泛，涉及規則學習、類比學習、統計學習、強化學習、深度學習、大數據機器學習等多個方面。
模式識別與機器學習緊密關聯在一起。模式識別為機器學習提供應用舞台，機器學習則為模式識別提供數據分析與建模技術。本報告圍繞模式分類與機器學習基礎理論和相關應用等方面介紹近幾年國內學者所取得的主要研究進展，分析國際學科發展趨勢及國內的研究特色與差距。
二、我國的發展現狀
（一）基礎理論與方法
聚類和概率密度估計是模式識別的基本問題。近年來，相關研究主要集中於集成聚類、多視圖聚類、子空間聚類等研究方向上。比如，中山大學提出了一種基於稀疏圖和概率軌跡分析的集成聚類方法［1］，通過隨機遊走概率軌跡相似性來獲得聚類結果；中科院西安光機所提出了一種重賦權判別嵌入 K- 均值多視圖聚類方法［2］；西北工業大學構建了一個雙邊 K 均值快速協同聚類模型［3］。在子空間聚類方面，清華大學提出的貝葉斯非參數子空間聚類方法［4］、北京大學提出的基於張量低秩描述的子空間聚類方法［5］等均受到廣泛關注。
特徵提取與選擇是高維模式分析的重要工具，是避免「維數災」的重要方法。在特徵提取方面，浙江大學提出了一種稱為A- 最優投影［6］，為圖像描述提供新視野和新方法； 同時，提出一種可微分散度判別準則，並將其應用於大規模局部特徵維數縮減［7］。另外，中科院計算所的多視角判別分析方法［8］、西北工業大學的白化重構二維主成分分析［9］、廣東工業大學的廣義拉普拉斯低秩描述框架［10］等都是一些亮點工作。在特徵選擇方面， 中科院自動化所提出了一種可同時實現特徵選擇與子空間學習的多模態學習模型［11］，並 在跨模態檢索中取得較好的應用效果。
在分類器構造方面，國內學者取得了一系列研究成果。清華大學提出了一個有關核貝葉斯推斷的最優化方法，給出了核貝葉斯推斷新見解［12］。南京大學提出建立了一種半監督支持向量機，並設計出相關學習方法來確保未標註數據能夠提升分類器性能［13］。南京航空航天大學構建了一個在錯誤校正輸出碼框架下的可聯合訓練多個兩類分類器的方法［14］。中科院自動化所提出了一個重定位最小二乘回歸方法［15］，採用類別標籤競爭機製作來提升多類分類精度。針對支持向量機割平面演算法，清華大學提出了一種高效的線搜索策略［16］，降低了模型的計算複雜度。
在稀疏學習方面，浙江大學提出了一種基於隨機合成優化的稀疏學習方法，並給出了相應的理論分析［17］；中科院自動化所提出了一種基於半二次最小迭代的魯棒稀疏表示方法［18］、一種魯棒的低秩矩陣恢復方法［19］。字典學習與稀疏表示緊密相關，中科院自動化所提出了一種耦合字典學習方法［20］，清華大學提出了一個可同時進行特徵學習和字典學習的模型［21］。這些工作豐富了字典學習的方法體系。
在概率圖模型與結構模式識別方面也呈現出一些亮點工作。特別是，清華大學提出了一種如何提升貝葉期隱變數學習模型多樣性的方法［22］，提出了一種基於並行分散式採樣 的大規模隱狄利克萊分派模型學習方法［23］，構建了判別相關主題模型和最大無限隱馬爾可夫模型［24］。另外，電子科技大學提出採用馬爾可夫網路來獲取異質人臉圖描述方法［25］，中山大學提出了一種「與—或」圖結構［26］，並將其應用於形狀檢測。
深度學習無疑是模式識別和機器學習領域中的熱點研究方向。國內在深度學習的應用方面取得了前所未有的新成果，並在自然圖像目標檢測與識別、圖像分割、語音識別、生物特徵識別等方向上尤為顯著。在新型網路構建方面，比如，清華大學構建的條件生成矩匹配網路［27］和一種三元（生成器、判別器和分類器）生成式對抗網路［28］、中科院自動化所構建的不規則濾波深度卷積神經網路［29］、浙江大學的深度旋轉等變網路［30］等均具有鮮明特點。另外，南京大學提出了深度森林模型［31］，並將其命名為 gcForest。在結構上，gcForest 是一種多粒度級聯森林；在學習方法上，該模型是一個決策樹集成學習模型。該方法是「向著深度學習以外的方向進軍」的標誌性工作。
（二）應用研究
最近幾年，隨著人工智慧技術的廣泛應用以及相關概念的提出，模式分類與機器學習的應用研究也取得了十分豐富的成果，涉及人工智慧的各個方向和各種類型的應用。特別地，在文字識別、語音識別、自然語言處理、生物認證、醫學圖像分析、遙感圖像分析、多媒體分析、信息檢索、社會感知數據智能處理、大數據分析等多個任務中取得了重要的研究成果。對上述各方面全面的總結已超出本報告的範圍。這裡僅列舉部分應用研究成果。
在多媒體檢索方面，浙江大學提出的密度敏感哈希方法［32］，中科院自動化所的非對稱哈希編碼［33］、清華大學的非離散哈希學習方法［34］等豐富了哈希學習的方法體系。在跨模態檢索方面，中科院自動化所提出了基於特徵選擇與子空間學習的跨模態檢索［27］和端到端跨模態檢索雙向深度神經網路模型［35］，可以實現以「句子」-「圖像」的雙向檢索。
基於深度學習的視覺計算方法得到空前發展，視覺計算系統的精度和魯棒性有了很大提高。特別地，公安部第三研究所過去幾年連續在世界最具影響力的視覺目標識別競賽ILSVRC 中取得優異成績。另外，中山大學在行人分割［36，37］、西北工業大學在視覺顯著性目標檢測［38］、中國人民大學在圖像語義分割［39］等方面均取得了一定的進展。
在文字識別方面，中科院以及華中科技大學、華南理工大學、北京科技大學等相關課題組也取得重要研究進展。比如，中科學自動化所提出並完善了基於過切分框架的多上下文集成中文識別演算法，並取得較好的實際應用效果［40］；華南理工大學提出了一個端對端在線文本獨立書寫人識別框架［41］；華中科技大學提出一種多尺度多水平場景文字深度表示學習方法［42］，等等。這些工作有力地推進了我國文字識別研究與應用水平。
在生物特徵識別方面，國內學者也取得了顯著成果，部分研究水平達到國際前沿。比如，中科院自動化所提出了基於卷積神經網路的多視角步態識別方法［43］、一種基於歸一化像素差異的快速精確無約束人臉識別方法［44］、一種基於層次視覺編碼表示的虹膜圖像識別方法［45］。中山大學提出了一種開放條件下行人再識別方法［46］，並從機器學習的角度構建了可傳遞局部距離比較信息的學習模型。
三、國內外發展比較
在模式識別與機器學習基礎理論方面，國內學者發表了大量的學術論文。諸多研究成果受到國際同行的廣泛關注。特別地，國內學者在低秩學習、分類器集成、多示例多標籤學習等方面仍然處於國際前沿水平。在深度學習應用方面，國內學者也得取了十分可喜的成績，在多個有重要影響的國際競賽中均得優異成績。比如，我國在概率圖模型方面的系列研究工作［22-24］、生成式對抗網路、不規則濾波深度卷積神經網路［29］、深度旋轉網路［30］、深度森林模型［31］、回歸重定多類分類器構造［15］、數據聚類等方面均做出了亮點工作。
另外，中科院及北京、南京、杭州、西安、廣州、武漢、天津、成都等院所在計算機視覺、信息檢索、自然語言處理等模式識別與機器學習應用研究方面成績斐然。比如，2016 年在全球最具影響力的視覺目標識別競賽 ILSVRC（ImageNet Large Scale Visual Recognition Challenge）中商湯科技與香港中文大學、公安部三所、南京信息工程大學、海康威視等國內研究機構分別包攬了全部項目的冠軍，在國際學術界和工業界充分展示了我國模式識別與機器學習的應用水平。
總體來說，國內本學科發展勢頭良好，湧現出一批具有國際影響力的專家，並在國際模式識別與機器學習領域的各個舞台上均有一支十分活躍的中國力量。比如，在此期間， 中科院自動化所譚鐵牛院士當選為英國皇家工程院外籍院士和發展中國家科學院院士；南京大學的周志華教授繼 2012 年當選為 IEEE Fellow 和 IAPR Fellow 之後，於 2016 年當選AAAI Fellow、ACM Fellow、AAAS Fellow；同時，國內學者在人工智慧國際重要學會擔任Fellow 的人數逐年增加。但是，相對於國外水平，國內整體上仍處於跟跑階段。相對於美國、加拿大等國家，在機器學習的重要原始成果創新方面相對較少。在學術界、工業界具有雙重影響的原始創新工作（如 AlphaGO）較少。
四、我國發展趨勢與對策
模式識別和機器學習是當前人工智慧中最具活力的研究領域。傳統的理論難點問題和技術瓶頸問題尚未得到全面充分解決。但是，在基於泛在感知的海量信息智能化處理中卻不斷地產生新型大數據機器學習問題。
我國當前應用需求主要包括如下幾個方面：①公共安全與服務的需要，包含海量龐雜、跨時空、跨區域、跨行業、跨部門、社會—人的物理空間和網路空間大數據處理、挖掘、服務與管理決策；②基於泛在和精密感知的智能環境理解、智能人機交互、智能機器人、智能輔助系統等尤其需要先進的視聽覺信息理解技術；③國家安全的需要，包括軍事目標圖像和軍事情報數據的自動分析，互聯網態勢分析和反恐等、空天情報實時智能化處理，等等。
圍繞上述應用需求，在科學研究與技術開發層面，我國互聯網、人工智慧等技術的普遍應用不斷地催生著新的模式識別與機器學習問題。另外，在來自於物理空間、網路空間、社會與人的「多源異構、海量混雜、時空演變」的大數據中產生了諸如物理空間與網路空間的協同感知與建模、多源異構大數據機器學習等新的科學問題，迫切需要我們發展新的模式識別與機器學習理論與方法。
特別地，面向大數據分析這一主戰場，在理論與方法層面我國主要呈現出以下一些研究趨勢：①研究高效的關聯學習方法，充分挖掘蘊含於大數據中的價值；②研究隱含模式發現方法、類不平衡模式分析方法，有效地解決大數據中小模式檢測問題，構建面向大數據的價值模式分析方法；③研究海量冗餘數據、海量雜訊數據中的精準知識激活方法、知識消歧方法，提高海量數據的利用效率；④研究海量非結構化時序數據分析方法，建立高效的事件檢測、演化和預測模型，以適應大數據快速演化特點；⑤研究面向大規模數據的模式分類、模式聚類、知識深度推理、非結構化特徵學習等方法，拓展現有經典方法的大數據並行處理能力。
近年來，基於深度學習的模式識別方法在語音識別、自然圖像分類、自然語言處理等領域取得了巨大的成功，取得的識別精度比其他方法所取得的最高性能都有明顯提升。隨後，深度學習必將轉向一些新的行業，比如，商業大數據挖掘與推薦、智慧城市、交通大數據分析、健康大數據分析、遙感時空大數據分析、車輛受損圖像自動保險定損、智能駕駛、空間分析與應用、天氣預報、國防與公共安全等。
另外，強化學習也是未來一個主要發展方向。隨著 AlphaGO 的成功，強化學習被提升到一個新的高度。實際上，強化學習已經在人機對抗中顯示出強大的生命力。同時，強化學習的思想已在傳統的模式識別任務中逐步發揮重要作用。
最後，人腦具有多模態信息處理、自主學習、實時更新等特點。發展類腦模式識別理論與方法，充分引入人的感知機理，以腦結構、神經形態學、類腦研究的最新成果為引導，研究高效的跨模態非結構化協同學習方法、小樣本主動可增強自學習自演化方法、自主特徵學習方法、自動目標感知與識別方法、類腦神經網路結構學習方法等，也是我國機器學習領域正在蓬勃開展的一個新的研究領域。
模式識別、機器學習是提高我國人工智慧應用水平的核心技術，構建智能計算系統的核心基石，也是一個難得的機遇期。特別地，隨著「創新 2020」「人工智慧 2.0」「工業5.0」等國家層面的戰略設計的相繼啟動，對模式識別、機器學習相關人才和技術的需求十分迫切。因此，本學科應力爭培養一批既懂理論方法又能掌握核心關鍵技術的複合型人才，提出原創性的主流方法和核心演算法，推動我國人工智慧技術的跨越發展。
參照國際模式識別、機器學習的研究水平，在基礎理論研究方面，我們在國際上所產生的重大原始創新性成果還不多。因此，儘管國家在經費投入方面有了巨大提高，但仍需著力營造自由、寬鬆的基礎研究氛圍。
五、結束語
圍繞模式分類和機器學習及其應用，本報告主要介紹國內在模式識別領域的主要研究進展，分析國內的研究特色與差距以及本學科發展趨勢。總結起來，國內學者在模式識別與機器學習及其應用的研究上取得了一批具有國際水平的成果。但是，大多為跟蹤式、改進式、驗證式研究，在基礎理論和主流方法上缺乏「零基」原創性的貢獻。在以後的工作中需要進一步加強基礎研究的力量，凝練研究隊伍，拓寬人才培養途徑，注重高層次人才引進，營造自由、寬鬆的學術研究氛圍，加強模式識別、機器學習與腦科學、認知科學、社會科學等領域的交叉與融合。
