感興趣目標提取與跟蹤

1

7

小寒至

感興趣目標

提取與跟蹤

感興趣目標的提取和跟蹤是計算機視覺、圖像處理、模式識別以及人工智慧等領域最重要的研究內容之一，在目標識別、智能監控、視頻（圖像）檢索、人機介面、車輛導航、導彈制導等多種領域都有著極其重要的應用價值。然而實際場景的複雜多變，如光照變化、背景中各種雜物和雜訊的影響、室外場景中各種不確定因素的干擾、目標狀態的變化（如姿態、大小、運動速度、運動軌跡等）、目標與背景顏色的相似程度、背景穩定程度、目標被遮擋等，使得運動目標的提取和跟蹤一直是計算機視覺研究領域中一個公認的具有挑戰性的課題。目前所提出的演算法大多在一定條件下或特定應用場合對解決上述問題中的某一個或某幾個具有較好的效果，能夠解決複雜場景中各種不確定情況及適應不同應用場合的運動目標提取和跟蹤演算法很少甚至沒有。因此，深入探討和研究新的運動目標提取和跟蹤演算法，仍然是計算機視覺研究領域的一項非常艱巨的任務。

眾所周知，無論場景怎樣變化、目標的姿態怎樣變化、目標遮擋程度怎樣，人類都能毫不費力地區分前景、背景以及辨識運動目標。根據神經生理學、心理學以及認知科學的研究成果，人類之所以能夠輕而易舉地做到這一點與人類擁有一套功能強大和完善的視覺感知、注意和記憶機制密切相關。其中，視覺注意機制幫助我們完成特定目標的提取以及多個目標間注意焦點的轉移；而人腦記憶機制能夠讓我們記住所看到和經歷的情景，從而有助於我們快速辨別所見到的物體、認知新的事物、適應新的環境等。因此，研究和探討基於人類視覺注意和人腦記憶機制的運動目標提取與跟蹤方法具有重要的理論意義和科學價值。

視覺注意和人腦記憶機制啟發下的感興趣目標提取與跟蹤

王延江，齊玉娟

北京：科學出版社，2016.11

ISBN 978-7-03-050607-8

責任編輯：陳 靜

基於此，《視覺注意和人腦記憶機制啟發下的感興趣目標提取與跟蹤》將探討和研究融合視覺注意與人腦記憶機制的感興趣目標提取與跟蹤方法。首先借鑒認知心理學的研究成果和生物視覺注意機制對人類視覺顯著性特徵的感知進行建模和研究，並將其用於感興趣目標的提取；然後基於人類記憶機制特別是人腦三階段記憶模型建立一種視覺信息處理認知模型，用於模擬人類對視覺模式進行感知、注意、匹配、分類、學習和決策的過程，並將其用於複雜場景的建模以及運動目標的跟蹤，以解決複雜場景下目標間的遮擋、目標發生變形、目標姿態變化以及場景中出現新目標等與視覺注意和記憶機制密不可分的問題。

本書的內容組織如下。

第1章是概述，將簡要介紹運動目標檢測與跟蹤的常用方法、國內外研究現狀以及存在的問題。

第2章介紹了人類視覺系統的生物學基礎和感知機制、視覺注意機制的心理學模型以及目前具有代表性的視覺注意計算模型，具體包括視覺感知信息處理過程所包含的what與where兩條通路和感受野的等級特性，以及大腦學習機制和選擇注意機制；並分別對視覺注意機制的心理學模型以及經典的視覺注意計算模型進行了較為詳盡的闡述。其中，心理學模型以Treisman的特徵整合理論與Koch的神經生物學理論框架為例進行了著重介紹，計算模型則以具有典型代表性的Itti模型、GBVS模型以及SR模型為例進行了詳細的介紹。

受人類視覺注意機制的啟發，第3章首先提出一種基於快速字典學習與特徵稀有性的自然圖像顯著目標提取演算法，該演算法將快速字典學習應用於特徵提取過程並通過字典原子的稀疏性操作來進行稀有性量化。實驗結果表明所提演算法對於自然圖像的顯著目標提取效果相較於傳統演算法更加準確、快速，並且能夠有效地處理含有多個顯著目標的自然圖像。此外，本章還提出一種基於動態視覺顯著性的感興趣目標提取演算法，該演算法利用SIFT流提取動態顯著性，有效解決了傳統目標跟蹤演算法需要手動選擇目標或需要對背景進行建模等問題。

第4章主要介紹了神經系統的基本結構和人腦記憶機制的生理結構，分析了信號在海馬結構中的流向，以及內側顳葉皮層和海馬結構分別負責語義記憶和情景記憶可能的解剖學解釋；其次，分析了幾種較為典型的人腦記憶模型，包括情景記憶模型和語義記憶模型，介紹了其各自的演算法；並對人腦記憶機制的認知神經模型——CLS模型的原理和結構進行了總結。最後，受人腦記憶三階段信息處理過程啟發，提出一種基於記憶機制的視覺信息處理認知模型。該模型包括5部分：信息粒、記憶空間、記憶行為、記憶空間處理信息的行為規則及決策過程。定義了3個記憶空間分別用於存儲當前、臨時和永久信息，即瞬時記憶空間、短時記憶空間和長時記憶空間。該模型能夠模擬人腦的一些認知行為，如記憶、提取、遺忘、學習等。本章所提基於人類記憶機制的視覺信息處理認知模型是後續章節繼續探討基於人類記憶機制的魯棒運動目標提取和跟蹤方法的基礎。

第5章在第4章的基礎上將基於記憶的視覺信息處理認知模型分別與混合高斯背景建模和碼本建模方法相結合，分別提出基於記憶的混合高斯模型（Memory-basedGMM，MGMM）和基於記憶的碼本模型（Memory-based CodebookModel，MCB）。其中，基於記憶的混合高斯模型能記住出現過的背景，當遇到相似的背景時，能及時提取並激活記憶的背景，從而快速地適應場景的變化；而基於記憶的碼本模型不單是對背景建模，而是對包括背景和前景的整個場景進行建模，通過一定條件下前景到背景的轉化，實現背景的在線學習，從而避免了背景建模演算法中離線訓練造成的漏檢、誤檢以及檢測過程不完整等問題。此外，通過借鑒人腦三階段記憶的信息處理機制，增加了場景建模中的時序特徵參數，增強了模型對場景變化的適應性以及統計分析能力。

第6章將基於記憶的視覺信息處理模型引入到目標模板更新過程，提出了一種基於記憶的模板更新方法。在目標模板更新過程中，根據當前幀目標估計模板與當前目標模板的相似程度，實現目標模板的自適應更新、記憶模板的提取以及目標模板的記憶。最後將提出的基於記憶的模板更新方法分別嵌入Mean-shift和粒子濾波框架進行運動目標跟蹤。實驗結果顯示本章所提的方法能夠解決目標姿態突變、目標遮擋等問題，並且效果優於無模板更新和整體模板更新演算法。另外，針對基本的粒子濾波跟蹤存在粒子退化以及單一特徵難以應對複雜場景的問題，本章還提出了基於記憶的多特徵融合模型，引入特徵記憶空間後，不僅其中的角點特徵被用做目標特徵的表達，角點的空間位置信息還被用於改進粒子的狀態轉移方程，在保持粒子多樣性的基礎上避免了粒子的退化。

第7章將基於記憶的視覺信息處理認知模型與多智能體相結合，提出了基於記憶的多智能體協同進化計算模型。每一個智能體都能根據其自身的經驗記住、提取或遺忘記憶系統中的目標外觀；多個這樣的智能體集合構成基於記憶的多智能體系統（Memory-based Multi-agent System，MMAS）。這些智能體隨機分布在目標區域附近，然後映射到一個2-D網格環境，通過一些協同進化行為(如競爭、重組和遷移)估計目標的新位置。實驗結果表明，所提模型能夠有效處理目標姿態變化及目標遮擋問題。

冬--暖

本文摘編自王延江 齊玉娟編著《視覺注意和人腦記憶機制啟發下的感興趣目標提取與跟蹤》（北京：科學出版社，2016.11）。

《視覺注意和人腦記憶機制啟發下的感興趣目標提取與跟蹤》將人類的認知機制與計算機視覺、圖像處理和模式識別相結合，從認知心理學出發對基於視覺注意和人腦記憶機制的感興趣目標提取和跟蹤認知建模方法進行了研究。首先基於生物視覺注意機制對人類視覺顯著性特徵的感知進行建模和研究，並將其用於感興趣目標的提取；然後基於人類記憶機制特別是人腦三階段記憶模型建立一種視覺信息處理認知模型，用於模擬人類對視覺模式進行感知、注意、匹配、分類、學習和決策的過程，並將其與混合高斯背景建模、碼本背景建模、Mean-shift目標跟蹤、粒子濾波目標跟蹤以及多智能體協同進化等相結合，詳細研究了其在感興趣目標提取以及跟蹤中的應用，並通過大量的視頻目標檢測與跟蹤實驗對演算法進行了驗證，為在動態複雜視頻環境中實現快速魯棒的感興趣目標提取和跟蹤提供了一條新的研究思路和實現途徑。

本書可供計算機科學領域人工智慧、模式識別、智能信息處理專業研究生、博士生以及相關專業的研究人員參考。

（本期責編：王芳）

一起閱讀科學!

科學出版社│微信ID：sciencepress-cspm

專業品質 學術價值

原創好讀 科學品味