基於視頻分析的動物行為識別

最新 05-09

來源:《中國人工智慧學會通訊》2018年第4期

智能農業專題

CAAI 2018年第8卷第4期

李奇峰，高榮華，肖伯祥，余禮根，馬為紅，丁露雨

基於視頻分析的動物行為識別

隨著高清攝像頭、計步器和紅外體溫檢測儀等物聯網設備在畜牧養殖中的廣泛應用，使得信息化裝備與技術記錄動物日常行為成為規模化養殖中最常用的方法。動物行為識別依據感知方式不同，可分為接觸式佩戴感測器方式與基於視覺的視頻感知方式兩大類。接觸式感測器方式是將各類感測器佩戴在動物身上，而養殖環境的複雜性或動物活動習性對設備具有一定破壞性，造成設備損壞影響數據實時監測，且設備對動物心理和行為造成影響，不利於其正常行為活動，損害動物福利；視頻感知方式通過監控攝像頭自動採集動物視頻數據傳輸到 PC 端實時分析，不需與動物身體密切接觸，被越來越多應用於動物識別中。常用的視頻感知方式仍依靠人工觀察，當監控視頻數據量增加，從海量視頻關鍵幀內搜索有價值信息，需要從頭到尾順序播放，要數倍於原始視頻時間才能完成，且觀察者主觀描述性缺乏客觀的定量指標。人工智慧技術在視頻分析中的普及與應用，使得利用視頻檢測、圖像處理技術，挖掘動物躺卧、站立、行走、奔跑、跳躍等典型行為特徵，實現對養殖過程中的重點健康生理行為及異常病理行為自動識別成為可能，對動物健康狀況、異常行為及時預警，為規模化精準養殖提供技術支撐。

1 國內外現狀分析

在基於視頻的動物行為識別方面，國外研究起步較早且已經取得較多進展。Porto 等 [1] 對奶牛在食槽前的站立和進食俯視全景圖像分析，有效識別攝食和站立行為。Viazzi 等 [2] 利用 2D 和 3D 攝像系統提取行走奶牛背部姿態特徵，實現奶牛蹄病行為的實時監測，但由於 2D 攝像系統採集的圖像受到陰影與背景變化影響導致圖像分割困難。為了克服這些問題，Viazzi 等提出了一種利用俯視視角立體相機提取奶牛背部姿態新方法，提高了蹄病識別準確率。Cangar 等 [3] 分析了奶牛臨產前體態和位置變化的視頻監控圖像，對奶牛站立、卧倒、飲水、採食等行為識別分類，平均識別率為 85%。Tsai 等 [4] 通過視頻圖像分析自動地檢測識別母牛的發情和交配行為，視頻幀的負樣本錯檢率只有 0.33%。Bruyere 等 [5]開發了一種基於視頻的奶牛發情檢測系統，該系統使用「相機 - 圖標法」，識別率能達到 80%，但需要人工對圖像牛隻的狀態進行判斷並決定是否為「圖標」，是一種非自動的檢測方案。Nasirahmadi 等 [6] 利用圖像處理和 Delaunay 三角剖分方法，高精度、自動化地檢測由豬舍溫度變化導致的圍欄內豬群躺卧姿勢和位置的改變。

國內在利用計算機視覺技術識別動物行為方面雖然起步較晚，但也取得了很多成果。劉東等 [7] 從國內外視角分析精準畜牧業中動物信息感知與行為檢測的研究現狀，預測未來動物信息智能感知與行為檢測將向著無接觸、高自動化和高精度的方向發展；溫長吉等 [8] 提出了一種改進的時空局部二值模式作為特徵描述，構建視覺詞典，統計產前行走、側卧和回望所發生的頻次，實現對視頻中母牛發情行為的識別；趙凱旋等 [9] 採用光流法計算奶牛監控視頻圖像幀中各像素點的運動速度場，實現了奶牛呼吸狀態的自動化、智能化檢測；紀濱等 [10] 計算脊腹線起伏頻次與人工計算頻次的相關性，捕獲豬脊腹線輪廓，實現對呼吸急促症病豬的自動預警；劉龍申等 [11]分析了母豬分娩視頻的圖像特徵，提出了通過半圓匹配演算法對母豬目標進行分割，實時、準確地檢測母豬的分娩行為，避免飼養人員由於連續觀察而負擔繁重、工作效率低或因疏忽造成豬仔死亡等問題；劉冬等 [7] 採用混合高斯模型對實時移動的奶牛目標進行了檢測，取得了較好的檢測結果。

總結國內外基於視頻分析的動物行為研究現狀，對比研究對象、內容、方法等對比研究對象、內容、方法等，如表 1 所示。

表 1 基於視頻分析的動物行為識別方法國內外對比分析

國內人工智慧與深度學習技術正飛快發展，使得規模化養殖場中的全方位監控視頻數據可以得到更加充分的利用。利用視頻數據智能分析技術，從視頻序列中實時提取動物異常行為，必將成為可能，最終為動物疫病防控與健康養殖提供支撐。

2 動物行為視頻分析主要流程

2.1 基於樣本學習的動物行為特徵表達

行為特徵表達是動物目標檢測和行為識別的基礎，只有了解動物與周圍環境關係，以及動物內部個體之間的相互關係才能更有效、更有價值的研究動物目標檢測、行為識別和行為理解。在對動物行為視頻分析前，需要對不同行為的樣本視頻數據預處理，首先在判斷當前運動目標是否為被識別特徵對象前，對不同角度、不同光照、不同位置的動物表徵行為關鍵幀進行學習，抽取異常行為與事件語義模型。

在構建異常行為模型前，利用背景建模或跟蹤等技術提取運動目標的空間位置或輪廓等信息，然後對圖像序列感興趣區域編碼實現對運動行為的描述，獲得運動目標輪廓、光流、梯度邊緣等全局特徵；同時以圖像或視頻局部塊為基本單元，採用密集採樣與時空興趣點結合方法，通過視頻塊熵值最大化確定感興趣區域位置與尺度，實現動物關節、肢體等運動細節精確定位。對典型動物行為的全局特徵與局部特徵的樣本數據進行深度學習，構建動物典型肢體行為視圖特徵模型；建立不同行為特徵與動物健康、繁殖、異常行為的動態映射關係，實現動物運動目標識別與跟蹤。

2.2 多尺度多視角動物運動目標對象檢測與識別

動物運動目標對象檢測分為運動目標定位、分割與高級語義行為檢測兩部分。首先對動物的位置、所佔區域、體態方向等進行確認，定位、分割並對其行動軌跡進行跟蹤之後，對動物的個體及群體行為進行識別和進一步分析。

2.2.1 運動目標定位與分割

由於動物本身形態特徵、體紋、斑塊及視角不同，監控視頻採集出的畫面具有污點、陰影、遮擋等影響，畫面的質量並不高 ( 見圖 1)，這對視頻目標檢測分析提出了很大的挑戰。

圖 1 奶牛養殖區域監控視頻採集圖像

圖像熵能夠描述某一圖像灰度分布的聚集特性，但不能反映相應的灰度分布空間特徵，故可將聚類演算法與熵結合，從在特徵空間內對像素進行聚類的角度，設定閾值 T1、T2、T3，將圖像分為目標對象 O、天空 S、地面 G 背景 3 個區域，按照相似度量對圖像歐式空間內的特徵向量進行聚類，得到 XO、XS、XG3 個子集。設定最佳閾值，在截取到的視頻關鍵幀中分割出動物目標對象。

2.2.2 高級語義行為檢測

基於視頻的動物目標識別中，前景物體分割問題是識別視頻每一幀中屬於前景的像素，其最大的挑戰在於視頻中前景物體在不斷運動，同時物體的表觀及形狀不斷發生變化。因此需要融合深度神經網路與條件隨機場方法，對動物行為監控視頻關鍵幀進行像素級的標註，並在視頻序列的時空圖基礎上（見圖 2），定義馬爾科夫隨機場與單變數勢函數，利用深度神經網路方法提取運動檢測子，結合軌跡分析檢測子，對其分布區域進行長時分析，實現動物運動行為檢測。

圖 2 時空圖的構建流程

2.3 基於深度學習的動物行為識別

監控視頻分析的行為特徵，能夠在實時感知數據出現誤差時，以可視化效果，準確捕獲動物異常行為。為避免低層視覺特徵與類標籤之間的語義鴻溝、高維低層特徵對動物行為分析產生的計算代價，以及海量標籤訓練視頻樣本數據的缺乏，採用有監督模型中的視頻表達與概率圖方法，學習具有區分不同動物行為的視頻類相關隱性特徵，構建動物發情、打鬥、跛行等幾種典型異常行為視圖特徵模塊。

通過卷積層和下採樣層組合，交替對輸入視頻數據的時間維度和空間維度圖像進行卷積，在卷積過程中的特徵圖與多個連續幀中的數據進行連接，抽取動物異常行為視圖特徵，其中第一層包括灰度數據、x,y 方向梯度、x,y 方向光流等構成的卷積核 ,還包括 3 個卷積層、2 個下採樣層和 1 個全連接層，如圖 3 所示；對於視頻中存在的冗餘信息及雜訊，採用卷積神經網路結構對其進行重建，提取對動物異常行為有效的特徵信息，通過多層神經元處理，對動物原始行為特徵向量進行重新表示和描述，得到最終的重建特徵向量，輸出不同類型的異常行為判斷結果，在較少標籤訓練樣本基礎上提高了動物行為識別的精度。

圖 3 視頻特徵卷積模型

3 技術難點

由於動物養殖過程中目標對象處於一直運動的狀態，基於視頻的動物行為識別面臨諸多挑戰，主要體現如下幾方面。

3.1 數據集的挑戰

為確保動物行為識別模型具有較好的識別性能，需要藉助大量經過類別標註的視頻數據進行模型的訓練。行為特徵表達模型學習過程中應確保樣本的多樣性，而動物樣本採集會受到頭部移動、身體晃動、行走、尾部擺動等影響，使得獲取同類樣本共性類別信息難度增大，直接導致數據採集和標註工作的難度。

3.2 行為過程、視頻行為對象、行為背景多樣性

動物行為過程因行為類別或同類行為的不同行為對象，會有不同時長的行為過程。此外，視頻數據獲取過程中，由於動物行為對象在行為過程中的局部遮擋，以及養殖環境的背景差異、光照條件、成像系統視角差異等因素，導致動物行為樣本類內諸多差異。

3.3 視頻行為特徵提取

視頻數據相對於二維圖像多了一個時間維度，視頻數據所包含的動物行為信息，不只是體現為單幀圖像中的空間相關性，更是體現為行為過程的時序性，以及幀間的時間相關性。需要視頻行為特徵提取不僅表達動物行為對象的表觀信息，還要體現行為過程的時序信息，因此與運動時長、運動對象個體差異等多因素相關的動物行為視頻特徵的提取演算法的魯棒性是難點之一。

4 結束語

智能視頻監控是計算機視覺領域中倍受關注的一個應用領域，利用計算機視覺技術對視頻信號進行處理、分析和理解，並對視頻監控系統進行控制，從而提高視頻監控系統智能化水平。但由於動物行為多樣且具有不可預知、難以歸納性，而現有異常行為識別方法大多是基於預定義和監督學習的前提下的，因此緊靠視頻分析已經無法滿足精準的動物行為識別的需求。

隨著人工智慧技術在畜牧業中的深入發展與應用，未來基於視頻的動物識別必將朝著對不可預知性的異常行為深入理解發展，在當前行為識別的基礎上，利用深度學習的方法，對影響動物行為的相關信息進行重新組織與構建關聯表達模型，不僅能夠實現動物行為識別，還能夠對未知動物行為進行預測；同時在對動物行為識別過程中，以視頻分析為基礎，融合動物聲音、飼養環境和飼餵量等多因素，構建多因素行為特徵模型，提高動物行為的識別率。

參考文獻

[1] Porto S, Arcidiacono C, Anguzza U, et al. The automatic detection of dairy cow feeding and standing behaviours in free-stall barns by a computer vision-based system[J]. BIOSYSTEMS ENGINEERING,2015,133:46-55.

[2] Viazzi S, Bahr C, Van Hertem T, Schlageter-Tello A, et al. Comparison of a three-dimensional and two-dimensional camera system for automated measurement of back posture in dairy cows[J]. Computers and Electronics in Agriculture,2014,100:139-147.

[3] Cangar O, Leroy T, Guarino M,et al. Automatic real-time monitoring of locomotion and posture behaviour of pregnant cows prior to calving using online image analysis[J]. Computers and Electronics in Agriculture,2008, 64(1):53-60.

[4] Tsai D M, Chiu W Y, Lee M H. Optical flow-motion history image (OF-MHI) for action recognition[J].SIGNAL IMAGE AND VIDEO PROCESSING,2015,9(8):1897-1906.

[5] Bruyere P, Hetreau T, Ponsart C, et al. Can video cameras replace visual estrus detection in dairy cows?[J] Theriogenology,2012,77(3):525-530.

[6] Nasirahmadi A, Richter U, Hensel O, et al. Using machine vision for investigation of changes in pig group lying patterns[J]. Computers and Electronics in Agriculture,2015,119:184-190.

[7] 劉冬 , 趙凱旋 , 何東健 . 基於混合高斯模型的移動奶牛實時提取方法 [J]. 農業機械學報 ,2016,47(05):288-294.

[8] 溫長吉 , 王生生 , 趙昕 , 等 . 基於視覺詞典法的母牛產前行為識別 [J]. 農業機械學報 ,2014，45(01):266-274.

[9] 趙凱旋 , 何東健 . 基於卷積神經網路的奶牛個體身份識別方法 [J]. 農業工程學報 ,2015,31(05):181-187.

[10] 紀濱 , 朱偉興 , 劉波 , 等 . 基於脊腹線波動的豬呼吸急促癥狀視頻分析 [J]. 農業工程學報 ,2011,27(01):191-195.

[11] 劉龍申 , 沈明霞 , 柏廣宇 , 等 . 基於機器視覺的母豬分娩檢測方法研究 [J]. 農業機械學報 ,2014，45(03):237-242.

作者介紹：李奇峰