無人機航拍葉片缺陷識別模型——基於卷積神經網路的實現

最新 03-20

每日風電：中國風電新聞網旗下品牌欄目

利用無人機航拍技術，可以近距離地拍攝風機葉片。目前使用人工的方法從視頻中抓取故障幀，耗費大量的人力和時間，且連續長時間的人為尋找故障幀容易產生視覺疲勞，從而遺漏損傷或判錯損傷部位。通過結合圖像處理方法和機器學習演算法，藉助計算機實現對故障視頻中故障幀的抓取，可有效節省人力物力，提高葉片缺陷識別的效率，實現自動化處理。

1、建模思路

首先對無人機航拍的視頻進行處理，按照每兩秒取一幀數據的方式，將視頻數據轉換為圖像數據。其次，對於得到的圖像數據，建立語義分割模型，提取出其中的風機葉片部分。然後，將提取出的風機葉片部分送入分類網路進行訓練，得到可以預測風機圖片是否損傷的模型。最後，對預測的結果進行壓縮處理，即將同一損傷的多張圖片進行壓縮，得到一張來表示這種損傷。

2、模型介紹

2.1 語義分割模型

圖像是由許多像素（pixel）組成的，而語義分割就是將像素按照圖像中表達語義含義的不同進行分組。換言之，圖像語義分割希望實現的是對每個像素點的分類。在無人機拍攝的圖片中，應用AI技術，將照片中的風機葉片提取出來，即對於表示風機的像素點，其類別標籤為1，而對於其他的像素點，其類別標籤為0（表示背景）。針對此項任務，採用了基於Unet神經網路的圖像語義分割技術。Unet介紹如下：

在神經網路的架構中，不斷的卷積和池化可以提取圖片的深層特徵，但同時得到的特徵圖的大小相較於原來的圖片也在不斷的減小，網路越深，丟失的信息越多。因此，對於每一次下採樣，採用一次上採樣使之恢復原來的尺寸大小。在Unet的上採樣層中，每一個上採樣的結果都與前期相應尺寸的特徵圖進行相連，這樣便實現了高層特徵與低層特徵的結合，從而可以更高精度的預測每一個像素的類別。Unet的結構如下圖所示，有幾次下採樣就對應著有幾次上採樣，因整體結構像U型而起名Unet。

圖1 Unet結構圖

Unet的預測結果如圖2，其中（a）為原圖，（b）為Unet的預測結果。

（a）原圖

（b）Unet風機葉片預測結果

圖2 原圖和Unet預測結果對比

單純Unet對風機葉片的預測比較粗糙。因此，我們在Unet的輸出結果之後，再引入一層CRF（條件隨機場），來對結果進行優化。條件隨機場的目標函數是：

目標函數使模型能夠做出如下判斷：兩個相鄰的像素點，如果其顏色值非常接近，那麼它們屬於同一個類別的概率應該比較大。相反的，如果兩個相鄰像素點的顏色值差異很大，屬於同一個類別的概率比較小，分割的結果從這兩個像素點分裂。能量項彌補了神經網路的分割結果的不足之處，使得預測結果更為精細。圖3是CRF優化之後的輸出結果。從圖中可以看出，在Unet的輸出之後加了CRF之後，語義分割效果明顯提高了很多。

圖3 CRF優化之後的語義分割結果

2.2 損傷分類模型

將2.1中提取出的葉片數據，送入分類網路進行訓練，得到可以識別損傷的模型。在此步驟中，運用遷移學習的方法，在十二種不同的神經網路架構上進行實驗，包括VGG網路（VGG16， VGG19），Inception網路（Inception-v3, Inception-v4, Xception）, Resnet網路（resnet50, resnet101, resnet152）, Densenet網路（Densenet121, Densenet161, Densenet169）, 以及結合Inception網路和Resnet網路優勢的Inception-resnet-v2網路。

將訓練數據（Unet進行語義分割後的結果）和真實的標籤（是否損傷）送入神經網路，訓練一組模型對一張無標籤圖片的損傷判斷。此模型訓練與預測過程中，保持訓練樣本和測試樣本中正常和損傷的比例為1：1。評估方面，通過三個指標來衡量實驗結果，分別為準確率，誤檢率和漏檢率。其中，準確率代表預測正確的圖片的比例，誤檢率為將正常圖片判定為損傷的概率，漏檢率為將損傷圖片判為正常的概率。十二種網路的實驗結果如表1所示：

以上結果並未對同一處故障重複圖像採集做出處理，因此從整體來看模型效果不佳。

2.3 壓縮演算法

為了解決重複採樣的問題，採用mean shift演算法對實驗數據結果進行進一步優化，首先用神經網路訓練好的參數對每幅圖片進行特徵提取（即將圖片送入神經網路，執行一次前向傳播，得到全連接層之前的特徵圖，作為本張圖片的特徵），然後採用mean shift演算法對這些特徵進行聚類。聚類結果中，每一個類別中的圖片屬於同一損傷，然後對每一類別中的圖片隨機抽取一張作為結果呈現出來（隨機數由正態分布生成，趨向於抽取圖像位置居中的故障）。