當前位置:
首頁 > 最新 > 無人機航拍葉片缺陷識別模型——基於卷積神經網路的實現

無人機航拍葉片缺陷識別模型——基於卷積神經網路的實現

每日風電:中國風電新聞網旗下品牌欄目

利用無人機航拍技術,可以近距離地拍攝風機葉片。目前使用人工的方法從視頻中抓取故障幀,耗費大量的人力和時間,且連續長時間的人為尋找故障幀容易產生視覺疲勞,從而遺漏損傷或判錯損傷部位。通過結合圖像處理方法和機器學習演算法,藉助計算機實現對故障視頻中故障幀的抓取,可有效節省人力物力,提高葉片缺陷識別的效率,實現自動化處理。

1、建模思路

首先對無人機航拍的視頻進行處理,按照每兩秒取一幀數據的方式,將視頻數據轉換為圖像數據。其次,對於得到的圖像數據,建立語義分割模型,提取出其中的風機葉片部分。然後,將提取出的風機葉片部分送入分類網路進行訓練,得到可以預測風機圖片是否損傷的模型。最後,對預測的結果進行壓縮處理,即將同一損傷的多張圖片進行壓縮,得到一張來表示這種損傷。

2、模型介紹

2.1 語義分割模型

圖像是由許多像素(pixel)組成的,而語義分割就是將像素按照圖像中表達語義含義的不同進行分組。換言之,圖像語義分割希望實現的是對每個像素點的分類。在無人機拍攝的圖片中,應用AI技術,將照片中的風機葉片提取出來,即對於表示風機的像素點,其類別標籤為1,而對於其他的像素點,其類別標籤為0(表示背景)。針對此項任務,採用了基於Unet神經網路的圖像語義分割技術。Unet介紹如下:

在神經網路的架構中,不斷的卷積和池化可以提取圖片的深層特徵,但同時得到的特徵圖的大小相較於原來的圖片也在不斷的減小,網路越深,丟失的信息越多。因此,對於每一次下採樣,採用一次上採樣使之恢復原來的尺寸大小。在Unet的上採樣層中,每一個上採樣的結果都與前期相應尺寸的特徵圖進行相連,這樣便實現了高層特徵與低層特徵的結合,從而可以更高精度的預測每一個像素的類別。Unet的結構如下圖所示,有幾次下採樣就對應著有幾次上採樣,因整體結構像U型而起名Unet。

圖1 Unet結構圖

Unet的預測結果如圖2,其中(a)為原圖,(b)為Unet的預測結果。

(a)原圖

(b)Unet風機葉片預測結果

圖2 原圖和Unet預測結果對比

單純Unet對風機葉片的預測比較粗糙。因此,我們在Unet的輸出結果之後,再引入一層CRF(條件隨機場),來對結果進行優化。條件隨機場的目標函數是:

目標函數使模型能夠做出如下判斷:兩個相鄰的像素點,如果其顏色值非常接近,那麼它們屬於同一個類別的概率應該比較大。相反的,如果兩個相鄰像素點的顏色值差異很大,屬於同一個類別的概率比較小,分割的結果從這兩個像素點分裂。能量項彌補了神經網路的分割結果的不足之處,使得預測結果更為精細。圖3是CRF優化之後的輸出結果。從圖中可以看出,在Unet的輸出之後加了CRF之後,語義分割效果明顯提高了很多。

圖3 CRF優化之後的語義分割結果

2.2 損傷分類模型

將2.1中提取出的葉片數據,送入分類網路進行訓練,得到可以識別損傷的模型。在此步驟中,運用遷移學習的方法,在十二種不同的神經網路架構上進行實驗,包括VGG網路(VGG16, VGG19),Inception網路(Inception-v3, Inception-v4, Xception), Resnet網路(resnet50, resnet101, resnet152), Densenet網路(Densenet121, Densenet161, Densenet169), 以及結合Inception網路和Resnet網路優勢的Inception-resnet-v2網路。

將訓練數據(Unet進行語義分割後的結果)和真實的標籤(是否損傷)送入神經網路,訓練一組模型對一張無標籤圖片的損傷判斷。此模型訓練與預測過程中,保持訓練樣本和測試樣本中正常和損傷的比例為1:1。評估方面,通過三個指標來衡量實驗結果,分別為準確率,誤檢率和漏檢率。其中,準確率代表預測正確的圖片的比例,誤檢率為將正常圖片判定為損傷的概率,漏檢率為將損傷圖片判為正常的概率。十二種網路的實驗結果如表1所示:

以上結果並未對同一處故障重複圖像採集做出處理,因此從整體來看模型效果不佳。

2.3 壓縮演算法

為了解決重複採樣的問題,採用mean shift演算法對實驗數據結果進行進一步優化,首先用神經網路訓練好的參數對每幅圖片進行特徵提取(即將圖片送入神經網路,執行一次前向傳播,得到全連接層之前的特徵圖,作為本張圖片的特徵),然後採用mean shift演算法對這些特徵進行聚類。聚類結果中,每一個類別中的圖片屬於同一損傷,然後對每一類別中的圖片隨機抽取一張作為結果呈現出來(隨機數由正態分布生成,趨向於抽取圖像位置居中的故障)。

圖6 mean shift演算法示意

Mean shift演算法假設在一個多為空間中有很多數據點需要進行聚類,演算法首先從未被標記的數據點中隨機選擇一個點作為中心center。通過帶寬範圍內數據點的密度,不斷計算新的質心和偏移點,得到最終判定為同一類的數據。

經過Mean shift演算法修正的結果,以已有真實報告中發現的葉片故障作為參照,準確率達到85%,誤檢率與漏檢率均能夠控制在10%以內。

3、總結

無人機技術在工業領域應用的「攻城掠地」剛剛開始,基於圖片、視頻等數據進行外觀診察,已成為目前無人機領域要解決的重要問題之一。基於AI技術的計算機視覺可有效提高對數據的識別精度和識別速度,節約人工查看的時間,自動化診斷流程。

隨著移動設備AI晶元的逐漸面世,將演算法嵌入無人機中,實現准實時分析,拍完即得的方式,將是演算法落地的重點。

來源:天數潤科

品 牌 推 薦


喜歡這篇文章嗎?立刻分享出去讓更多人知道吧!

本站內容充實豐富,博大精深,小編精選每日熱門資訊,隨時更新,點擊「搶先收到最新資訊」瀏覽吧!


請您繼續閱讀更多來自 風電頭條 的精彩文章:

國內最大單機容量海上機型併網運行:GW171-6.45機型
福清興化灣樣機試驗風場首台GE 6MW 海上風機順利吊裝完成

TAG:風電頭條 |