基於長短期記憶網路的空氣污染物濃度預測：方法與驗證
又到了放送時間，高盛同學的房價預測暫時先賣個關子，今天插播另一個主題：空氣污染物濃度的預測。看過我之前文章的小夥伴，對脈動分析應該有所了解，空氣質量預測是影響人居環境的一個關鍵點，對於其預測也是脈動分析所研究的重要內容之一。
在前期的研究中，我們只關注污染物本身的時間狀態變化，通過自回歸移動平均模型（ARMA）+小波分解預測過一波，但這種方法沒有考慮影響污染物濃度擴散的氣象條件，而且也很難將空間因素考慮進去。
聰明的小夥伴肯定對我提到的第二代脈動分析框架還有印象，即要考慮預測輸入數據的多樣性和多元化。這篇文章中提到的LSTME模型即是從這個視角來解決預測問題的。
我們所用到的基礎框架長短期記憶網路（LSTM）是非常有名的循環神經網路（RNN）的一個變種，它將前期信息與當前任務連接，能夠學習長期依賴關係，記住信息很長一段時間幾乎是他們的固有行為，但不是去努力學習。利用該基礎框架，我們在目標預測數據類型的基礎上融入了輔助氣象數據（如空氣濕度、溫度、風速、可見度），對不同時間周期的數據類型採用獨熱編碼方式泛化輸入特徵。實驗結果證明預測精度比常規的模型有顯著的提高。
開始前，慣例先要介紹下論文的第一作者～
李祥童鞋是一枚非常優秀的90後，國獎、三好生榮譽拿了個遍，真是小時候媽媽口中時常出現的「別人家的孩子」。現在紐約大學交換學習，關注深度學習的各種模型，目前可稱得上這個領域的小專家啦。他的這篇文章2017年底發表在環境類1區SCI 《Environmental Pollution》上，非常了得啦作為師姐，祝願祥仔能夠在科研領域越走越遠，成為同齡中的佼佼者～
作者：李祥
指導老師：彭玲研究員、池天河研究員、小姚GISer
「別人家的孩子」李祥
廢話少說，以下是乾貨部分～～
空氣污染是一個嚴重的環境問題，某些空氣污染物，如PM2.5（空氣動力學直徑小於或等於2.5mm的顆粒物質），可以在吸入過程中穿過鼻腔通道併到達喉部甚至肺部。空氣污染物濃度預測是通過對關鍵空氣污染物提供預警來保護公眾健康的有效方法。傳統時序預測模型往往沒有考慮相鄰站點之間的空間相關性，並且對於站點歷史數據的長期依賴關係建模能力不足。
本文給出了一種基於LSTM神經網路的空氣污染物濃度預測方法。LSTM又稱為長期短期記憶神經網路，是一種特殊RNN網路。與傳統的RNN不同，LSTM神經網路能夠學習長時間序列，並且不受梯度彌散問題的影響。這些特徵對於模擬時空大氣污染物過程的建模尤為重要，在這些過程中，一個站的空氣污染物濃度與之前的狀態相關，並且由於污染物傳輸過程而與附近站的空氣污染物濃度相關。
近年來，LSTM神經網路已成功應用於許多涉及時間序列預測的研究，如交通流預測（Lv等，2015），風力預測（Felder等，2010），人類軌跡預測（Alahi等， 2016）等。最近，Sak等（Sak等，2016）採用LSTM進行污染風險預測，但僅對污染風險排序進行分類，未對空氣污染物濃度進行實際值預測。此外，他們分別對各個城市做出了預測，而沒有考慮監測站之間的空間相關性。本文旨在將LSTM神經網路擴展到時空相關建模和空氣污染物濃度預測。
本文的貢獻如下：（1）擴展了LSTM神經網路以捕獲大氣污染物濃度的長期時空依賴性，並提出了可預測未來24小時大氣污染物濃度的多尺度預測框架; （2）該方法能夠有效地自動提取大氣污染物濃度數據中的時空相關性; （3）將輔助數據整合到傳統的LSTM模型中，並且該綜合模型表現出比傳統方法更好的性能。
1
數據
2
方法
2.1時空相關性
首先，我們分析了12個站點PM2.5濃度的空間相關性。 Pearson相關係數（Pearson，1895）用於測量相關性，結果表明各個站點PM2.5濃度是高度相關的。然後我們用自相關函數分析了各個站點PM2.5濃度的時序相關性，結果表明各個站點PM2.5濃度時序是高度自相關的。考慮到站點間的高時空相關性和站點的歷史狀態，我們將來自所有12個站的時間延遲PM2.5濃度作為輸入，並使用LSTM 網路學習這種時空相關性。
2.2LSTME
本研究改進現有LSTM演算法以預測區域大氣污染物濃度。 LSTM 是一個門控RNN，可以有效解決長時間依賴關係，關於LSTM具體介紹見論文附錄。整個預測框架如圖1所示。所有監測站的時間延遲歷史數據被疊加起來，構成LSTM層的輸入張量（參見圖1中的「main inputs」），空間相關數據中的特徵長時間依賴性被自動提取出來（參見圖1中的「LSTM」部分），遞歸箭頭表示層提取過程可以重複多次以獲得最佳性能。使用單熱編碼方法對年份和小時數據進行編碼，並與提取的特徵以及當前的氣象數據進行合併。接下來，使用一個或多個完全連接的層（圖1中的「FC」）來獲得合併特徵的進一步表示。最後，使用完全連接的層來生成預測輸出。
圖1 LSTME空氣污染物濃度預測模型的網路框架
為了評估所提出的方法的有效性，在我們的實驗中使用了三個指標，包括均方根誤差（RMSE），平均絕對誤差（MAE）和平均絕對百分比誤差（MAPE）。
3
實驗結果
3.1預測性能
在為我們的預測任務確定最佳網路體系結構之後，訓練集被用來訓練我們的LSTME模型直到收斂。使用測試裝置進行評估，圖2顯示了預測和觀察到的PM2.5濃度。圖2顯示預測數據通常與觀測數據一致。觀測數據和預測數據之間的R2值表明解釋方差的98％被模型捕獲。
圖2 預測和真實污染物濃度（測試集）
3.2精度比較
我們比較了所提出的LSTME模型的性能與STDL（Li等，2016），TDNN，SVR和ARMA模型的性能。這些模型使用與LSTME模型相同的訓練和測試集進行訓練和測試；然而，每個模型的輸入數據略有不同。TDNN和STDL模型使用與我們的LSTME模型相同的輸入，但網路結構不同。TDNN模型採用傳統的神經網路進行特徵表示，而STDL模型採用層疊式自編碼器。這三個模型能夠同時預測所有台站的空氣污染物濃度。僅使用時間序列預測模型的SVR和ARMA模型分別使用來自單個站的輸入數據進行每個站的預測實驗，我們在每次預測後整合了預測性能。此外，為了評估輔助數據的重要性，我們使用沒有輔助數據的LSTM模型（圖3中的虛線框）進行了另外的實驗。所有模型的預測性能如表1所示。可以從表1中可以得出如下結論。首先，與三個「淺」模型（SVR，ARMA和TDNN模型）相比，三種深度學習模型LSTME，LSTM和STDL模型）表現出更好的預測性能，因為它們具有更強的時空特徵的能力。這一發現與之前的研究（Li等 ，2016）一致，也即深層模型更適合建模複雜的時空過程。其次，與TDNN模型相比，基於LSTM的模型（包括LSTME模型和傳統的LSTM模型）表現出更高的預測精度，RMSE。這個結果表明，LSTM可以更有效地捕獲時空相關性。表1還表明，LSTME比傳統的LSTM 模型表現更好，這表明輔助數據可以提高預測性能。
表1 不同模型預測精度對比
3.3多尺度預測
直觀地說，不同時期的歷史數據對未來的時滯有不同的影響。因此，如圖3所示，我們將空氣污染物濃度數據在特定的時間滯後內進行分組，以便為多尺度預測制定輸入（以實心矩形表示）。表2展示了多尺度預測精度。
圖3 多尺度預測示意圖
表2 多尺度預測精度
4
結論
本文提出了一個基於歷史空氣污染物濃度數據，氣象數據和時間戳數據預測大氣污染物濃度的LSTME模型。 LSTME模型能夠對具有長時間依賴性的時間序列進行建模，並能自動確定最佳時間滯後。本文研究結論如下：
1）與SVR，ARMA和TDNN等傳統淺層模型相比，深度學習模型表現出較好的預測性能。
2）與RNN模型相比，TDNN模型，我們的LSTME模型和傳統的LSTM可以更有效地捕獲時空相關性。
3）使用輔助數據，如氣象數據和時間戳數據，可以顯著提高預測性能。
4）我們的模型提供了預測空氣污染物濃度的多尺度方法。雖然長期預測任務的預測性能降低了，但所提出的模型的性能適用於長期預測任務。
詳情請見文章鏈接：https://www.sciencedirect.com/science/article/pii/S0269749117307534
參考文獻：
Lv, Y., Duan, Y., Kang, W., Li, Z., Wang, F., 2015. Traffic flow prediction with big data: a deep learning approach. IEEE Trans. Intell. Transport. Syst. 16, 1e9.
Felder, M., Kaifel, A., Graves, A., 2010. Wind power prediction using mixture density recurrent neural networks. In: Poster Presentation gehalten auf der European Wind Energy Conference.
Alahi, A., Goel, K., Ramanathan, V., Robicquet, A., Fei-Fei, L., Savarese, S., 2016. Social lstm: human trajectory prediction in crowded spaces. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 961e971.
Sak, H., Yang, G., Li, B., Li, W., 2016. Modeling Dependence Dynamics of Air Pollution: Pollution Risk Simulation and Prediction of PM 2.5 Levels. arXiv preprint arXiv:1602.05349.
Li, X., Peng, L., Hu, Y., Shao, J., Chi, T., 2016. Deep learning architecture for air quality predictions. Environ. Sci. Pollut. Res. 23, 22408e22417
歡迎小夥伴和老師大牛們多提寶貴意見
TAG:小姚GISer |