卡爾曼與卡爾曼濾波
魯道夫·卡爾曼（Rudolf Emil Kalman），匈牙利裔美國數學家，1930年出生於匈牙利首都布達佩斯。1953年於麻省理工學院獲得電機工程學士，翌年碩士學位。1957年於哥倫比亞大學獲得博士學位。1964年至1971年任職斯坦福大學。1971年至1992年任佛羅里達大學數學系統理論中心（Center for Mathematical System Theory）主任。1972起任瑞士蘇黎世聯邦理工學院數學系統理論中心主任直至退休。先後居住於蘇黎世和佛羅里達。2009年獲美國國家科學獎章。
斯坦利·施密特(Stanley Schmidt)首次實現了卡爾曼濾波器。卡爾曼在NASA埃姆斯研究中心訪問時，發現他的方法對於解決阿波羅計劃的軌道預測很有用，後來阿波羅飛船的導航電腦使用了這種濾波器。 關於這種濾波器的論文由Swerling (1958), Kalman (1960)與 Kalman and Bucy (1961)發表。
卡爾曼濾波的一個典型實例是從一組有限的，包含雜訊的，對物體位置的觀察序列（可能有偏差）預測出物體的位置的坐標及速度。在很多工程應用(如雷達、計算機視覺)中都可以找到它的身影。同時，卡爾曼濾波也是控制理論以及控制系統工程中的一個重要課題。當輸入為帶有高斯白雜訊的信號時，使期望輸出和實際輸出之間的均方根誤差達到最小的線性系統，這種濾波方法以它的發明者魯道夫.E.卡爾曼的名字命名為卡爾曼濾波。
卡爾曼提出了系統的能控性和能觀性，為現代控制理論的出現奠定了基礎。其後的發展表明,這兩個概念相互對偶，並且回答了被控系統能否進行控制與綜合等基本性問題,對於控制和狀態估計問題的研究,有著極其重要的意義。
系統能控性指的是控制作用對被控系統的狀態和輸出進行控制的可能性。
系統能觀性反映由能直接測量的輸入輸出的量測值來確定反映系統內部動態特性的狀態的可能性。
卡爾曼濾波（Kalman filtering）一種利用線性系統狀態方程，通過系統輸入輸出觀測數據，對系統狀態進行最優估計的演算法。由於觀測數據中包括系統中的雜訊和干擾的影響，所以最優估計也可看作是濾波過程。
數據濾波是去除雜訊還原真實數據的一種數據處理技術, Kalman濾波在測量方差已知的情況下能夠從一系列存在測量雜訊的數據中，估計動態系統的狀態.由於, 它便於計算機編程實現, 並能夠對現場採集的數據進行實時的更新和處理, Kalman濾波是目前應用最為廣泛的濾波方法, 在通信, 導航, 制導與控制等多領域得到了較好的應用。
傳統的濾波方法，只能是在有用信號與雜訊具有不同頻帶的條件下才能實現．20世紀40年代，N．維納和A．H．柯爾莫哥羅夫把信號和雜訊的統計性質引進了濾波理論，在假設信號和雜訊都是平穩過程的條件下，利用最優化方法對信號真值進行估計，達到濾波目的，從而在概念上與傳統的濾波方法聯繫起來，被稱為維納濾波。這種方法要求信號和雜訊都必須是以平穩過程為條件。60年代初，卡爾曼(R．E．Kalman)和布塞(R． S．Bucy)發表了一篇重要的論文《線性濾波和預測 理論的新成果》，提出了一種新的線性濾波和預測理由論，被稱之為卡爾曼濾波。特點是在線性狀態空間表示的基礎上對有雜訊的輸入和觀測信號進行處理，求取系統狀態或真實信號。
這種理論是在時間域上來表述的，基本的概念是：在線性系統的狀態空間表示基礎上，從輸出和輸入觀測數據求系統狀態的最優估計。這裡所說的系統狀態，是總結系統所有過去的輸入和擾動對系統的作用的最小參數的集合，知道了系統的狀態就能夠與未來的輸入與系統的擾動一起確定系統的整個行為。
卡爾曼濾波不要求信號和雜訊都是平穩過程的假設條件。對於每個時刻的系統擾動和觀測誤差（即雜訊），只要對它們的統計性質作某些適當的假定，通過對含有雜訊的觀測信號進行處理，就能在平均的意義上，求得誤差為最小的真實信號的估計值。因此，自從卡爾曼濾波理論問世以來，在通信系統、電力系統、航空航天、環境污染控制、工業控制、雷達信號處理等許多部門都得到了應用，取得了許多成功應用的成果。例如在圖像處理方面，應用卡爾曼濾波對由於某些雜訊影響而造成模糊的圖像進行復原。在對雜訊作了某些統計性質的假定後，就可以用卡爾曼的演算法以遞推的方式從模糊圖像中得到均方差最小的真實圖像，使模糊的圖像得到復原。
性質
卡爾曼濾波是一個演算法，它適用於線性、離散和有限維繫統。每一個有外部變數的自回歸移動平均系統(ARMAX)或可用有理傳遞函數表示的系統都可以轉換成用狀態空間表示的系統，從而能用卡爾曼濾波進行計算。
任何一組觀測數據都無助於消除x(t)的確定性。增益K(t)也同樣地與觀測數據無關。
當觀測數據和狀態聯合服從高斯分布時用卡爾曼遞歸公式計算得到的是高斯隨機變數的條件均值和條件方差，從而卡爾曼濾波公式給出了計算狀態的條件概率密度的更新過程線性最小方差估計，也就是最小方差估計。
形式
卡爾曼濾波已經有很多不同的實現，卡爾曼最初提出的形式一般稱為簡單卡爾曼濾波器。除此以外，還有施密特擴展濾波器、信息濾波器以及很多Bierman, Thornton 開發的平方根濾波器的變種。最常見的卡爾曼濾波器是鎖相環，它在收音機、計算機和幾乎任何視頻或通訊設備中廣泛存在。
實例
卡爾曼濾波的一個典型實例是從一組有限的，對物體位置的，包含雜訊的觀察序列中預測出物體的坐標位置及速度。在很多工程應用(雷達、計算機視覺)中都可以找到它的身影。同時，卡爾曼濾波也是控制理論以及控制系統工程中的一個重要話題。
應用
比如，在雷達中，人們感興趣的是跟蹤目標，但目標的位置、速度、加速度的測量值往往在任何時候都有雜訊。卡爾曼濾波利用目標的動態信息,設法去掉雜訊的影響，得到一個關於目標位置的好的估計。這個估計可以是對當前目標位置的估計(濾波)，也可以是對於將來位置的估計(預測)，也可以是對過去位置的估計(插值或平滑)。
擴展卡爾曼濾波（EXTEND KALMAN FILTER, EKF）
擴展卡爾曼濾波器
是由kalman filter考慮時間非線性的動態系統，常應用於目標跟蹤系統。
狀態估計
狀態估計是卡爾曼濾波的重要組成部分。一般來說，根據觀測數據對隨機量進行定量推斷就是估計問題，特別是對動態行為的狀態估計，它能實現實時運行狀態的估計和預測功能。比如對飛行器狀態估計。狀態估計對於了解和控制一個系統具有重要意義，所應用的方法屬於統計學中的估計理論。最常用的是最小二乘估計，線性最小方差估計、最小方差估計、遞推最小二乘估計等。其他如風險準則的貝葉斯估計、最大似然估計、隨機逼近等方法也都有應用。
狀態量
受雜訊干擾的狀態量是個隨機量，不可能測得精確值，但可對它進行一系列觀測，並依據一組觀測值，按某種統計觀點對它進行估計。使估計值儘可能準確地接近真實值，這就是最優估計。真實值與估計值之差稱為估計誤差。若估計值的數學期望與真實值相等，這種估計稱為無偏估計。卡爾曼提出的遞推最優估計理論，採用狀態空間描述法，在演算法採用遞推形式，卡爾曼濾波能處理多維和非平穩的隨機過程。
理論
卡爾曼濾波理論的提出，克服了威納濾波理論的局限性使其在工程上得到了廣泛的應用，尤其在控制、制導、導航、通訊等現代工程方面。
概念
最佳線性濾波理論起源於40年代美國科學家Wiener和前蘇聯
卡爾曼濾波的結果
科學家Kолмогоров等人的研究工作，後人統稱為維納濾波理論。從理論上說，維納濾波的最大缺點是必須用到無限過去的數據，不適用於實時處理。為了克服這一缺點，60年代Kalman把狀態空間模型引入濾波理論，並導出了一套遞推估計演算法，後人稱之為卡爾曼濾波理論。卡爾曼濾波是以最小均方誤差為估計的最佳準則，來尋求一套遞推估計的演算法，其基本思想是：採用信號與雜訊的狀態空間模型，利用前一時刻的估計值和現時刻的觀測值來更新對狀態變數的估計，求出現時刻的估計值。它適合於實時處理和計算機運算。
卡爾曼濾波的實質是由量測值重構系統的狀態向量。它以「預測—實測—修正」的順序遞推，根據系統的量測值來消除隨機干擾，再現系統的狀態，或根據系統的量測值從被污染的系統中恢復系統的本來面目。
通俗解釋
簡單來說，卡爾曼濾波器是一個「optimal recursive data processing algorithm（最優化自回歸數據處理演算法）」。對於解決很大部分的問題，他是最優，效率最高甚至是最有用的。他的廣泛應用已經超過30年，包括機器人導航，控制，感測器數據融合甚至在軍事方面的雷達系統以及導彈追蹤等等。近來更被應用於計算機圖像處理，例如頭臉識別，圖像分割，圖像邊緣檢測等等。
卡爾曼濾波器的介紹 ：
為了可以更加容易的理解卡爾曼濾波器，這裡會應用形象的描述方法來講解，而不是像大多數參考書那樣羅列一大堆的數學公式和數學符號。但是，他的5條公式是其核心內容。結合現代的計算機，其實卡爾曼的程序相當的簡單，只要你理解了他的那5條公式。
在介紹他的5條公式之前，先讓我們來根據下面的例子一步一步的探索。
假設我們要研究的對象是一個房間的溫度。根據你的經驗判斷，這個房間的溫度是恆定的，也就是下一分鐘的溫度等於現在這一分鐘的溫度（假設我們用一分鐘來做時間單位）。假設你對你的經驗不是100%的相信，可能會有上下偏差幾度。我們把這些偏差看成是高斯白雜訊（White Gaussian Noise），也就是這些偏差跟前後時間是沒有關係的而且符合高斯分布（Gaussian Distribution）。另外，我們在房間里放一個溫度計，但是這個溫度計也不準確的，測量值會比實際值偏差。我們也把這些偏差看成是高斯白雜訊。
好了，現在對於某一分鐘我們有兩個有關於該房間的溫度值：你根據經驗的預測值（系統的預測值）和溫度計的值（測量值）。下面我們要用這兩個值結合他們各自的雜訊來估算出房間的實際溫度值。
假如我們要估算k時刻的實際溫度值。首先你要根據k-1時刻的溫度值，來預測k時刻的溫度。因為你相信溫度是恆定的，所以你會得到k時刻的溫度預測值是跟k-1時刻一樣的，假設是23度，同時該值的高斯雜訊的偏差是5度（5是這樣得到的：如果k-1時刻估算出的最優溫度值的偏差是3，你對自己預測的不確定度是4度，他們平方相加再開方，就是5）。然後，你從溫度計那裡得到了k時刻的溫度值，假設是25度，同時該值的偏差是4度。
由於我們用於估算k時刻的實際溫度有兩個溫度值，分別是23度和25度。究竟實際溫度是多少呢？相信自己還是相信溫度計呢？究竟相信誰多一點，我們可以用他們的協方差(covariance)來判斷。因為Kg=5^2/(5^2+4^2)，所以Kg=0.61，我們可以估算出k時刻的實際溫度值是：23+0.61*(25-23)=24.22度。可以看出，因為溫度計的協方差(covariance)比較小（比較相信溫度計），所以估算出的最優溫度值偏向溫度計的值。
現在我們已經得到k時刻的最優溫度值了，下一步就是要進入k+1時刻，進行新的最優估算。到現在為止，好像還沒看到什麼自回歸的東西出現。對了，在進入k+1時刻之前，我們還要算出k時刻那個最優值（24.22度）的偏差。演算法如下：((1-Kg)*5^2)^0.5=3.12。這裡的5就是上面的k時刻你預測的那個23度溫度值的偏差，得出的3.12就是進入k+1時刻以後k時刻估算出的最優溫度值的偏差（對應於上面的3）。
就是這樣，卡爾曼濾波器就不斷的把(協方差(covariance)遞歸，從而估算出最優的溫度值。他運行的很快，而且它只保留了上一時刻的協方差(covariance)。上面的Kg，就是卡爾曼增益（Kalman Gain）。他可以隨不同的時刻而改變他自己的值，是不是很神奇！
下面就要言歸正傳，討論真正工程系統上的卡爾曼。
卡爾曼濾波器演算法 ：
在這一部分，我們就來描述源於Dr Kalman 的卡爾曼濾波器。下面的描述，會涉及一些基本的概念知識，包括概率（Probability），隨機變數（Random Variable），高斯或正態分配（Gaussian Distribution）還有State-space Model等等。但對於卡爾曼濾波器的詳細證明，這裡不能一一描述。
首先，我們先要引入一個離散控制過程的系統。該系統可用一個線性隨機微分方程（Linear Stochastic Difference equation）來描述：
X(k)=A X(k-1)+B U(k)+W(k)
再加上系統的測量值：
Z(k)=H X(k)+V(k)
上兩式子中，X(k)是k時刻的系統狀態，U(k)是k時刻對系統的控制量。A和B是系統參數，對於多模型系統，他們為矩陣。Z(k)是k時刻的測量值，H是測量系統的參數，對於多測量系統，H為矩陣。W(k)和V(k)分別表示過程和測量的雜訊。他們被假設成高斯白雜訊(White Gaussian Noise)，他們的協方差(covariance)分別是Q，R（這裡我們假設他們不隨系統狀態變化而變化）。
對於滿足上面的條件(線性隨機微分系統，過程和測量都是高斯白雜訊)，卡爾曼濾波器是最優的信息處理器。
精選精華文章（精華） | 《私募相關法規》系列（fg） | 金融模型·量化投資系列（lhtz） | 演算法理論&代碼（sfdm） | SVM系列(svm) | 用R語言做數據分析(r) | 金融時間序列連載(jrsjxl) | 機器學習系列連載(jqxx) | 人工智慧系列（AI）| 傅立葉分析系列連載(fly) | 《宏觀經濟研究》系列（hgyj） | 《微觀經濟學》系列（wgjj） | 《大數據與金融業》資訊系列（dsj） | 國家戰略權威評論（zlpl） | 世紀大救市觀察系列（sjdjs） | 賭博與投資系列（dbytz） | 投資時鐘系列（tzsz） | 期貨講堂（qhjt） | 套利系列（套利系列） | 各交易所程序化交易細則徵求意見稿（cxhjyxz） | 索羅斯公開課系列（sls） | 量化投資付費問答（自動問答；自動提問；付費提問） | FOF/MOM系列（FOF） | 國家隊的前世今生（國家隊）| 美國金融工程專業申請指南（美國金融工程專業申請）
TAG:私募工場 |