SVR回歸分析簡明教程

最新 02-06

關於使用SVM進行回歸分析的介紹很少，在這裡，我們討論一下SVR的理論知識，並對該方法有一個簡明的理解。

SVR簡單介紹

SVR全稱是support vector regression，是SVM（支持向量機support vector machine）對回歸問題的一種運用。所以在介紹SVR之前，我們先簡單的來了解一下什麼是SVM。

SVM

SVM與logistic分類器類似，也是一種二類分類模型，其基本模型定義為特徵空間上的間隔最大的線性分類器，其學習策略便是間隔最大化，最終可轉化為一個凸二次規劃問題的求解。

對於下面一個數據集，有兩類分別使用×和來表示。那麼我們想要找到一條曲線來區分這兩類。可想而知，這樣的曲線存在無數條，如何找到那一條最優的曲線呢？那就是要找到間隔（Gap）最大的那一條曲線，然後我們就可以根據這條曲線來分類了。而這條曲線，我們稱為超平面。圖中加粗的×與，我們則稱這些向量為支持向量。

而實際上，我們很少會遇到上面的情況，能直接使用一條直線將數據分類，更多的時候，數據無法通過直線來分類。比如下面這種情況：

當然了，這都不是事，既然在二維上該數據無法使用線性分類，那我們就將數據映射到更高維上，在高維上構造超平面，從而完成分類。

這就是為什麼將上面的直線稱為超平面。

所以對於非線性的模型，我們需要：

看似很簡單，但是我們在映射時，就會發現當變數增多時，映射到高維空間的維度是呈指數增長的，計算起來十分困難，這時候就需要核函數（kernel function）了。核函數也是將特徵從低維到高維進行轉換，但是它是先在低維上進行計算，實際的分類效果表現在高維上。這樣，我們就避免了在高維上複雜的計算，仍得到相同的結果。

一些常用的核函數：

好了，SVM就簡單介紹到這裡。更多理論的推導或者其他更深的理論，請自行查閱！

接下來，我們來看看SVR又是怎麼回事。

我們知道，最簡單的線性回歸模型是要找出一條曲線使得殘差最小。同樣的，SVR也是要找出一個超平面，使得所有數據到這個超平面的距離最小。

前面說了，SVR是SVM的一種運用，基本的思路是一致，除了一些細微的區別。使用SVR作回歸分析，與SVM一樣，我們需要找到一個超平面，不同的是：在SVM中我們要找出一個間隔（gap）最大的超平面，而在SVR，我們定義一個ε，如上圖所示，定義虛線內區域的數據點的殘差為0，而虛線區域外的數據點（支持向量）到虛線的邊界的距離為殘差（ζ）。與線性模型類似，我們希望這些殘差（ζ）最小。所以大致上來說，SVR就是要找出一個最佳的條狀區域（2ε寬度），再對區域外的點進行回歸。