機器學習技法-lecture5：Kernel Logistic Regression

Kernel Logistic Regression

lecture4中我們主要將SVM的範圍推廣至更一般的soft-margin SVM，主要的思路就是在原有的嚴格的SVM上我們容許一定的margin violation的發生，本節課我們討論的內容是kernel logistic regression。

——課程回顧

01

Soft-Margin SVM as Regularized Model

首先，我們回顧下已經學習的兩個SVM，容易得到兩者的計算公式如上圖，可以知道兩個SVM的對偶方法的本質差別只是α的限制差距。實踐應用中，hard-margin SVM的應用場景是很小的，soft-margin則被廣泛應用。

接下來，我們重點分析一下鬆弛變數，我們知道它記錄的是犯錯誤的點對邊界的違反量，對於給定的w和b，一個點對於邊界的違反情況有兩種，一種情況是有違反，違反量大於0為1?yn(wTzn+b)，另一種情況為沒有違反，此時我們用0來記錄，於是我們可以將soft—margin SVM的公式簡化為上式，這樣的操作實際上幫助我們將ξ這個變數轉化為關於w和b的一個式子。

通過比較上面的公式和L2正則公式，可以發現兩者的本質是一樣的，為什麼一開始不使用正則方法來解答這個問題的原因是max函數內部的點存在不可導的情形，因此才採用了前面的推導方法。

然後我們總結下SVM和正則化的聯繫：1、首先，我們知道正則化過程是在優化Ein的時候加上一個對w長度的限制條件，hard-margin可以理解成形式相同的過程，只是限制條件加在Ein上；2、soft-margin SVM與L2正則方法對應，只是對應的error比較特殊而已；3、我們求解large margin的過程實現了更少的hyperplane，實際上相當於實現了一個L2正則過程；4、參數方面，越大的C對應著越弱的正則化。

02

SVM versus Logistic Regression

我們令s為「線性分數」，作出ys和error的圖像，我們在同一個圖像中作出0/1損失，soft SVM和logistic regression三者的圖像，容易發現soft SVM的error是0/1error的上界，且其與logistic regression的損失十分接近，這從某種程度上揭示了SVM和L2-regularized LR的聯繫。

然後我們可以總結三種解決binary classication的方法及相應的優缺點，我們可以知道正則化的logistic regression差不多等效於SVM，那麼我們的思考是SVM得出的結果拿來做logistic regression呢？

03

SVM for Soft Binary Classification

我們接下來思考的一個問題是如何將SVM和LR聯繫起來，上面是兩種很基本的思路，但是都有缺陷，主要是丟掉了某個方法的特性。

歷史的前輩們在探索之後的思路是這樣的，首先通過SVM得到SVM(xn)，然後對其進行相應的放縮（A,B),然後對整體進行logistic regression的方法最終得到相應的結果，相應方法的實現步驟如下：

通過整個流程，我們得到了kernel SVM在Z空間的LR的approximate，接下來我們的目的是找到Z-space中的LR的最優解。

04

Kernel Logistic Regression

首先我們思考一下我們使用kernel能work的原因，我們知道kernel的功能是將計算z空間的內積的動作轉化成計算x的函數，實際上，更進一步我們發現w能表示成某些點的線性組合才是我們完成整個過程的關鍵，即w能表示成某些點的線性組合才是kernel能work的原因，我們還發現SVM、PLA和LR都可以表示成某些點的線性組合。數學家通過研究發現：L2正則化方法的linear model對應的w可以表示成某些點的線性組合，下圖給出了相關證明，更進一步我們可以得出結論：L2 正則化的linear model是可以kernelized，於是Logistic Regression可以使用這個結論。

我們將w的公式代入L2 正則化的logistic regression中，加入kernel方法通過整理我們得到一個關於β的無條件的最優化問題， 這個問題是很容易求解的。

然後我們來分析一下隱藏在KLR背後的信息，一方面我們可以將其視為w的線性模型，使用的是藏在kernel裡面的轉化和L2的正則方法，另一方面我們可以將其視為β的線性模型，使用kernel作為轉化方法同時kernel也作為一個regularier。

本節課我們介紹了KLR，首先我們將soft-margin SVM和L2正則化方法聯繫起來，然後我們從損失函數角度聯繫兩者，接著我們嘗試實現了聯合兩者做出優化，最後藉助representer theorem在L2正則上的結論達到求解KLR的目的。

——課程回顧

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！