機器學習——歸納偏好

若我們通過學習得到的模型對應了假設空間的一個假設。然而有時與訓練集一致的樣本在應用模型時可能會產生不同的輸出，此時無法判斷哪一個是對的。因此，對於一個具體的學習演算法而言，學習演算法本身的偏好會起到關鍵的作用。機器學習演算法在學習過程中對某種類型的假設的偏好，稱為歸納偏好（inductive bias），或簡稱為偏好。

歸納偏好可看作學習演算法自身在一個可能很龐大的假設空間中對假設進行選擇的價值觀，有時選取最簡單的那個假設是很有效的（奧卡姆剃刀）。（從統計上來看，如果假設了f的均勻分布，所有的學習演算法的期望性能和隨機胡猜差不多，然而實際情況並非這樣）

注意：奧卡姆剃刀不是萬能的，很有可能出現複雜模型的訓練集外樣本更一致的情況，這個現象對於任何演算法都是能夠出現的。

如果脫離具體問題，空泛地談論「什麼學習演算法更好」毫無意義。因為若考慮所有潛在的問題，那所有的學習演算法都一樣好，要談論演算法的相對優劣，必須要針對 具體的學習問題；在某些問題上表現好的學習演算法，在另一些問題上卻可能不好；學習演算法自身的歸納偏好與問題是否相配，在實際的任務中會起到決定性的作用。

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！