技術大牛講解 CS231n 課後作業——第一講

CS231n 是斯坦福大學開設的計算機視覺與深度學習的入門課程，授課內容在國內外頗受好評。但是只聽課不複習，不做作業來鞏固知識點的話，效果肯定不好。 AI 研習社在近期的線上公開課上請來了一位技術大牛為大家來講解這門課的配套作業。

本文根據 AI 研習社公開課上的直播視頻內容整理而成，主要介紹 Assignment 1 的完成思路與重點部分代碼實現。如果你還沒開始聽 CS231n，可直接點擊課程鏈接（http://www.mooc.ai/open/course/364）觀看回放視頻。

王煦中，CS 碩士，主要研究方向為自然語言處理與深度學習。知乎專欄喵神大人的深度工坊（http://t.cn/RTc9wfy）作者，日語及 ACGN 愛好者。

分享主題

CS231n 課後作業講解第一講（含代碼實現）作業鏈接：https://github.com/Observerspy/CS231n

分享提綱

CS231n 作業介紹，

kNN 的介紹

關於 SVM

關於 Softmax

關於 Two-Layer NN

關於 Features

以下是分享內容：

CS231n 的全稱是 CS231n: Convolutional Neural Networks for Visual Recognition，即面向視覺識別的卷積神經網路。該課程是斯坦福大學計算機視覺實驗室推出的入門課程，授課內容在國內外頗受好評。所有課程資料、PPT 等都可以在網路上下載：http://cs231n.stanford.edu/syllabus.html。課程的目的是幫助學生深入了解深度學習框架的細節，主要面向視覺識別任務（尤其是圖像分類任務）的端到端學習模型。

關於 kNN

kNN 主要分為兩步：第一步是訓練，分類器簡單地記住所有的訓練數據。

第二步是測試，比第一步要重要。每一個測試樣本要和每一個訓練數據分別計算距離，選取 k 個最近的訓練樣本的 label，通過投票機制獲得預測值。

投票機制就是大家在一起對所有的類投票，哪一個類的投票數最多，這個測試樣本就會被分為該類的下面。

下面使用單循環實現。單循環要求每個測試數據通過一次計算就可以得到和訓練數據整體的距離。訓練分為兩個部分，首先是每個測試數據和訓練數據做差，需要注意參數 axis 的設置，用了廣播機制。

使用無循環實現

具體的實現代碼，可以觀看回放視頻學習。

最後的一個部分是預測：np.argsort() 可以對 dist 進行排序選出 k 個最近的訓練樣本的下標；np.bincount() 會統計輸入數組出現的頻數，結合 np.argmax() 就可以實現 vote 機制。

該部分作業要求在測試樣本中需要得到 28% 的準確率。

關於線性多分類 SVM

推導 SVM 過程很複雜，這裡不涉及過多問題，用線性計算就可以了。注意下面這個式子匯總只有錯誤的分類才能產生 loss。即 j=i 正確分類是沒有 loss 的。

分別對 Wj 和 Wyi 求導，具體的實現代碼可以觀看視頻回播。這個作業要求在驗證集上得到大約 40% 的正確率。

關於 Softmax

Softmax 的公式如圖

需要注意的是，所有的分類問題都是一對一的，一個測試樣本只能分到一個類下面。

loss 具體代碼實現過程可觀看視頻回放。有了 loss 之後，在 j=i 和 j≠i 的情況下，分別對 w 求導：

這部分作業要求在驗證集上達到 35% 的準確率。

關於 Two-Layer NN，實現兩層的神經網路

具體詳解過程見視頻回放。實現反向傳播後，要求調一些參數在測試集上達到 48% 以上的準確率。

特徵

該部分不再直接輸入圖片，而是輸入圖片的特徵。

使用 SVM 需要在驗證集上達到 44% 的準確率，使用雙層神經網路可以很輕鬆達到 55% 以上的準確率，在測試機的分類準確率可達到 59.4%。

http://www.mooc.ai/open/course/364

作業鏈接

https://github.com/Observerspy/CS231n

NLP 工程師入門實踐班：基於深度學習的自然語言處理

三大模塊，五大應用，手把手快速入門 NLP

海外博士講師，豐富項目經驗

演算法 + 實踐，搭配典型行業應用

隨到隨學，專業社群，講師在線答疑

新人福利

關注 AI 研習社（okweiwu），回復1領取

【超過 1000G 神經網路 / AI / 大數據，教程，論文】

CS231n 2017 正式開課！雙語字幕版獨家上線！

喜歡這篇文章嗎？立刻分享出去讓更多人知道吧！