Tensorflow實戰講解神經網路搭建詳細過程

編輯 | 磐石

出品 | 磐創AI技術團隊

MNIST手寫數字數據集來源於是美國國家標準與技術研究所，是著名的公開數據集之一，通常這個數據集都會被作為深度學習的入門案例。數據集中的數字圖片是由250個不同職業的人純手寫繪製，數據集獲取的網址為：http://yann.lecun.com/exdb/mnist/。（下載後需解壓）

具體來看，MNIST手寫數字數據集包含有60000張圖片作為訓練集數據，10000張圖片作為測試集數據，且每一個訓練元素都是28*28像素的手寫數字圖片，每一張圖片代表的是從到9中的每個數字。該數據集樣例如下圖所示：

如果我們把每一張圖片中的像素轉換為向量，則得到長度為28*28=784的向量。因此我們可以把MNIST數據訓練集看作是一個[60000,784]的張量，第一個維度表示圖片的索引，第二個維度表示每張圖片中的像素點。而圖片里的每個像素點的值介於0-1之間。如下圖所示：

此外，MNIST數據集的類標是介於0-9的數字，共10個類別。通常我們要用獨熱編碼（One_Hot Encoding）的形式表示這些類標。所謂的獨熱編碼，直觀的講就是用N個維度來對N個類別進行編碼，並且對於每個類別，只有一個維度有效，記作數字1 ；其它維度均記作數字0。例如類標1表示為：([0,1,0,0,0,0,0,0,0,0])；同理標籤2表示為：([0,0,1,0,0,0,0,0,0,0])。最後我們通過softmax函數輸出的是每張圖片屬於10個類別的概率。

接下來通過Tensorflow代碼，實現MINIST手寫數字識別的過程。首先，如程序1所示，我們導入程序所需要的庫函數、數據集：

程序1:

import tensorflow as tf

接下來，我們讀取MNIST數據集，並指定用one_hot的編碼方式；然後定義batch_size、batch_num兩個變數，分別代表一次性傳入神經網路進行訓練的批次大小，以及計算出訓練的次數。如程序2所示：

程序2：

mnist_data=input_data.read_data_sets("MNIST.data",one_hot=True)

batch_size=100

batch_num=mnist_data.train.num_examples//batch_size

我們需要注意的是：在執行第一句命令時，就會從默認的地方下載MNIST數據集，下載下來的數據集會以壓縮包的形式存到指定目錄，如下圖所示。這些數據分別代表了訓練集、訓練集標籤、測試集、測試集標籤。

接著我們定義兩個placeholder，程序如下所示：

程序3：

x = tf.placeholder(tf.float32,[None,784])

y = tf.placeholder(tf.float32,[None,10])

其中，x代表訓練數據，y代表標籤。具體來看，我們會把訓練集中的圖片以batch_size批次大小，分批傳入到第一個參數中（默認為None）；X的第二個參數代表把圖片轉換為長度為784的向量；Y的第二個參數表示10個不同的類標。

接下來我們就可以開始構建一個簡單的神經網路了，首先定義各層的權重w和偏執b。如程序4所示：

程序4：

weights = {

"hidden_1": tf.Variable(tf.random_normal([784, 256])),

"out": tf.Variable(tf.random_normal([256, 10]))

}

biases = {

"b1": tf.Variable(tf.random_normal([256])),

"out": tf.Variable(tf.random_normal([10]))

}

因為我們準備搭建一個含有一個隱藏層結構的神經網路（當然也可以搭建兩個或是多個隱層的神經網路），所以先要設置其每層的w和b。如上程序所示，該隱藏層含有256個神經元。接著我們就可以開始搭建每一層神經網路了：

程序5：

def neural_network(x):

hidden_layer_1 = tf.add(tf.matmul(x, weights["hidden_1"]), biases["b1"])

out_layer = tf.matmul(hidden_layer_1, weights["out"]) + biases["out"]

return out_layer

如程序5所示，我們定義了一個含有一個隱藏層神經網路的函數neural_network，函數的返回值是輸出層的輸出結果。

接下來我們定義損失函數、優化器以及計算準確率的方法。

程序6：

#調用神經網路

result = neural_network(x)

#預測類別

#平方差損失函數

loss = tf.reduce_mean(tf.square(y-prediction))

#梯度下降法

train_step = tf.train.GradientDescentOptimizer(0.2).minimize(loss)

#預測類標

correct_pred = tf.equal(tf.argmax(y,1),tf.argmax(prediction,1))

#計算準確率

accuracy = tf.reduce_mean(tf.cast(correct_pred,tf.float32))

#初始化變數

init = tf.global_variables_initializer()

如程序6所示：首先使用softmax函數對結果進行預測，然後選擇平方差損失函數計算出loss，再使用梯度下降法的優化方法對loss進行最小化（梯度下降法的學習率設置為0.2）。接著使用argmax函數返回最大的值所在的位置，再使用equal函數與正確的類標進行比較，返回一個bool值，代表預測正確或錯誤的類標；最後使用cast函數把bool類型的預測結果轉換為float類型（True轉換為1，False轉換為），並對所有預測結果統計求平均值，算出最後的準確率。要注意：最後一定不要忘了對程序中的所有變數進行初始化。

最後一步，我們啟動Tensorflow默認會話，執行上述過程。代碼如下所示：

程序7：

step_num=400

with tf.Session() as sess:

sess.run(init)

for step in range(step_num+1):

for batch in range(batch_num):

sess.run(train_step,feed_dict=)

acc = sess.run(accuracy,feed_dict=)

print("Step " + str(step) + ",Training Accuracy "+ "{:.3f}" + str(acc))

print("Finished!")

上述程序定義了MNIST數據集的運行階段，首先我們定義迭代的周期數，往往開始的時候準確率會隨著迭代次數快速提高，但漸漸地隨著迭代次數的增加，準確率提升的幅度會越來越小。而對於每一輪的迭代過程，我們用不同批次的圖片進行訓練，每次訓練100張圖片，每次訓練的圖片數據和對應的標籤分別保存在batch_x、batch_y中，接著再用run方法執行這個迭代過程，並使用feed_dict的字典結構填充每次的訓練數據。循環往複上述過程，直到最後一輪的訓練結束。

最後我們利用測試集的數據檢驗訓練的準確率，feed_dict填充的數據分別是測試集的圖片數據和測試集圖片對應的標籤。輸出結果迭代次數和準確率，完成訓練過程。我們截取400次的訓練結果，如下圖所示：

以上我們便完成了MNIST手寫數字識別模型的訓練，接下來可以從以下幾方面對模型進行改良和優化，以提高模型的準確率。

首先，在計算損失函數時，可以選擇交叉熵損失函數來代替平方差損失函數，通常在Tensorflow深度學習中，softmax_cross_entropy_with_logits函數會和softmax函數搭配使用，是因為交叉熵在面對多分類問題時，迭代過程中權值和偏置值的調整更加合理，模型收斂的速度更加快，訓練的的效果也更加好。代碼如下所示：

程序8：