如何用 TensorFlow 實現基於 LSTM 的文本分類
AI 研習社按:本文作者陸池,原文載於作者個人博客,獲授權。
引言
學習一段時間的tensor flow之後,想找個項目試試手,然後想起了之前在看Theano教程中的一個文本分類的實例,這個星期就用tensorflow實現了一下,感覺和之前使用的theano還是有很大的區別,有必要總結mark一下。
模型說明
這個分類的模型其實也是很簡單,主要就是一個單層的LSTM模型,當然也可以實現多層的模型,多層的模型使用Tensorflow尤其簡單,下面是這個模型的圖
簡單解釋一下這個圖,每個word經過embedding之後,進入LSTM層,這裡LSTM是標準的LSTM,然後經過一個時間序列得到的t個隱藏LSTM神經單元的向量,這些向量經過mean pooling層之後,可以得到一個向量h,然後緊接著是一個簡單的邏輯斯蒂回歸層(或者一個softmax層)得到一個類別分布向量。
公式就不一一介紹了,因為這個實驗是使用了Tensorflow重現了Theano的實現,因此具體的公式可以參看LSTM Networks for Sentiment Analysis這個鏈接。
TensorFlow實現
鄙人接觸tensor flow的時間不長,也是在慢慢摸索,但是因為有之前使用Theano的經驗,對於符號化編程也不算陌生,因此上手Tensorflow倒也容易。但是感覺tensorflow還是和theano有著很多不一樣的地方,這裡也會提及一下。
代碼的模型的主要如下:
import tensorflow as tf
import numpy as np
class RNN_Model(object):
def __init__(self,config,is_training=True):
self.keep_prob=config.keep_prob
self.batch_size=tf.Variable(0,dtype=tf.int32,trainable=False)
num_step=config.num_step
self.input_data=tf.placeholder(tf.int32,[None,num_step])
self.target = tf.placeholder(tf.int64,[None])
self.mask_x = tf.placeholder(tf.float32,[num_step,None])
class_num=config.class_num
hidden_neural_size=config.hidden_neural_size
vocabulary_size=config.vocabulary_size
embed_dim=config.embed_dim
hidden_layer_num=config.hidden_layer_num
self.new_batch_size = tf.placeholder(tf.int32,shape=[],name="new_batch_size")
self._batch_size_update = tf.assign(self.batch_size,self.new_batch_size)
#build LSTM network
if self.keep_prob
lstm_cell = tf.nn.rnn_cell.DropoutWrapper(
lstm_cell,output_keep_prob=self.keep_prob
)
self._initial_state = cell.zero_state(self.batch_size,dtype=tf.float32)
#embedding layer
with tf.device("/cpu:0"),tf.name_scope("embedding_layer"):
embedding = tf.get_variable("embedding",[vocabulary_size,embed_dim],dtype=tf.float32)
if self.keep_prob
out_put=[]
state=self._initial_state
with tf.variable_scope("LSTM_layer"):
for time_step in range(num_step):
if time_step>0: tf.get_variable_scope().reuse_variables()
(cell_output,state)=cell(inputs[:,time_step,:],state)
out_put.append(cell_output)
out_put=out_put*self.mask_x[:,:,None]
with tf.name_scope("mean_pooling_layer"):
out_put=tf.reduce_sum(out_put,0)/(tf.reduce_sum(self.mask_x,0)[:,None])
with tf.name_scope("Softmax_layer_and_output"):
softmax_w = tf.get_variable("softmax_w",[hidden_neural_size,class_num],dtype=tf.float32)
softmax_b = tf.get_variable("softmax_b",[class_num],dtype=tf.float32)
self.logits = tf.matmul(out_put,softmax_w)+softmax_b
with tf.name_scope("loss"):
self.cost = tf.reduce_mean(self.loss)
with tf.name_scope("accuracy"):
self.prediction = tf.argmax(self.logits,1)
correct_prediction = tf.equal(self.prediction,self.target)
self.correct_num=tf.reduce_sum(tf.cast(correct_prediction,tf.float32))
self.accuracy = tf.reduce_mean(tf.cast(correct_prediction,tf.float32),name="accuracy")
#add summary
loss_summary = tf.scalar_summary("loss",self.cost)
#add summary
accuracy_summary=tf.scalar_summary("accuracy_summary",self.accuracy)
if not is_training:
return
self.globle_step = tf.Variable(0,name="globle_step",trainable=False)
self.lr = tf.Variable(0.0,trainable=False)
tvars = tf.trainable_variables()
grads, _ = tf.clip_by_global_norm(tf.gradients(self.cost, tvars),
config.max_grad_norm)
# Keep track of gradient values and sparsity (optional)
grad_summaries = []
for g, v in zip(grads, tvars):
if g is not None:
grad_hist_summary = tf.histogram_summary("{}/grad/hist".format(v.name), g)
sparsity_summary = tf.scalar_summary("{}/grad/sparsity".format(v.name), tf.nn.zero_fraction(g))
grad_summaries.append(grad_hist_summary)
grad_summaries.append(sparsity_summary)
self.grad_summaries_merged = tf.merge_summary(grad_summaries)
self.summary =tf.merge_summary([loss_summary,accuracy_summary,self.grad_summaries_merged])
optimizer = tf.train.GradientDescentOptimizer(self.lr)
optimizer.apply_gradients(zip(grads, tvars))
self.train_op=optimizer.apply_gradients(zip(grads, tvars))
self.new_lr = tf.placeholder(tf.float32,shape=[],name="new_learning_rate")
self._lr_update = tf.assign(self.lr,self.new_lr)
def assign_new_lr(self,session,lr_value):
session.run(self._lr_update,feed_dict=)
def assign_new_batch_size(self,session,batch_size_value):
session.run(self._batch_size_update,feed_dict=)
模型不複雜,也就不一一解釋了,在debug的時候,還是入了幾個tensorflow的坑,因此想單獨說一下這幾個坑。
坑1:tensor flow的LSTM實現
tensorflow是已經寫好了幾個LSTM的實現類,可以很方便的使用,而且也可以選擇多種類型的LSTM,包括Basic、Bi-Directional等等。
這個代碼用的是BasicLSTM:
#build LSTM network
if self.keep_prob
lstm_cell = tf.nn.rnn_cell.DropoutWrapper(
lstm_cell,output_keep_prob=self.keep_prob
)
self._initial_state = cell.zero_state(self.batch_size,dtype=tf.float32)
out_put=[]
state=self._initial_state
with tf.variable_scope("LSTM_layer"):
for time_step in range(num_step):
if time_step>0: tf.get_variable_scope().reuse_variables()
(cell_output,state)=cell(inputs[:,time_step,:],state)
out_put.append(cell_output)
坑2:這段代碼中的zero_state和循環代數num_step都需要制定
這裡比較蛋疼,這就意味著tensorflow中實現變長的情況是要padding的,而且需要全部一樣的長度,但是因為數據集的原因,不可能每個batch的size都是一樣的,這裡就需要每次運行前,動態制定batch_size的大小,代碼中體現這個的是assign_new_batch_size函數,但是對於num_step參數卻不能動態指定(可能是因為筆者沒找到,但是指定tf.Variable()方法確實不行),出於無奈只能將數據集全部padding成指定大小的size,當然既然使用了padding那就必須使用mask矩陣進行計算。
坑3:cost返回non
cost返回Non一般是因為在使用交叉熵時候,logits這一邊出現了0值,因此stack overflow上推薦的一般是:sparse_softmax_cross_entropy_with_logits(self.logits+1e-10,self.target) 這樣寫法。
訓練 and 結果
實驗背景:
tensor flow: tensor flow 1.1
platform:mac OS
數據集:subject dataset,數據集都經過了預處理,拿到的是其在詞表中的索引
得益於tensorboard各個參數訓練過程都可以可視化,下面是實驗訓練結果:
訓練集訓練結果:
驗證集訓練結果 :
損失函數訓練過程 :
各個參數訓練結果:
最終在測試集上,準確度約為85%,還不錯。
比較 tensorflow 和 thenao
tensor flow 和 theano 是最近比較流行的深度學習框架,兩者非常相似但是兩者又不一樣,下面就我個人體驗比較下兩者的異同。
1. 難易程度
就使用難度而言,tensorflow的便易性要遠勝於theano,畢竟theano是一堆學者研究出來的,而tensorflow是Google研究出來的,比較面向工業化。tensor flow直接集成了學術界的很多方法,比如像RNN、LSTM等都已經被tensorflow集成了,還有比如參數更新方法如梯度下降、Adadelta等也已經被tensorflow寫好了,但是對於theano這個就得自己寫,當然難易程度不一樣了。
2. 靈活性
就靈活性而言,theano是要勝過tensor flow的,正是因為上一點theano的門檻稍高,卻也使得theano有著更大的彈性,可以實現自己任意定義的網路結果,這裡不是說tensorflow不行,tensorflow也能寫,但是使用tensorflow久了之後,寫一些自定義的結構能力就會生疏許多,比如修改LSTM內的一些結構。而Theano則沒有這個約束。
3. 容錯性
我個人覺得theano的容錯性是比tensor flow要高的,theano定義變數,只需要制定類型,比如imatrix、ivertor之類的而不用制定任何的維度,只要你輸入的數據和你的網路結構圖能夠對的上的話,就沒問題,而tensorflow擇需要預先指定一些參數(如上面代碼的num_step參數),相比而言,theano的容錯能力多得多,當然這樣也有壞處,那就是可能對導致代碼調試起來比較費勁兒。
※什麼才算是真正的數據科學家?你算么?
※深度學習之父的神經網路第三課!
※看了這篇文章,了解深度卷積神經網路在目標檢測中的進展
※用金庸、古龍群俠名稱訓練 LSTM,會生成多麼奇葩的名字?
TAG:唯物 |
※用TensorFlow Estimator實現文本分類
※Adrian小哥教程:如何使用Tesseract和OpenCV執行OCR和文本識別
※Mozilla推出Pathfinder,為AR/VR重構圖像文本渲染,解決顆粒鋸齒效果
※Python用於NLP :處理文本和PDF文件
※BBEdit文本編輯軟體重回蘋果Mac App Store
※如何用Python和BERT做中文文本二元分類?
※Selenium python 實現點擊非select/option下的懸浮隱藏文本
※基於 Tensorflow eager 的文本生成,注意力,圖像注釋的完整代碼
※開發者將Google Lens AR文本翻譯應用於VR場景中
※AWS語音轉文本服務開始支持WebSockets
※Sefer Yetzirah 創造之書——文本
※PyTorch文本分類教程
※OpenAI提出Sparse Transformer,文本、圖像、聲音都能預測,序列長度提高30倍
※「python」colorama 模塊-改變控制台輸出文本的顏色
※文本分類又來了,用 Scikit-Learn 解決多類文本分類問題
※Google Fi 開始支持下一代富文本簡訊標準 RCS 了
※遞歸皮層網路RCN識別文本CAPTCHAS的Science論文基礎知識和譯文
※在 Linux 命令行使用 more 查看文本文件
※Google Photos現能辨認照片中文本,更可以搜索出來
※Chatito-使用簡單的DSL為AI聊天機器人、NLP任務、命名實體識別或文本分類模型生成數據集