文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.190248
中文引用格式： 殷曉雨，阿力木江·艾沙，庫爾班·吾布力. 基于卷積遞歸模型的文本分類研究[J].電子技術應用，2019，45(10)：29-32，36.
英文引用格式： Yin Xiaoyu，Alimjan Aysa，Kurban Ubul. Research of text classification based on convolution recursive model[J]. Application of Electronic Technique，2019，45(10)：29-32，36.
0 引言
隨著人類一直以來在互聯網上產生的非結構化文本數據量的不斷增長，迫切需要更加智能地處理這些龐大的數據并從中提取不同類型的知識。自然語言處理(Natural Language Processing，NLP)是計算機科學領域的一個廣泛的研究領域，它關注計算機與人類語言之間的交互過程。文本分類在許多NLP應用程序中起著重要作用，例如垃圾郵件過濾、電子郵件分類、信息檢索、Web搜索以及排名和文檔分類[1-2]，在這些功能中都需要將預定義類別分配給序列文本。文本分類關注的核心問題是文本中詞語的表示以及分類模型的選擇。相比較傳統的文本分類方法，深度學習文本分類框架不需要人為地獲取特征，并且具有更好的分類準確率以及更高的效率，因而在自然語言處理領域獲得越來越廣泛的應用。
卷積神經網絡(Convolutional Neural Networks，CNN)最初在計算機視覺領域取得了非常成功的結果。CNN將特征提取和分類視為一個聯合任務。通過堆疊多個卷積和池化層來改進這一過程，并且充分利用其多層感知器的結構，具備了學習高維、復雜和非線性映射關系的能力，在語音識別以及圖像領域都取得了很好的成果。KIM Y[3]等人提出將文本中經過預處理的詞向量組合為二維的詞向量矩陣，作為卷積神經網絡的輸入，通過卷積池化等操作來提取文本局部特征，從而實現句子級別的文本分類。雖然卷積神經網絡模型為文本分類研究打開了新的研究方向并且取得了顯著的成果，但是卷積神經網絡過于關注局部特征而忽略詞序以及語法結構，也對其分類準確率造成了一定的影響。所以本文中引用卷積神經網絡(Recurrent Neural Networks，RNN)[4]來解決單獨卷積神經網絡忽略全局特征的問題。
本文所提出的架構受到最近RNN在NLP應用中的成功以及RNN即使只有一個單層也可以捕獲長期依賴性這一事實的啟發[5]。NLP的大多數深度學習架構需要堆疊許多層來捕獲由于卷積和池化層的局部性而導致的長期依賴性[6]。因而本文研究了長短時記憶網絡(LSTM)作為卷積神經網絡語言模型中池化層的替代方法，以執行短文本的情感分析。本文將提出一種聯合CNN和RNN的架構，它將CNN提取的局部特征作為RNN的輸入，用于短文本的情感分析。本文的主要貢獻：利用LSTM替代卷積神經網絡結構中的池化層，通過卷積結構提取的局部特征和LSTM模型獲得長期依賴關系，以較少的參數并實現有競爭力的結果[7]，并在反復試驗后實現對這一模型參數的優化。
1 模型結構
1.1 卷積神經網絡
卷積網絡是一種包含卷積計算且具有深度結構的前饋神經網絡，是深度學習的代表算法之一[8]，通常包含輸入層、卷積層、池化層、全連接層以及輸出層等。本文利用卷積神經網絡模型提取文本的局部特征，通過反向傳播算法進行參數優化[9]。由KIM Y提出的CNN短文本分類模型如圖1所示。
(1)輸入層。輸入層是由句子中詞語的詞向量組成的詞向量矩陣。本文為了實現文本單詞特征的提取盡可能地保留其所在語句中的含義，因而將每條文本中所有的詞向量縱向堆疊得到二維的文本向量矩陣[10]。主要是利用Word2vec將詞W(i)轉換為詞向量V(W(i))，并且將詞W(i)組成的句子映射成為句子矩陣Sj，假設詞向量的維度為n，這個句包含詞的數量為k，因此該文本中包含k個子矩陣的大小就是n×k。
(2)卷積層。卷積層通過一組不同大小的卷積核(Fliter)r×k對句子矩陣Sj進行卷積運算操作，提取的局部特征：
其中，F代表r×k大小的的卷積核，b表示偏置量，f表示非線性激活函數，ci表示通過卷積操作得到的局部特征。隨著卷積核以步長為1從上向下掃描完整個詞向量矩陣后，最終會得到局部特征向量集合C：
其中，h是卷積層參數，對應卷積步長。
(3)池化層。池化層主要負責對卷積層的輸出進行保留壓縮，進一步減少參數數量并提取主要特征，它通常包括平均池化和最大池化，本文選取最大池化操作，通過調整k-max池化窗口參數來提取特征矩陣中最具有價值的重要信息。
(4)輸出層。將池化層的所有輸出特征在全連接層組合輸出為向量U，之后通過softmax分類器計算文本在各個類別下的概率，最終模型利用實際的分類標簽，通過反向傳播算法進行模型參數的優化[11]。
其中，y代表目標輸出的實際分類。
1.2 長短時記憶網絡
為了在文本中獲得較長的序列信息，僅僅依賴于卷積神經網絡是難以實現的，因此自然語言處理中更常用到循環神經網絡。它利用定向循環操作將前一刻的隱層狀態參與下一時刻隱層狀態的計算，從而解決了輸入間的前后關聯問題[12]。
長短期記憶網絡(Long Short_Term Memory Network，LSTM)[13]是一種特殊的RNN，其核心是利用記憶細胞記住長期的歷史信息和門機制進行管理，從而更新每一層的隱狀態。LSTM遞歸神經網絡的隱藏層向前公式可表示為：
1.3 融合模型
文本分類特征融合模型由卷積神經網絡和循環神經網絡組成。第一層是嵌入層，將輸入文本轉換為可供處理的詞向量矩陣，矩陣的列數就是詞向量的維度，行數就是單詞序列的長度。
對其進行卷積操作，通過文獻[15]中對基礎卷積神經網絡的研究，本文經過分析測試后認為，當詞向量取100維，且卷積核分別設置為3×100、4×100、5×100時，卷積神經網絡會取得比較好的分類效果。在得到卷積運算所產生特征向量矩陣之后，將其作為輸入直接進入長短時記憶網絡以捕獲文本的長期依賴關系，提取文本中的全局性特征。卷積循環網絡模型圖如圖2所示。
將融合后的特征保存在output中，再連接第二個全連接層，其中θ代表函數的輸入向量，在第二個全連接層之后使用dropout機制，舍棄每次訓練中得到的部分參數，且dropout參數設置為0.5，防止過擬合，將最后將得到的結果輸入到softmax函數中得到x被分類成j類的概率計算公式為：
2 實驗與分析
2.1 實驗環境
實驗環境參數配置如表1所示。
2.2 實驗數據
本文的數據集為斯坦福大學的大型標準互聯網電影資料庫IMDB，是英文情感分析的標準試驗數據，其任務是判斷電影評論是正面還是負面的。IMDB數據集有5萬條來自網絡電影數據庫的評論，其中2.5萬用來訓練，2.5萬用來測試，每個部分正負評論各占50%。使用15%已經標注過的文檔作為驗證數據。
IMDB數據集是Keras內部集成的，初次使用需下載導入，之后便可以直接使用，并且該數據集已經經過預處理，所有的影評文本已經被轉換為整數序列。在輸入神經網絡前首先要將整數列表轉換為詞向量，將文本轉化為低維、稠密的詞向量矩陣。目前有很多詞向量訓練工具，最具代表性的是斯坦福大學的Glove以及Google發布的Word2Vec等。
2.3 實驗參數
通過使用隨機最速下降法SGD訓練網絡以及反向傳播算法來計算梯度。本文通過添加一個循環層模型作為池化層的替代，有效地減少所需的卷積層數并捕獲長期依賴關系。因此，本文考慮將卷積和循環層合并為一個單獨的模型。本架構目標是減少網絡中的多個卷積和池化層堆疊數量并進一步減少局部詳細信息的丟失。從而，在提出的模型中，卷積核的大小設置為3×256、4×256、5×256，使用ReLU作為激活函數。對于循環層LSTM，本文將其隱藏層的參數設置為128，訓練迭代數量為50。表2中顯示了所提出的架構的所選參數值。
2.4 實驗結果及分析
為了驗證本文所提出的CNN與LSTM融合模型的分類性能，分別將本文中的模型與單獨CNN模型、LSTM模型、傳統分類模型以及其他文本分類模型做了比較試驗。
圖3～圖5分別給出了3層CNN模型、單LSTM模型以及融合模型的準確率。單獨模型與融合模型準確率對比如表3所示。從表3中可知，本文所提出的融合模型在準確率方面要優于單獨的卷積神經網絡模型以及LSTM模型。通過卷積神經網絡提取局部特征之后，直接將文本的局部特征作為長短時記憶網絡的輸入，可以取得比單獨模型更高的分類準確率。
本文不僅與單獨文本分類模型進行對比，還與傳統的機器學習算法SVM以及其他模型進行比較。通過表4可以看出，文獻[15]提出的基于風險最小化的分類決策樹雖然在原有的基礎上有了較大進步，但本文所提出的融合模型在分類準確率上顯然效果更好。
在用LSTM進行分類時，由于需要將全部的文本特征信息編碼到隱藏層中，顯然這種長距離特征依賴對于長文本的效果更為明顯，在加入了注意力機制之后顯然對LSTM的準確率有較為顯著的影響，但本文所提出的的融合模型通過卷積計算提取局部特征和LSTM兼顧文本序列以及語法結構的長距離特征在分類效果上表現要更好，本文所提出的文本特征融合模型的確可以有效提高文本分類的準確率。
3 結論
本文提出了一種利用LSTM替代卷積神經網絡模型中池化層的特征融合模型用于文本分類研究。該模型既可以利用卷積結構提取文本的局部特征，又可以利用LSTM保留文本的全局特征，減少局部特征在多層卷積池化結構中的的特征損失問題。在實驗階段，本文將所提出的文本分類融合模型與單模型、傳統文本分類模型以及其他深度學習模型進行對比實驗，本文所提出的融合模型有效提升了文本分類的準確率。然而本文所提出的融合模型并沒有采用復雜的網絡結構，在接下來的研究中將針對結構更加復雜的卷積神經網絡與LSTM的融合模型來開展。
參考文獻
[1] Li Juntao，Cao Yimin，Wang Yadi，et al.Online learning algorithms for double-weighted least squares twin bounded support vector machines[J].Neural Processing Letters，2017，45(1)：319-339.
[2] KALCHBRENNER N，GREFENSTETTE E，BLUNSOM P A.Convolutional neural network for modelling sentences[J].Information Sciences，2016(1)：217-253.
[3] KIM Y.Convolutional neural networks for sentence classification[C].Proceedings of the EMNLP，2014.
[4] 李云紅，梁思程，任劼，等.基于循環神經網絡變體和卷積神經網絡的文本分類方法[J].西北大學學報(自然科學版)，2019(4)：1337-5003.
[5] GRAVES A.Supervised sequence labelling with recurrent neural networks[M].Berlin Heidelberg：Springer，2012.
[6] ANDRIY M，GEOFFREY H.A scalable hierarchical distributed language model[C].The Conference on Neural Information Processing Systems(NIPS)，2008：1081-1088.
[7] 蘇豐龍，謝慶華.基于深度學習的領域實體屬性詞聚類抽取研究[J].電子技術應用，2016，42(6)：1674-7720.
[8] 字云飛，李業麗，孫華艷.基于深度神經網絡的個性化推薦系統研究[J].電子技術應用，2019，45(1)：14-18，22.
[9] MIKOLOV T，SUTSKEVER I，CHEN K，et al.Distribtedrep-resentations of words and phrases and their compositionality[C].Proceedings of the Advances in Neural Information Processing Systems，2013：3111-3119.
[10] 王靜.基于機器學習的文本分類算法研究與應用[D].成都：電子科技大學，2015.
[11] 張沖.基于Attention -Based LSTM模型的文本分類技術的研究[D].南京：南京大學，2016.
[12] MANNING C D，RAGHAVAN P，SCHUTZE H.An introduction to information retrieval[M].Cambridge：Cambridge University Press，2008.
[13] 李華，屈丹，張文林，等.結合全局詞向量特征的循環神經網絡語言模型[J].信號處理，2016，32(6)：715-723.
[14] VIGLIOCCO G，VINSON D P，DRUKS J，et al.Nouns and verbs in the brain：a review of behavioural，electrophysiological，neuropsychological and imaging studies[J].Neuroscience and Biobehavioral Reviews，2010(3)：167-198.
[15] ZHANG X，ZHAO J，LECUN Y.Character-level convolutional networks for text classification[C].Advances in Neural Information Processing Systems，2015：649-657.
作者信息:
殷曉雨，阿力木江·艾沙，庫爾班·吾布力
(新疆大學 信息科學與工程學院，新疆 烏魯木齊830046)