0 引言

    在當下這個信息時代，互聯網已經成為人們生活中不可或缺的一部分，在機器計算能力大幅度提高的同時，獲得的數據也呈爆炸式增長。文本數據作為數據中的重要組成部分，量大且關鍵。因此，從大量的文本數據中高效地提取出滿足人們需要的信息成為了當下的熱門話題。在自然語言處理領域，通過計算機處理文本數據時，由于語言的多樣性，相同的詞語在不同的句子或者語境中表達出來的意思可能會存在差異，導致計算機無法直接并準確地獲取文本特征^[1]。所以，如何從語料中學習到好的文本表示，如何提升文本表示模型的性能，對于后續自然語言處理的相關研究，如機器翻譯、文本分類^[2]、情感分析^[3]、問答系統、文本檢索等，具有十分深遠的意義。

    建立文本表示模型包括對詞、主題、語句、文檔等各個級別任務進行建模。對于詞級別的文本表示模型，通常使用被稱作詞向量的數學表示方法來處理。詞向量顧名思義是一種通過向量來表示句子中詞語的方法，向量中的每一維都在實數范圍內進行取值操作^[4]。

    詞向量最早由BENGIO Y、DUCHARME R、VINCENT P等人提出^[5]，其傳統做法是One-hot表示方法，即將不同詞用相對應的維度很高的向量來表示，其中，向量的維度對應字典大小，在各個詞的向量中只存在一個位置為1，其余位置為0。該表示模型十分簡潔，便于理解，但是由于數據稀疏會造成維數災難，并且該模型沒有考慮詞與詞之間的關聯性，準確度不高。

    近年來，被稱作詞的分布式表示的向量表示得到了較為廣泛的應用，理論思路是通過訓練，將句子中的各詞語映射到N維向量空間中。該方法在One-hot的基礎上，聯系了前后文的語義信息，使語義相近詞語所映射得到的詞向量比較接近，而One-hot法得到的是毫無關聯的詞向量。即可以通過詞與詞在空間中的距離計算詞與詞在語義上的相關性，距離越小則語義越相關，距離越大則越無關。2013年，MIKOLOV T等人提出利用神經網絡模型來訓練分布式詞向量^[6]，所得到的模型被稱作Word2Vec，該模型可以通過前后文的詞匯預測中心詞或者通過中心詞來預測前后文的詞匯。它相當于一個里程碑，現在也被廣泛使用。Doc2Vec是Word2Vec的擴展，于2014年由MIKOLOV T等人提出^[7]，同樣用于學習文檔表示。該模型在構建的過程中，在獲取上下文單詞信息的同時，增加了一個段落標記，能夠更精確地表示原始文本。但是在實際應用中Doc2Vec需要大量數據進行訓練才能有較好的效果，當數據量不足時，提取信息不充分，結果產生的偶然性較大。

    主題模型由于可以發掘深層次的語義信息，因此在構建文本表示模型時也可以達到較好的效果。2003年BLEI D M、JORDAN M I等人提出了潛在狄利克雷分布^[8]，首次將狄利克雷先驗分布加入到文檔、主題、詞的多項式分布中，效果顯著。LDA是一種從大量文檔中發現潛在主題的概率主題模型，它從文本的統計學特性入手，將文本語料庫映射到各個主題空間中，從而發掘文本中各主題與詞語之間的對應關系，得到文本的主題分布^[9]。它通常被認為是一種通過對不同主題中的單詞進行分組的特征約簡方法，因此可以將文檔映射到更低的維度空間。但LDA沒有考慮詞語的前后文關聯，構建出的文本向量比較稀疏，在表示原始文本的信息方面效果一般。

    本文嘗試將LDA和Doc2Vec進行融合。LDA從每個文檔到所有主題的全局關系建模，而Doc2Vec則通過從目標單詞的上下文中學習來捕獲這些關系。發揮這兩種模型各自的優點，從而產生比傳統模型更高的準確率判斷。

論文詳細內容請下載http://www.cowatch.cn/resource/share/2000002836

作者信息:

肖  晗1，毛雪松1，朱澤德2

(1.武漢科技大學 信息科學與工程學院，湖北 武漢430081；

2.中科院合肥技術創新工程院，安徽 合肥230031)