0 引言

    網絡輿情是指網絡用戶對社會各方面熱點問題所發表的見解和建議的輿論，是社會輿情的一種體現，是公眾對社會中各種熱點事件和問題所表達的態度、想法、情緒等的集合。互聯網的快速發展使得網絡輿情的形成和傳播速度不斷提升，對社會的影響巨大。

    文獻[1]證明了網絡輿情的發展具有混沌的特性，即表現為亂序、無規則、隨機變化。在網絡輿情傳播的過程中，微博給網絡輿情的形成、發酵和傳播提供了一個強大的互聯網平臺，給其用戶提供了一個向全世界分享信息、發表評論和表達訴求的平臺，這些輿論內容在短時間內會大規模地擴散，甚至會影響事件的走向。

    本文首先實現一個基于Scrapy框架的微博評論爬蟲，將某熱點事件的若干條微博評論進行爬取并存進數據庫，然后進行文本分割和LDA(Latent Dirichlet Allocation)主題聚類，最后采用TFIDF-NB(Term Frequency Inverse Document Frequency-Navie Bayes)算法進行文本情感分類。

    (1)爬蟲

    爬蟲全稱為網絡爬蟲，是一種可以對互聯網上的信息進行自動化瀏覽的網絡腳本或程序，可實現對海量互聯網信息進行瀏覽、爬取等操作，并將抓取到的信息存儲于本地中。

    網絡爬蟲可以分為4種^[2]：通用網絡爬蟲^[3]、主題網絡爬蟲^[4]、增量式網絡爬蟲^[5]、深層網絡爬蟲^[6-7]。

    (2)情感分類

    情感分析是指識別文本中潛在的想法、情感和態度的方法^[8]。情感分類是情感分析的核心內容，情感分類的作用是識別文本數據中的觀點，對情感的積極或消極情緒進行分類^[9]。

    目前情感分類主要有兩種方法，一種是基于詞典的方法^[10-13]，另一種是基于機器學習的方法^[14-16]。

本文詳細內容請下載:http://www.cowatch.cn/resource/share/2000003464

作者信息:

楊  戈1，2，楊麓濤1

(1.北京師范大學珠海分校 智能多媒體技術重點實驗室，廣東 珠海519087；

2.北京大學深圳研究生院 深圳物聯網智能感知技術工程實驗室，廣東 深圳518055)