0 引言

隨著互聯網與社交媒體的不斷發展，越來越多的人使用包含文本、語音、圖像在內的多模態數據在社交媒體上表達自己的看法或觀點。海量的多模態數據中蘊含著豐富的情感信息，對多模態數據進行情感分析有利于了解人們對某些事件的態度和看法，在輿論監控、商品推薦、股市預測等方面具有很大的應用價值。此外，近年來的研究表明，與單模態情感識別模型相比，多模態模型在處理社交媒體數據時具有更強的魯棒性，并在識別準確率方面取得了顯著的改進[1]。不同的模態信息可能暗含著不同的情緒，如圖1所示，可能從文本信息中只能推斷出厭惡的情緒，而從視覺和語音的組合信息中推斷出悲傷和生氣的情緒，因此必須充分融合來自不同模態的信息才能準確識別出多模態數據中的情感信息。

盡管目前多模態情感分析在模型性能方面已經取得了較好的效果，但是仍然存在兩個問題需要解決。第一個問題是情感識別在現實場景中通常是一個多標簽分類問題，如何對標簽依賴關系建模并使用標簽信息是一項具有挑戰性的任務。目前大多數工作將多標簽分類問題轉換為多個二分類問題，而忽視了標簽之間的依賴性。另一個問題是異構模態信號之間的巨大語義差異，使得模態特征難以直接融合。

目前關于多模態情感分析的研究主要集中在設計高效的模態融合機制。Zadeh等[2]利用張量的外積來對不同模態之間的相互作用進行建模，Tsai等[3]提出了基于注意力的模型，使用跨模態注意力融合來自不同模態的信息。盡管這些模型在多模態情感識別任務中取得了良好的效果，但是忽略了模態特征之間的語義差異，影響了多模態特征融合的效果。Ju等[4]提出了基于序列生成的模型來解決多模態多標簽情感識別問題，利用序列生成的方式對標簽之間依賴關系建模，但是這種方法依賴于預先定義的標簽順序并且計算效率低。

本文提出了一種基于標簽嵌入的多模態多標簽情感識別算法，即使用標簽嵌入向量對標簽依賴性建模，使用模態不變表示來減少模態語義差異。首先，鑒于情感標簽包含著豐富的信息，本文使用標簽之間的共現信息來學習多模態情感標簽嵌入。然后，使用CMD分布度量[5]限制不同模態特征的分布差距，獲得模態不變表示，這種限制有助于縮小不同模態之間的語義差距，從而使用更簡單的融合方法融合不同模態特征。最后，將所有的模態特征連接起來，利用學習到的標簽嵌入和融合特征完成情感識別任務。

本文在一個公開的多模態多標簽情感數據集CMU-MOSEI上進行了廣泛的實驗，以評估方法性能。實驗結果表明，該方法能夠有效地融合模態特征并且對標簽依賴進行建模。本文主要貢獻有：

(1)使用標簽的共現信息來學習標簽嵌入，用標簽嵌入來表示標簽依賴關系。

(2)考慮了模態特征之間的語義差距，通過在損失函數中添加對模態特征的約束來減小模態特征語義差距。

(3)MOSEI數據集的實驗結果表明，該方法在多模態多標簽情感識別任務上相較于現有方法，性能有明顯提升。

本文詳細內容請下載：http://www.cowatch.cn/resource/share/2000004619

作者信息：

張  超，張信明

(中國科學技術大學 大數據學院，安徽 合肥230026)