基于直接高階注意力和多尺度路由的圖神經網絡
信息技術與網絡安全 6期
楊廣乾，李金龍
(中國科學技術大學 計算機科學與技術學院，安徽 合肥230026)
摘要： 圖神經網絡中的注意力機制在處理圖結構化數據方面表現出優異的性能。傳統的圖注意力計算直接連接的節點之間的注意力，并通過堆疊層數隱式獲取高階信息。盡管在圖注意力機制方面目前已有廣泛的研究，但用于注意力計算的堆疊范式在建模遠程依賴方面效果較差。為了提高表達能力，設計了一種新穎的直接注意力機制，這一機制通過K階鄰接矩陣直接計算高階鄰居之間的注意力。通過自適應路由聚合過程進一步傳播高階信息，這使得聚合過程更靈活地適應不同圖的特性。在引文網絡上的節點分類任務上進行了大量的實驗。實驗表明，該方法優于最先進的基線模型。
中圖分類號： TP391
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2022.06.011
引用格式： 楊廣乾，李金龍. 基于直接高階注意力和多尺度路由的圖神經網絡[J].信息技術與網絡安全，2022，41(6)：64-72.
文獻標識碼： A
DOI： 10.19358/j.issn.2096-5133.2022.06.011
引用格式： 楊廣乾，李金龍. 基于直接高階注意力和多尺度路由的圖神經網絡[J].信息技術與網絡安全，2022，41(6)：64-72.
Direct high-order attention and multi-scale routing for graph neural networks
Yang Guangqian，Li Jinlong
(School of Computer Science and Technology，University of Science and Technology of China，Hefei 230026，China)
Abstract： Recently, the attention mechanism in Graph Neural Networks shows excellent performance in processing graph structured data. Traditional graph attention calculates the attention between directly connected nodes, and implicitly gets high-order information by stacking layers. Despite the extensive research about the graph attention mechanism, we argue that the stacking paradigm for attention calculation is less effective in modeling long-range dependency. To improve the expression ability, we design a novel direct attention mechanism, which directly calculates attention between higher-order neighbors via K-power adjacency matrix. We further propagate the higher-order information with an adaptive routing aggregation process, which makes the aggregation more flexible to adjust to the property of different graphs. We perform extensive experiments on node classifications on citation networks. Experiments shows that our method consistently outperforms the state-of-the-art baselines, which validates the effectiveness of our method.
Key words : graph neural networks；attention；dynamic routing
0 引言
圖結構化數據廣泛存在于現實世界中，圖神經網絡(GNN)已被證明可以有效地學習圖結構化數據背后的知識[1-2]。圖神經網絡基于傳播機制，通過聚合圖中節點的鄰居信息來學習潛在表示，可以用于下游任務，例如節點分類[2-3]、圖分類[4-5]、連接預測等。
受自然語言處理和計算機視覺中注意力機制的啟發，研究人員也開始探索圖結構學習中的注意力機制。最廣泛使用的注意力機制是圖注意力網絡，它已被證明具有出色的性能。圖注意力在消息傳遞過程中計算每對鄰居的注意力分數，以衡量節點的重要性，使得圖中的歸納學習成為可能?；谶@項工作，后續工作[9-11]又進行了許多對圖注意力的研究。
本文詳細內容請下載：http://www.cowatch.cn/resource/share/2000004537
作者信息：
楊廣乾，李金龍
(中國科學技術大學 計算機科學與技術學院，安徽 合肥230026)
此內容為AET網站原創，未經授權禁止轉載。