基于動態圖注意力聚合多跳鄰域的實體對齊
2022年電子技術應用第11期
汪浣沙1，2，黃瑞陽1，2，宋旭暉3，余詩媛3，胡 楠3
1.國家數字交換系統工程技術研究中心，河南 鄭州450002； 2.中國人民解放軍戰略支援部隊信息工程大學，河南 鄭州450002；3.鄭州大學 軟件學院，河南 鄭州450001
摘要： 實體對齊是實現對不同來源知識庫進行融合的重要技術方法，在知識圖譜、知識補全領域具有廣泛應用?，F有基于圖注意力的實體對齊模型多使用靜態圖注意力網絡且忽略了實體屬性中的語義信息，導致模型存在有限注意、難以擬合、表達能力不足等問題。針對這些問題，開展基于動態圖注意力結構建模實體對齊方法研究，首先使用圖卷積層建模目標實體的單跳節點表示，其次應用動態圖注意力網絡獲得多跳節點注意力系數并建模，再次利用逐層門控網絡聚合圖卷積層與動態圖注意力層輸出的單跳、多跳節點信息，最后拼接通過外部知識預訓練自然語言模型提取的實體名稱屬性嵌入并進行相似度計算。該方法在DBP15K的三類跨語言數據集中都獲得了一定的提高，證明了應用動態圖注意力網絡與融入實體屬性語義在提高實體表示能力上的有效性。
中圖分類號： TP393
文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.222717
中文引用格式： 汪浣沙，黃瑞陽，宋旭暉，等. 基于動態圖注意力聚合多跳鄰域的實體對齊[J].電子技術應用，2022，48(11)：51-56.
英文引用格式： Wang Huansha，Huang Ruiyang，Song Xuhui，et al. Entity alignment based on dynamic graph attention aggregation in multi-hop neighborhood[J]. Application of Electronic Technique，2022，48(11)：51-56.
文獻標識碼： A
DOI：10.16157/j.issn.0258-7998.222717
中文引用格式： 汪浣沙，黃瑞陽，宋旭暉，等. 基于動態圖注意力聚合多跳鄰域的實體對齊[J].電子技術應用，2022，48(11)：51-56.
英文引用格式： Wang Huansha，Huang Ruiyang，Song Xuhui，et al. Entity alignment based on dynamic graph attention aggregation in multi-hop neighborhood[J]. Application of Electronic Technique，2022，48(11)：51-56.
Entity alignment based on dynamic graph attention aggregation in multi-hop neighborhood
Wang Huansha1，2，Huang Ruiyang1，2，Song Xuhui3，Yu Shiyuan3，Hu Nan3
1.National Digital Switching System Engineering & Technological R&D Center，Zhengzhou 450002，China； 2.Information Engineering University，Zhengzhou 450002，China；3.Software College，Zhengzhou University，Zhengzhou 450001，China
Abstract： Entity alignment is an important technical method to realize the fusion of knowledge bases from different sources. It is widely used in the fields of knowledge graph and knowledge completion. The existing entity alignment models based on graph attention mostly use static graph attention network and ignore the semantic information in entity attributes, resulting in the problems of limited attention, difficult fitting and insufficient expression ability of the model. To solve these problems, this paper studies the entity alignment method based on the structure modeling of dynamic graph attention. Firstly, the single hop node representation of the target entity is modeled by GCN. Secondly, the multi hop node attention coefficient is obtained and entity modeled by using the dynamic graph attention network, and then the single hop and multi hop node information output by GCN and dynamic graph attention layer is aggregated by layer-wise gating network. Finally, the entity attribute semantic extracted by external knowledge pre training natural language model is embedded and concatenated to calculate similarity. This method has been improved in three types of cross language datasets of DBP15K, which proves the effectiveness of applying dynamic graph attention network and integrating entity attribute semantics in improving entity representation ability.
Key words : dynamic GAT；graph convolution network；entity alignment；knowledge graph；representation learning
0 引言
實體對齊任務指利用模型或算法判斷多個不同表示的實體是否指代現實世界中的同一對象，隨著知識圖譜因其結構性表示知識等優勢而在各大自然語言處理與計算機視覺領域任務中廣泛應用，實體對齊作為知識圖譜補全任務的重要組成部分受到越來越多研究者的關注。
現有實體對齊方法主要分為基于轉移距離模型與基于圖卷積網絡模型，即利用轉移距離模型或圖卷積網絡將多源實體表示為低維向量并計算相似性以找到對齊實體對。目前主流的基于圖卷積網絡的實體對齊模型常使用傳統的靜態圖注意力網絡對實體進行特征提取與語義建模，但靜態圖注意力網絡注意力函數存在單調性，即對于任意查詢節點i，圖注意力網絡都傾向給予同一節點j更高的注意力權重，這將會嚴重影響網絡的特征提取能力。而文獻[1]所提出的動態圖注意力網絡中每個查詢(Query)對鍵(Key)的注意系數都有不同的排序，因此具有更強的表示能力。圖1展示了靜態與動態圖注意力網絡注意力傾向示意。
本文詳細內容請下載：http://www.cowatch.cn/resource/share/2000005004。
作者信息：
汪浣沙1，2，黃瑞陽1，2，宋旭暉3，余詩媛3，胡 楠3
(1.國家數字交換系統工程技術研究中心，河南 鄭州450002；
2.中國人民解放軍戰略支援部隊信息工程大學，河南 鄭州450002；3.鄭州大學 軟件學院，河南 鄭州450001)
此內容為AET網站原創，未經授權禁止轉載。