基于句粒度提示的大語言模型時序知識問答方法
網絡安全與數據治理
李志東，羅琪彬，喬思龍
華北計算技術研究所大數據研發中心，北京100083
摘要： 知識問答是自然語言處理領域的研究熱點之一，而時序知識問答還需考慮知識的時序關系，更是研究難點所在。當前時序知識問答方法通常將知識和問題的詞向量相似度作為回答的重要依據，忽略了知識所蘊含的句粒度語義信息。對此，提出了一種基于句粒度提示的大語言模型時序知識問答方法，首先通過對句粒度提示的改進，讓大語言模型高效學習句粒度語義信息，同時驗證大語言模型在Zeroshot、Fewshot及弱監督微調下時序知識問答能力。在ICEWS0515數據集上進行實驗，所提方法回答正確準確率得到可觀提升，體現了基于句粒度提示的大語言模型時序知識問答方法的有效性。
中圖分類號：TP391.1
文獻標識碼：ADOI:10.19358/j.issn.2097-1788.2023.12.002
引用格式：李志東，羅琪彬，喬思龍.基于句粒度提示的大語言模型時序知識問答方法［J］.網絡安全與數據治理，2023，42（12）：7-13.
文獻標識碼：ADOI:10.19358/j.issn.2097-1788.2023.12.002
引用格式：李志東，羅琪彬，喬思龍.基于句粒度提示的大語言模型時序知識問答方法［J］.網絡安全與數據治理，2023，42（12）：7-13.
Large language model based on sentence granularity prompts for temporal knowledge Q&A approach
Li Zhidong，Luo Qibin，Qiao Silong
Big Data R&D Center, North China Institute of Computing Technology, Beijing 100083, China
Abstract： Knowledge Q&A is one of the hot research topics in the field of natural language processing, and temporal knowledge Q&A is a difficult area of Q&A reasoning because it also needs to consider the temporal relationship of knowledge. Today′s research usually focuses on the word vector similarity between knowledge and questions as an important basis for answering, while ignoring the sentence granularity semantic information embedded in the knowledge. In this paper, we propose a method of temporal knowledge Q&A for large language models based on sentence granularity prompts. Firstly, by improving the sentence granularity prompts, the large language models can learn the sentence granularity semantic information efficiently, and then the temporal knowledge Q&A ability of large language models under Zeroshot, Fewshot and weaklysupervised finetuning is verified. The experiments are conducted on the ICEWS0515 dataset , and the accuracy of answers is significantly improved, which demonstrates the effectiveness of the temporal knowledge Q&A method for large language models based on sentence granularity prompts.
Key words : temporal knowledge graph questionanswering; large language models; prompt learning；natural language processing
引言
業務系統中具有多種不同時間序列的數據信息，將這些數據通過相關性和因果關系相聯系形成知識圖譜有助于快速深入地掌握時序信息。此外，數據信息在時間維度上的語義表達不同，包括年、月、日等不同粒度，跨時間粒度的語義表達會對問答結果產生影響。由此，時序知識圖譜(Temporal Knowledge Graph，TKG)的產生可以對不同的時間序列數據生成一個多層的、多粒度的知識圖譜，使得時序之間的關系得以清晰描述?；谥R圖譜的問答系統（Question Answering System based on Knowledge Graphs, KGQA）最早被用于提高企業的核心競爭力，由于企業經營過程中沉淀了許多知識但并不能得到很好的利用，KGQA的出現使得知識的完全利用成為了可能。而TKG是在傳統的知識圖譜上對時間進行延伸，在三元組中加入時間維度，格式為“［頭實體 關系 尾實體 時間］”。
作者信息
李志東，羅琪彬，喬思龍
（華北計算技術研究所大數據研發中心，北京100083）
文章下載地址：http://www.cowatch.cn/resource/share/2000005870
此內容為AET網站原創，未經授權禁止轉載。