融合图注意力的复杂时序知识图谱推理问答模型

doi:10.11772/j.issn.1001-9081.2023101391

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (10): 3047-3057.DOI: 10.11772/j.issn.1001-9081.2023101391

融合图注意力的复杂时序知识图谱推理问答模型

蒋汶娟¹, 过弋¹^,²^,³(), 付娇娇¹

^1.华东理工大学信息科学与工程学院，上海 200237
^2.大数据流通与交易技术国家工程实验室商业智能与可视化技术研究中心，上海 200436
^3.上海大数据与互联网受众工程技术研究中心，上海 200072

收稿日期:2023-10-16 修回日期:2024-01-31 接受日期:2024-02-04 发布日期:2024-10-15 出版日期:2024-10-10
通讯作者: 过弋
作者简介:蒋汶娟（1999—），女（土家族），湖北恩施人，硕士，主要研究方向：知识图谱推理、时序知识图谱问答
过弋（1975—），男，江苏无锡人，教授，博士生导师，博士，CCF会员，主要研究方向：文本挖掘、知识发现、商业智能 guoyi@ecust.edu.cn
付娇娇（1989—），女，山东聊城人，讲师，博士，主要研究方向：人机交互、协同计算、数据分析。
基金资助:
上海市科学技术委员会科技计划项目(22511104800)

Reasoning question answering model of complex temporal knowledge graph with graph attention

Wenjuan JIANG¹, Yi GUO¹^,²^,³(), Jiaojiao FU¹

^1.School of Information Science and Engineering，East China University of Science and Technology，Shanghai 200237，China
^2.Business Intelligence and Visualization Research Center，National Engineering Laboratory for Big Data Distribution and Exchange Technologies，Shanghai 200436，China
^3.Shanghai Engineering Research Center of Big Data & Internet Audience，Shanghai 200072，China

Received:2023-10-16 Revised:2024-01-31 Accepted:2024-02-04 Online:2024-10-15 Published:2024-10-10
Contact: Yi GUO
About author:JIANG Wenjuan， born in 1999， M. S. Her research interests include knowledge graph reasoning， temporal knowledge graph question answering.
FU Jiaojiao， born in 1989， Ph. D.， lecturer. Her research interests include human-computer interaction， collaborative computing， data analysis.
Supported by:
Science and Technology Planning Project of Shanghai Municipal Commission of Science and Technology(22511104800)

摘要/Abstract

摘要：

在时序知识图谱问答（TKGQA）任务中，针对模型难以捕获并利用问句中隐含的时间信息增强模型的复杂问题推理能力的问题，提出一种融合图注意力的时序知识图谱推理问答（GACTR）模型。所提模型采用四元组形式的时序知识库（KB）进行预训练，同时引入图注意力网络（GAT）以有效捕获问句中隐式时间信息；通过与RoBERTa（Robustly optimized Bidirectional Encoder Representations from Transformers pretraining approach）模型训练的关系表示进行集成，进一步增强问句的时序关系表示；将该表示与预训练的时序知识图谱（TKG）嵌入相结合，以获得最高评分的实体或时间戳作为答案预测结果。在最大的基准数据集CRONQUESTIONS上的实验结果显示，GACTR模型在时序推理模式下能更好地捕获隐含时间信息，有效提升模型的复杂推理能力。与基线模型CRONKGQA（Knowledge Graph Question Answering on CRONQUESTIONS）相比，GACTR模型在处理复杂问题类型和时间答案类型上的Hits@1结果分别提升了34.6、13.2个百分点；与TempoQR（Temporal Question Reasoning）模型相比，分别提升了8.3、2.8个百分点。

关键词: 时序知识图谱, 复杂问答, 图注意力网络, 时序推理, 时序关系表示

Abstract:

In the task of Temporal Knowledge Graph Question Answering （TKGQA）， it is a challenge for models to capture and utilize the implicit temporal information in the questions to enhance the complex reasoning ability of the models. To address this problem， a Graph Attention mechanism-integrated Complex Temporal knowledge graph Reasoning question answering （GACTR） model was proposed. The proposed model was pretrained on a temporal Knowledge Base （KB） in the form of quadruples， and a Graph Attention neTwork （GAT） was introduced to effectively capture implicit temporal information in the question. The relationship representation trained by Robustly optimized Bidirectional Encoder Representations from Transformers pretraining approach （RoBERTa） was integrated to enhance the temporal relationship representation of the question. This representation was combined with the pretrained Temporal Knowledge Graph （TKG） embedding， and the final prediction result was the entity or timestamp with the highest score. On the largest benchmark dataset CRONQUESTIONS， compared to the baseline models， Knowledge Graph Question Answering on CRONQUESTIONS（CRONKGQA）， the GACTR model achieved improvements of 34.6 and 13.2 percentage points in handling complex question and time answer types， respectively； compared to the Temporal Question Reasoning （TempoQR） model， the improvements were 8.3 and 2.8 percentage points， respectively.

Key words: Temporal Knowledge Graph (TKG), complex question answering, Graph Attention neTwork (GAT), temporal reasoning, temporal relationship representation

中图分类号:

TP183

蒋汶娟, 过弋, 付娇娇. 融合图注意力的复杂时序知识图谱推理问答模型[J]. 计算机应用, 2024, 44(10): 3047-3057.

Wenjuan JIANG, Yi GUO, Jiaojiao FU. Reasoning question answering model of complex temporal knowledge graph with graph attention[J]. Journal of Computer Applications, 2024, 44(10): 3047-3057.

图/表 15

参考文献 27

1	JIA Z， ABUJABAL A， ROY R S， et al. TEQUILA： temporal question answering over knowledge bases［C］// Proceedings of the 27th ACM International Conference on Information and Knowledge Management. New York： ACM， 2018：1807-1810.
2	LIU Y， MA Y， HILDEBRANDT M， et al. TLogic： temporal logical rules for explainable link forecasting on temporal knowledge graphs［C］// Proceedings of the 2022 AAAI Conference on Artificial Intelligence. Menlo Park： AAAI Press， 2022： 4120-4127.
3	SAXENA A， CHAKRABARTI S， TALUKDAR P. Question answering over temporal knowledge graphs［C］ // Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing （Volume 1： Long Papers）. Stroudsburg： ACL， 2021：6663-6676.
4	MAVROMATIS C， SUBRAMANYAM P L， IOANNIDIS V N， et al. TempoQR： temporal question reasoning over knowledge graphs［C］// Proceedings of the 36th AAAI Conference on Artificial Intelligence. Menlo Park： AAAI Press， 2021：5825-5833.
5	LACROIX T， OBOZINSKI G， USUNIER N.Tensor decompositions for temporal knowledge base completion ［EB/OL］. （2020-04-10）［2023-10-01］. .
6	LIU Y， OTT M， GOYAL N， et al. RoBERTa： a robustly optimized BERT pretraining approach ［EB/OL］. （2019-07-26）［2023-11-02］. .
7	CHEN Z， ZHAO X， LIAO J， et al. Temporal knowledge graph question answering via subgraph reasoning［J］. Knowledge-Based Systems， 2022， 251： 109134.
8	JIANG T， LIU T， GE T， et al. Towards time-aware knowledge graph completion［C］// Proceedings of the 26th International Conference on Computational Linguistics： Technical Papers. ［S.l.］： The COLING 2016 Organizing Committee， 2016： 1715-1724.
9	LEBLAY J， CHEKOL M W. Deriving validity time in knowledge graph［C］// Companion Proceedings of the Web Conference 2018. Republic and Canton of Geneva， Switzerland： International World Wide Web Conferences Steering Committee， 2018： 1771-1776.
10	BORDES A， USUNIER N， GARCIA-DURÁN A， et al. Translating embeddings for modeling multi-relational data［C］// Proceedings of the 26th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates， 2013：2787-2795.
11	DASGUPTA S S， RAY S N， TALUKDAR P. HyTE： hyperplane-based temporally aware knowledge graph embedding［C］// Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2018： 2001-2011.
12	GOEL R， KAZEMI S M， BRUBAKER M， et al. Diachronic embedding for temporal knowledge graph completion［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Menlo Park： AAAI Press， 2020： 3988-3995.
13	TROUILLON T， WELBL J， RIEDEL S， et al. Complex embeddings for simple link prediction［C］// Proceedings of the 33rd International Conference on Machine Learning. Stroudsburg： ACL， 2016：2071-2080.
14	SHAO P， ZHANG D， YANG G， et al. Tucker decomposition-based temporal knowledge graph completion［J］. Knowledge-Based Systems， 2022， 238： 107841.
15	SAXENA A， TRIPATHI A， TALUKDAR P. Improving multi-hop question answering over knowledge graphs using knowledge base embeddings［C］// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg： ACL， 2020： 4498-4507.
16	CHEN Z， LIAO J， ZHAO X. Multi-granularity temporal question answering over knowledge graphs ［C］// Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Stroudsburg： ACL， 2023：11378-11392.
17	LIU Y， LIANG D， FANG F， et al. Time-aware multiway adaptive fusion network for temporal knowledge graph question answering［C］// Proceedings of the 2023 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway： IEEE， 2023： 1-5.
18	SHANG C， WANG G， QI P， et al. Improving time sensitivity for question answering over temporal knowledge graphs［C］// Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics. Stroudsburg： ACL， 2022：8017-8026.
19	JIAO S， ZHU Z， WU W， et al. An improving reasoning network for complex question answering over temporal knowledge graphs［J］. Applied Intelligence， 2023， 53： 8195-8208.
20	VELIČKOVIĆ P， CUCURULL G， CASANOVA A， et al. Graph attention networks［EB/OL］. （2017-10-30）［2023-10-01］. .
21	WANG X， HE X， CAO Y， et al. KGAT： knowledge graph attention network for recommendation［C］// Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2019：950-958.
22	ZHANG Z， ZHUANG F， ZHU H， et al. Relational graph neural network with hierarchical attention for knowledge graph completion［C］// Proceedings of the 2020 AAAI Conference on Artificial Intelligence. Menlo Park： AAAI Press， 2020： 9612-9619.
23	WANG Y， WANG H， HE J， et al. TAGAT： type-aware graph attention networks for reasoning over knowledge graphs［J］. Knowledge-Based Systems， 2021， 233： 107500.
24	FÉVRY T， SOARES L B， FitzGERALD N， et al. Entities as experts： sparse memory access with entity supervision［C］// Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2020： 4937-4951.
25	张文豪，徐贞顺，刘纳，等. 知识图谱补全方法研究综述［J］.计算机工程与应用，2024，60（12）：61-73.
	ZHANG W H， XU Z S， LIU N， et al. A survey on knowledge graph completion methods［J］. Computer Engineering and Applications， 2024， 60（12）：61-73.
26	DONG Q， LI L， DAI D， et al. A survey for in-context learning ［EB/OL］. （2022-12-31）［2023-10-01］. .
27	张鹤译，王鑫，韩立帆，等. 大语言模型融合知识图谱的问答系统研究［J］. 计算机科学与探索， 2023， 17（10）： 2377-2388.
	ZHANG H Y， WANG X， HAN L F， et al.Research on question answering system on joint of knowledge graph and large language models［J］. Journal of Frontiers of Computer Science & Technology， 2023， 17（10）： 2377-2388.

类别	类型	训练集样本数	验证集样本数	测试集样本数
问题类型	Simple Entity	90 651	7 745	7 812
	Simple Time	61 471	5 197	5 046
	Before/After	23 869	1 982	2 151
	First/Last	118 556	11 198	11 159
	Time_Join	55 453	3 878	3 832
答案类型	Entity Answer	225 672	19 362	19 524
答案类型	Time Answer	124 328	10 638	13 476
总样本数		350 000	30 000	30 000

类别	类型	训练集样本数	验证集样本数	测试集样本数
问题类型	Simple Entity	90 651	7 745	7 812
	Simple Time	61 471	5 197	5 046
	Before/After	23 869	1 982	2 151
	First/Last	118 556	11 198	11 159
	Time_Join	55 453	3 878	3 832
答案类型	Entity Answer	225 672	19 362	19 524
答案类型	Time Answer	124 328	10 638	13 476
总样本数		350 000	30 000	30 000

问题类型	问题子类型	问题示例
Simple	Simple Entity	Which award did Brad Pitt receive in 2001？
Simple	Simple Time	When was LeonAdolphe Amette the archbishop of Paris？
Complex	Before/After	Who was the senator of Ohio before Homer Ramey？
	First/Last	Who last held Minister of Finance of Norway’s position？
	Time_Join	Who was speaker of the house in ESC 2005？

问题类型	问题子类型	问题示例
Simple	Simple Entity	Which award did Brad Pitt receive in 2001？
Simple	Simple Time	When was LeonAdolphe Amette the archbishop of Paris？
Complex	Before/After	Who was the senator of Ohio before Homer Ramey？
	First/Last	Who last held Minister of Finance of Norway’s position？
	Time_Join	Who was speaker of the house in ESC 2005？

实验环境	具体信息
操作系统	Ubuntu 18.03
内存	DDR4 64 GB
CPU	Intel Xeon Gold 5218
GPU	GeForce RTX 3090
开发语言	Python 3.9.0
深度学习框架	PyTorch 1.9

融合图注意力的复杂时序知识图谱推理问答模型

Reasoning question answering model of complex temporal knowledge graph with graph attention

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 15

参考文献 27

相关文章 15

编辑推荐

Metrics

模型	Hits@1					Hits@10
	总体	问题类型		答案类型		总体	问题类型		答案类型
	总体	Complex	Simple	Entity	Time	总体	Complex	Simple	Entity	Time
BERT	0.071	0.086	0.052	0.077	0.060	0.213	0.205	0.225	0.192	0.253
RoBERTa	0.070	0.086	0.050	0.082	0.048	0.202	0.192	0.215	0.186	0.231
KnowBERT	0.070	0.083	0.051	0.081	0.048	0.201	0.189	0.217	0.185	0.230
EmbedKGQA	0.288	0.286	0.290	0.411	0.057	0.672	0.632	0.725	0.850	0.341
T-EaE-add	0.278	0.257	0.306	0.313	0.213	0.663	0.614	0.729	0.662	0.665
T-EaE-replace	0.288	0.257	0.329	0.318	0.231	0.678	0.623	0.753	0.668	0.698
CRONKGQA	0.647	0.392	0.987	0.699	0.549	0.884	0.802	0.992	0.898	0.857
EntityQR	0.745	0.562	0.990	0.831	0.585	0.944	0.906	0.993	0.962	0.910
TempoQR-Soft	0.799	0.655	0.990	0.876	0.653	0.957	0.930	0.993	0.972	0.929
CTRN-Soft	0.806	0.668	0.990	0.877	0.673	0.955	0.927	0.993	0.969	0.929
TMA	0.784	0.632	0.987	0.792	0.743	0.943	0.904	0.995	0.947	0.936
GACTR-Soft	0.848	0.738	0.994	0.937	0.681	0.957	0.927	0.997	0.986	0.940

模型	Before/After	First/Last	Time_Join	Complex
T-EaE-replace	0.256	0.288	0.168	0.257
CRONKGQA	0.288	0.371	0.511	0.392
EntityQR	0.540	0.493	0.833	0.562
TempoQR-Soft	0.670	0.570	0.894	0.655
CTRN-Soft	0.680	0.584	0.907	0.668
TMA	0.581	0.627	0.675	0.632
GACTR-Soft	0.842	0.656	0.920	0.738

模型	Before/After	First/Last	Time_Join	Complex
GACTR-Soft	0.910	0.783	0.733	0.807
GPT3.5	0.400	0.766	0.480	0.548
GLM3-6B	0.060	0.100	0.020	0.062

序号	问题	问题类型	GACTR	GPT3.5			GLM3-6B			正确答案
序号	问题	问题类型	答案	答案	类型	时间词	答案	类型	时间词	正确答案
1	Who was the President of the American Philological Association before 2012 Olympics？	Before/ After	Josiah Ober	Henry Rushton …	实体	Before	Ivan Mortimer Linforth	实体	Before	Josiah Ober
2	Who held the position of City councillor of Palafrugell after Joan Cama i Serra？	Before/ After	Francesc Alsius i Granés	Begonya Montalban i Vilas	实体	After	Francesc Alsius i Granés	实体	After	Francesc Alsius i Granés
3	When was the first time Jack Midson was playing in The Shrimpers？	First/Last	2010	2010	时间	First	Jack Midson	实体	First	2010
4	Which was the latest award that Virginia R. Grace received？	First/Last	Gold Medal of the …	Gold Medal of the …	实体	Latest	Virginia Grace	实体	Last	Gold Medal of the …
5	What person held the position of Agriculture Minister of Israel in ESC 2005？	Time_Join	Yisrael Katz	Yisrael Katz	实体	In	Pinhas Lavon	实体	Last	Yisrael Katz
6	Who was the Danish Defence Minister during 1956 Winter Olympics？	Time_Join	Poul Hansen	Poul Hansen	实体	During	Poul Hansen	实体	First	Poul Hansen

方法	Hits@1
方法	Before/After	First/last	Time_Join	Complex
GACTR	0.842	0.656	0.920	0.738
w/o Multi-Head	0.795	0.535	0.870	0.642
w/o GAT	0.739	0.642	0.921	0.629
w/o CNN	0.642	0.502	0.629	0.548
w/o 集成模型	0.605	0.630	0.856	0.555
w/o 时序评分	0.650	0.569	0.852	0.643

[1]	杨航, 李汪根, 张根生, 王志格, 开新. 基于图神经网络的多层信息交互融合算法用于会话推荐[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2719-2725.
[2]	柯添赐, 刘建华, 孙水华, 郑智雄, 蔡子杰. 融合强关联依赖和简洁语法的方面级情感分析模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1786-1795.
[3]	郭磊, 贾真, 李天瑞. 面向方面级情感分析的交互式关系图注意力网络[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 696-701.
[4]	徐大鹏, 侯新民. 基于网络结构设计的图神经网络特征选择方法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 663-670.
[5]	王利琴, 张特, 许智宏, 董永峰, 杨国伟. 融合实体语义及结构信息的知识图谱推理[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3371-3378.
[6]	邓金科, 段文杰, 张顺香, 汪雨晴, 李书羽, 李嘉伟. 基于提示增强与双图注意力网络的复杂因果关系抽取[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3081-3089.
[7]	樊海玮, 鲁芯丝雨, 张丽苗, 安毅生. 融合知识图谱和图注意力网络的引文推荐算法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2420-2425.
[8]	郑智雄, 刘建华, 孙水华, 徐戈, 林鸿辉. 融合多窗口局部信息的方面级情感分析模型[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1796-1802.
[9]	隋佳宏, 毛莺池, 于慧敏, 王子成, 平萍. 基于图注意力网络的全局图像描述生成方法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1409-1415.
[10]	吕学强, 张煜楠, 韩晶, 崔运鹏, 李欢. 融合边特征与注意力的表格结构识别模型[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 752-758.
[11]	倪苒岩, 张轶. 基于视频时空特征的行为识别方法[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 521-528.
[12]	汪锦云, 向阳. 基于关键词图表示的文本语义去重算法[J]. 《计算机应用》唯一官方网站, 2023, 43(10): 3070-3076.
[13]	杨世刚, 刘勇国. 融合语料库特征与图注意力网络的短文本分类方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1324-1329.
[14]	焦守龙, 段友祥, 孙歧峰, 庄子浩, 孙琛皓. 融合实体描述信息和邻居节点特征的知识表示学习方法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1050-1056.
[15]	薛海涛, 王莉, 杨延杰, 廉飚. 基于用户传播网络与消息内容融合的谣言检测模型[J]. 《计算机应用》唯一官方网站, 2021, 41(12): 3540-3545.