面向方面级情感分析的交互式关系图注意力网络

doi:10.11772/j.issn.1001-9081.2023030288

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (3): 696-701.DOI: 10.11772/j.issn.1001-9081.2023030288

所属专题：人工智能

面向方面级情感分析的交互式关系图注意力网络

郭磊¹, 贾真¹, 李天瑞¹^,²^,³()

^1.西南交通大学计算机与人工智能学院，成都 611756
^2.四川省制造业产业链协同与信息化支撑技术重点实验室（西南交通大学），成都 611756
^3.综合交通大数据应用技术国家工程实验室（西南交通大学），成都 611756

收稿日期:2023-03-20 修回日期:2023-04-06 接受日期:2023-04-07 发布日期:2023-05-09 出版日期:2024-03-10
通讯作者: 李天瑞
作者简介:郭磊（1997—），男，重庆人，硕士研究生，主要研究方向：情感分析、自然语言处理
贾真（1975—），女，河南开封人，讲师，博士，CCF会员，主要研究方向：信息抽取、知识图谱；
基金资助:
国家自然科学基金资助项目(62176221)

Relational and interactive graph attention network for aspect-level sentiment analysis

Lei GUO¹, Zhen JIA¹, Tianrui LI¹^,²^,³()

^1.School of Computing and Artificial Intelligence，Southwest Jiaotong University，Chengdu Sichuan 611756，China
^2.Manufacturing Industry Chains Collaboration and Information Support Technology Key Laboratory of Sichuan Province （Southwest Jiaotong University），Chengdu Sichuan 611756，China
^3.National Engineering Laboratory of Integrated Transportation Big Data Application Technology （Southwest Jiaotong University），Chengdu Sichuan 611756，China

Received:2023-03-20 Revised:2023-04-06 Accepted:2023-04-07 Online:2023-05-09 Published:2024-03-10
Contact: Tianrui LI
About author:GUO Lei， born in 1997， M. S. candidate. His research interests include sentiment analysis， natural language processing.
JIA Zhen， born in 1975， Ph. D.， lecturer. Her research interests include information extraction， knowledge graph.
Supported by:
National Natural Science Foundation of China(62176221)

摘要/Abstract

摘要：

方面级情感分析领域主要采用基于注意力机制的神经网络模型，这类模型忽略了方面词与观点词之间的依存关系和方面词与上下文词之间的距离，导致该类模型情感分类结果不够精确。为了解决上述问题，建立一种交互式关系图注意力网络（RI-GAT）模型。首先，通过长短期记忆（LSTM）网络学习句子的语义特征；然后，将学习的语义特征结合句子的位置信息生成新的特征；最后，在新的特征中提取各方面词和观点词之间的依存关系，实现对句法依存信息和位置信息的高效利用。在Laptop、Restaurant和Twitter数据集上的实验结果表明，相较于次优的动态多通道图卷积网络（DM-GCN），RI-GAT模型分类准确率（Acc）提高了0.67、1.65和1.36个百分点，说明了RI-GAT模型可以更好地建立方面词和意见词之间的联系，使得情感分类更加精确。

关键词: 方面级情感分析, 图注意力网络, 语义特征, 观点倾向, 网络评论

Abstract:

The neural network models based on attention mechanism are mainly used in the field of aspect-level sentiment analysis. The dependencies between aspect words and opinion words， as well as the distances between aspect words and context words， are ignored by this type of models， which further leads to inaccurate classification of emotions by this type of models. To solve above problems， a Relational and Interactive Graph ATtention network （RI-GAT） model was established. Firstly， the semantic features of sentences were learned by the Long Short-Term Memory （LSTM） network. Then the learned semantic features were combined with the position information of sentences to generate new features. Finally the dependencies between various aspects words and opinion words were extracted from the new features， realizing efficient and comprehensive use of syntactic dependency information and position information. Experimental results on Laptop， Restaurant， and Twitter datasets show that compared to the suboptimal Dynamic Multi-channel Graph Convolutional Network （DM-GCN）， RI-GAT model has the classification Accuracy （Acc） improved by 0.67， 1.65， and 1.36 percentage points， indicating that RI-GAT model can better establish the relationship between aspect words and opinion words， making sentiment classification more accurate.

Key words: aspect-level sentiment analysis, Graph ATtention network (GAT), semantic feature, viewpoint orientation, online comments

中图分类号:

TP391.1

郭磊, 贾真, 李天瑞. 面向方面级情感分析的交互式关系图注意力网络[J]. 计算机应用, 2024, 44(3): 696-701.

Lei GUO, Zhen JIA, Tianrui LI. Relational and interactive graph attention network for aspect-level sentiment analysis[J]. Journal of Computer Applications, 2024, 44(3): 696-701.

图/表 6

参考文献 26

1	BAHDANAU D， CHO K， BENGIO Y. Neural machine translation by jointly learning to align and translate ［EB/OL］. ［2022-12-04］. . 10.1017/9781108608480.003
2	DONG L， WEI F， TAN C， et al. Adaptive recursive neural network for target-dependent twitter sentiment classification［C］// Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics （Volume 2： Short Papers）. Stroudsburg： ACL， 2014： 49-54. 10.3115/v1/p14-2009
3	PAN S T， HUANG Z H， YUAN S S， et al. Application of hidden Markov models in speech command recognition ［J］. Journal of Mechanics Engineering and Automation， 2020， 10（2）： 41-45. 10.17265/2159-5275/2020.02.001
4	WANG L. Application research of deep convolutional neural network in computer vision［J］. Journal of Networking and Telecommunications， 2020， 2（2）： 23-29. 10.18282/jnt.v2i2.886
5	TANG D， QIN B， LIU T. Aspect level sentiment classification with deep memory network ［EB/OL］. ［2022-10-25］. . 10.18653/v1/d16-1021
6	HOCHREITER S， SCHMIDHUBER J. Long short-term memory［J］. Neural Computation， 1997， 9（8）： 1735-1780. 10.1162/neco.1997.9.8.1735
7	WANG Y， HUANG M， ZHU X， et al. Attention-based LSTM for aspect-level sentiment classification［C］// Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2016： 606-615. 10.18653/v1/d16-1058
8	李苑，滕磊.基于注意力机制的评论情感分析及情感词检测［J］.计算机科学，2020， 47（1）：186-192. 10.11896/jsjkx.181002011
	LI Y， TENG L. Comment sentiment analysis and sentiment words detection based on attention mechanism ［J］. Computer Science， 2020， 47（1）： 186-192. 10.11896/jsjkx.181002011
9	MA D， LI S， ZHANG X， et al. Interactive attention networks for aspect-level sentiment classification ［EB/OL］. ［2023-01-23］. . 10.24963/ijcai.2017/568
10	WANG K， SHEN W， YANG Y， et al. Relational graph attention network for aspect-based sentiment analysis ［EB/OL］. ［2022-11-18］. . 10.18653/v1/2020.acl-main.295
11	VELIČKOVIĆ P， CUCURULL G， CASANOVA A， et al. Graph attention networks ［EB/OL］. ［2023-02-14］. .
12	韩虎，吴渊航，秦晓雅.面向方面级情感分析的交互图注意力网络模型［J］.电子与信息学报， 2021， 43（11）：3283-3290. 10.11999/JEIT210036
	HAN H， WU Y H， QIN X Y. An interactive graph attention networks model for aspect-level sentiment analysis［J］. Journal of Electronic & Information Technology， 2021， 43（11）： 3283-3290. 10.11999/JEIT210036
13	郑智雄，刘建华，孙水华，等.面向方面级情感分析的交互关系图注意力网络［J］.计算机工程与应用，2023， 59（15）： 187-195. 10.3778/j.issn.1002-8331.2204-0487
	ZHENG Z X， LIU J H， SUN S H， et al. IRGAT model for aspect-based sentiment analysis［J］. Computer Engineering and Applications， 2023， 59（15）： 187-195. 10.3778/j.issn.1002-8331.2204-0487
14	刘启元，张栋，吴良庆，等.基于上下文增强LSTM的多模态情感分析［J］.计算机科学，2019， 46（11）：181-185. 10.11896/jsjkx.181001941
	LIU Q Y， ZHANG D， WU L Q， et al. Multi-modal sentiment analysis with context-augmented LSTM ［J］. Computer Science， 2019， 46（11）： 181-185. 10.11896/jsjkx.181001941
15	HUANG B， OU Y， CARLEY K M. Aspect level sentiment classification with attention-over-attention neural networks［C］// Proceedings of the 2018 International Conference on Social Computing， Behavioral-Cultural Modeling and Prediction and Behavior Representation in Modeling and Simulation. Cham： Springer， 2018： 197-206. 10.1007/978-3-319-93372-6_22
16	WU Z， LI Y， LIAO J， et al. Aspect-context interactive attention representation for aspect-level sentiment classification［J］. IEEE Access， 2020， 8： 29238-29248. 10.1109/access.2020.2972697
17	TANG D， QIN B， FENG X， et al. Effective LSTMs for target-dependent sentiment classification ［EB/OL］. ［2023-02-11］. .
18	ZHANG M， ZHANG Y， D-T VO. Gated neural networks for targeted sentiment analysis ［C］// Proceedings of the 30th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2016： 3087-3093. 10.1609/aaai.v30i1.10380
19	CHEN P， SUN Z， BING L， et al. Recurrent attention network on memory for aspect sentiment analysis ［C］// Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： ACL， 2017： 452-461. 10.18653/v1/d17-1047
20	ZHAO P， HOU L， WU O. Modeling sentiment dependencies with graph convolutional networks for aspect-level sentiment classification［J］. Knowledge-Based Systems， 2020， 193（C）： 105443. 10.1016/j.knosys.2019.105443
21	GU S， ZHANG L， HOU Y， et al. A position-aware bidirectional attention network for aspect-level sentiment analysis［C］// Proceedings of the 27th International Conference on Computational Linguistics. Stroudsburg： ACL， 2018： 774-784.
22	苏锦钿，欧阳志凡，余珊珊.基于依存树及距离注意力的句子属性情感分类［J］.计算机研究与发展， 2019， 56（8）：1731-1745. 10.7544/issn1000-1239.2019.20190102
	SU J D， OUYANG Z F， YU S S. Sentence attribute emotion classification based on dependency tree and distance attention ［J］. Journal of Computer Research and Development， 2019， 56（8）： 1731-1745. 10.7544/issn1000-1239.2019.20190102
23	PANG S， XUE Y， YAN Z， et al. Dynamic and multi-channel graph convolutional networks for aspect-based sentiment analysis［C］// Proceedings of the 2021 Findings of the Association for Computational Linguistics： ACL-IJCNLP 2021. Stroudsburg： ACL， 2021： 2627-2636. 10.18653/v1/2021.findings-acl.232
24	PONTIKI M， GALANIS D， PAVLOPOULOS J， et al. SemEval-2014 Task 4： aspect based sentiment analysis ［C］// Proceedings of the 8th International Workshop on Semantic Evaluation. Stroudsburg： ACL， 2014： 27-35. 10.3115/v1/s14-2004
25	PENNINGTON J， SOCHER R， MANNING C. GloVe： global vectors for word representation［C］// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2014： 1532-1543. 10.3115/v1/d14-1162
26	KINGMA D P， BA J. Adam： a method for stochastic optimization ［EB/OL］. ［2022-12-03］. .

数据集	积极样本数	中性样本数	消极样本数
Laptop训练集	994	870	464
Laptop测试集	341	128	169
Restaurant训练集	2 164	807	637
Restaurant测试集	728	196	196
Twitter训练集	1 561	3 127	1 560
Twitter测试集	173	346	173

数据集	积极样本数	中性样本数	消极样本数
Laptop训练集	994	870	464
Laptop测试集	341	128	169
Restaurant训练集	2 164	807	637
Restaurant测试集	728	196	196
Twitter训练集	1 561	3 127	1 560
Twitter测试集	173	346	173

模型	Laptop		Restaurant		Twitter
模型	Acc	MF1	Acc	MF1	Acc	MF1
LSTM	68.10	63.01	76.93	67.31	69.51	67.66
ATAE-LSTM	68.56	66.31	76.92	67.80	66.65	65.60
IAN	72.07	67.28	79.12	71.02	72.60	70.92
AOA	72.79	67.65	79.89	70.40	72.50	70.32
GAT	73.80	69.31	79.43	68.51	72.64	70.73
RGAT	76.62	72.96	82.46	73.97	74.88	73.21
IGAT	77.04	73.39	82.89	74.51	75.30	73.43
DM-GCN	77.93	74.12	83.55	74.60	75.52	73.91
RI-GAT	78.60	75.52	85.20	76.28	76.88	76.03

模型	Laptop		Restaurant		Twitter
模型	Acc	MF1	Acc	MF1	Acc	MF1
LSTM	68.10	63.01	76.93	67.31	69.51	67.66
ATAE-LSTM	68.56	66.31	76.92	67.80	66.65	65.60
IAN	72.07	67.28	79.12	71.02	72.60	70.92
AOA	72.79	67.65	79.89	70.40	72.50	70.32
GAT	73.80	69.31	79.43	68.51	72.64	70.73
RGAT	76.62	72.96	82.46	73.97	74.88	73.21
IGAT	77.04	73.39	82.89	74.51	75.30	73.43
DM-GCN	77.93	74.12	83.55	74.60	75.52	73.91
RI-GAT	78.60	75.52	85.20	76.28	76.88	76.03

模型	Laptop		Restaurant		Twitter
模型	Acc	MF1	Acc	MF1	Acc	MF1
LSTM+IA	74.90	68.86	83.64	72.89	74.68	73.86
LSTM+PE+IA	79.05	75.61	84.94	75.88	75.56	73.42
LSTM+RGAT+IA	75.48	69.34	84.68	75.49	76.02	75.46
RI⁃GAT	78.60	75.52	85.20	76.28	76.88	76.03

面向方面级情感分析的交互式关系图注意力网络

Relational and interactive graph attention network for aspect-level sentiment analysis

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 6

参考文献 26

相关文章 15

编辑推荐

Metrics

[1]	杨航, 李汪根, 张根生, 王志格, 开新. 基于图神经网络的多层信息交互融合算法用于会话推荐[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2719-2725.
[2]	唐媛, 陈艳平, 扈应, 黄瑞章, 秦永彬. 基于多尺度混合注意力卷积神经网络的关系抽取模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2011-2017.
[3]	柯添赐, 刘建华, 孙水华, 郑智雄, 蔡子杰. 融合强关联依赖和简洁语法的方面级情感分析模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1786-1795.
[4]	杨先凤, 汤依磊, 李自强. 基于交替注意力机制和图卷积网络的方面级情感分析模型[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1058-1064.
[5]	徐大鹏, 侯新民. 基于网络结构设计的图神经网络特征选择方法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 663-670.
[6]	王利琴, 张特, 许智宏, 董永峰, 杨国伟. 融合实体语义及结构信息的知识图谱推理[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3371-3378.
[7]	蒋汶娟, 过弋, 付娇娇. 融合图注意力的复杂时序知识图谱推理问答模型[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3047-3057.
[8]	邓金科, 段文杰, 张顺香, 汪雨晴, 李书羽, 李嘉伟. 基于提示增强与双图注意力网络的复杂因果关系抽取[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3081-3089.
[9]	王红斌, 房晓, 江虹. 融入三维语义特征的常识推理问答方法[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 138-144.
[10]	张心月, 刘蓉, 魏驰宇, 方可. 融合提示知识的方面级情感分析方法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2753-2759.
[11]	衡红军, 杨鼎诚. 知识增强的方面词交互图神经网络[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2412-2419.
[12]	樊海玮, 鲁芯丝雨, 张丽苗, 安毅生. 融合知识图谱和图注意力网络的引文推荐算法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2420-2425.
[13]	郑智雄, 刘建华, 孙水华, 徐戈, 林鸿辉. 融合多窗口局部信息的方面级情感分析模型[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1796-1802.
[14]	隋佳宏, 毛莺池, 于慧敏, 王子成, 平萍. 基于图注意力网络的全局图像描述生成方法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1409-1415.
[15]	吕学强, 张煜楠, 韩晶, 崔运鹏, 李欢. 融合边特征与注意力的表格结构识别模型[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 752-758.