融合语义和句法信息的方面情感三元组抽取

doi:10.11772/j.issn.1001-9081.2023101479

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (10): 3275-3280.DOI: 10.11772/j.issn.1001-9081.2023101479

• 第40届CCF中国数据库学术会议(NDBC 2023) • 上一篇下一篇

融合语义和句法信息的方面情感三元组抽取

李言博, 何庆(), 陆顺意

贵州大学大数据与信息工程学院，贵阳 550025

收稿日期:2023-10-30 修回日期:2024-01-08 接受日期:2024-01-12 发布日期:2024-10-15 出版日期:2024-10-10
通讯作者: 何庆
作者简介:李言博（1998—），男，贵州毕节人，硕士研究生，CCF会员，主要研究方向：方面级情感分析、方面情感三元组抽取、数据挖掘
何庆（1982—），男，贵州都匀人，教授，博士，主要研究方向：自然语言处理、大数据挖掘和分析 qhe@gzu.edu.cn
陆顺意（2000—），男（土家族），贵州铜仁人，硕士研究生，主要研究方向：群智能算法、深度学习。
基金资助:
国家自然科学基金资助项目(62166006);贵州省省级科技计划项目（黔科合支撑［2023］一般093,黔科合ZK字［2021］335）

Aspect sentiment triplet extraction integrating semantic and syntactic information

Yanbo LI, Qing HE(), Shunyi LU

College of Big Data and Information Engineering，Guizhou University，Guiyang Guizhou 550025，China

Received:2023-10-30 Revised:2024-01-08 Accepted:2024-01-12 Online:2024-10-15 Published:2024-10-10
Contact: Qing HE
About author:LI Yanbo， born in 1998， M. S. candidate. His research interests include aspect level sentiment analysis， aspect sentiment triplet extraction， data mining.
LU Shunyi， born in 2000， M. S. candidate. His research interests include swarm intelligence algorithms， deep learning.
Supported by:
National Natural Science Foundation of China(62166006);Guizhou Provincial Science and Technology Support Projects （Qiankehe Support ［2023］ General 093, Qiankehe-ZK ［2021］ 335）

摘要/Abstract

摘要：

方面情感三元组抽取（ASTE）是方面情感分析中一项极具挑战性的子任务，目的是提取所给句子中的方面项、观点项和对应的情感极性。现有的面向ASTE任务的模型分为流水线模型和端到端模型。针对流水线模型易受到错误传播的影响，且大部分现有端到端模型忽略了句子中丰富的句法信息问题，提出一种语义和句法增强的双通道方面情感三元组抽取模型（SSED-ASTE）。首先，使用BERT（Bidirectional Encoder Representation from Transformers）编码器对上下文编码；其次，使用双向长短期记忆（Bi-LSTM）网络捕捉上下文语义依赖关系；再次，通过2个并行的图卷积网络（GCN）分别使用自注意力机制和依存句法分析提取语义特征和句法特征并融合；最后，使用网格标记方案（GTS）抽取三元组。在4个公开数据集上进行实验分析，与GTS-BERT模型相比，所提模型的F1值分别提升了0.29、1.50、2.93和0.78个百分点。实验结果表明，所提模型可以有效利用句子中隐含的语义信息和句法信息，实现较准确的三元组抽取。

关键词: 情感分析, 方面情感三元组抽取, 依存句法分析, 自注意力机制, 图卷积网络

Abstract:

Aspect Sentiment Triplet Extraction （ASTE） is a challenging subtask in aspect-based sentiment analysis， which aims at extracting aspect terms， opinion terms， and corresponding sentiment polarities from a given sentence. Existing models for ASTE tasks are divided into pipeline models and end-to-end models. To address the issues of error propagation in pipeline models and most end-to-end models overlooking the rich semantic information in sentences， a model called Semantic and Syntax Enhanced Dual-channel model for ASTE （SSED-ASTE） was proposed. First， BERT （Bidirectional Encoder Representation from Transformers） encoder was used to encode context. Then， a Bi-directional Long Short-Term Memory （Bi-LSTM） network was used to capture context semantic dependencies. Next， two parallel Graph Convolution Networks （GCN） were utilized to extract the semantic features and the syntax features using self-attention mechanism and dependency syntactic parsing， respectively. Finally， the Grid Tagging Scheme （GTS） was used for triplet extraction. Experimental analysis was conducted on four public datasets， and compared with the GTS-BERT model， the F1 values of the proposed model increased by 0.29， 1.50， 2.93， and 0.78 percentage points， respectively. The experimental results demonstrate that the proposed model effectively utilizes implicit semantic and syntactic information in sentences， achieving more accurate triplet extraction.

Key words: sentiment analysis, Aspect Sentiment Triplet Extraction (ASTE), dependency syntactic parsing, self-attention mechanism, Graph Convolutional Network (GCN)

中图分类号:

TP391.1

李言博, 何庆, 陆顺意. 融合语义和句法信息的方面情感三元组抽取[J]. 计算机应用, 2024, 44(10): 3275-3280.

Yanbo LI, Qing HE, Shunyi LU. Aspect sentiment triplet extraction integrating semantic and syntactic information[J]. Journal of Computer Applications, 2024, 44(10): 3275-3280.

图/表 7

参考文献 28

1	赵妍妍，秦兵，刘挺.文本情感分析［J］.软件学报，2010，21（8）：1834-1848.
	ZHAO Y Y， QIN B， LIU T. Sentiment analysis ［J］. Journal of Software， 2010， 21（8）： 1834-1848.
2	PONTIKI M， GALANIS D， PAVLOPOULOS J， et al. SemEval-2014 Task 4： aspect based sentiment analysis［C］// Proceedings of the 8th International Workshop on Semantic Evaluation. Stroudsburg： ACL， 2014： 27-35.
3	YIN Y， WEI F， DONG L， et al. Unsupervised word and dependency path embeddings for aspect term extraction［C］// Proceedings of the Twenty-Fifth International Joint Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2016： 2979-2985.
4	WU Z， ZHAO F， DAI X-Y， et al. Latent opinions transfer network for target-oriented opinion words extraction［C］// Proceedings of the 2020 AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2020： 9298-9305.
5	LI X， BING L， LI P， et al. Aspect term extraction with history attention and selective transformation［C］// Proceedings of the Twenty-Seventh International Joint Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2018： 4194-4200.
6	FERNANDO J， KHODRA M L， SEPTIANDRI A A. Aspect and opinion terms extraction using double embeddings and attention mechanism for Indonesian hotel reviews［C］// Proceedings of the 2019 International Conference of Advanced Informatics： Concepts， Theory and Applications. Piscataway： IEEE， 2019： 1-6.
7	JEBBARA S， CIMIANO P. Improving opinion-target extraction with character-level word embeddings［C］// Proceedings of the First Workshop on Subword and Character Level Models in NLP. Stroudsburg： ACL， 2017： 159-167.
8	KLINGER R， CIMIANO P. Joint and pipeline probabilistic models for fine-grained sentiment analysis： extracting aspects， subjective phrases and their relations［C］// Proceedings of the 2013 IEEE 13th International Conference on Data Mining Workshops. Piscataway： IEEE， 2013： 937-944.
9	TANG D， QIN B， LIU T. Aspect level sentiment classification with deep memory network［C］// Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2016： 214-224.
10	MA D， LI S， ZHANG X. Interactive attention networks for aspect-level sentiment classification［C］// Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2017： 4068-4074.
11	LI X， BING L， LAM W， et al. Transformation networks for target-oriented sentiment classification［C］// Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Stroudsburg： ACL， 2018： 946-956.
12	PENG H， XU L， BING L， et al. Knowing what， how and why： a near complete solution for aspect-based sentiment analysis［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2020： 8600-8607.
13	XU L， LI H， LU W， et al. Position-aware tagging for aspect sentiment triplet extraction［C］// Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2020： 2339-2349.
14	WU Z， YING C， ZHAO F， et al. Grid tagging scheme for aspect-oriented fine-grained opinion extraction［C］// Findings of the Association for Computational Linguistics： EMNLP 2020. Stroudsburg： ACL， 2020： 2576-2585.
15	HOCHREITER S， SCHMIDHUBER J. Long short-term memory［J］. Neural Computing， 1997， 9（8）： 1735-1780.
16	VASWANI A， SHAZEER N M， PARMAR N， et al. Attention is all you need［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates， 2017： 6000-6010.
17	KIPF T N， WELLING M. Semi-supervised classification with graph convolutional networks ［EB/OL］. （2016-09-09）［2023-10-01］. .
18	MUKHERJEE R， NAYAK T， BUTALA Y， et al. PASTE： a tagging-free decoding framework using pointer networks for aspect sentiment triplet extraction［C］// Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2021： 9279-9291.
19	ZHOU T， SHEN Y， CHEN K， et al. Hierarchical dual graph convolutional network for aspect-based sentiment analysis［J］. Knowledge-Based Systems， 2023， 276： 110740.
20	刘辉，马祥，张琳玉，等.融合匹配长短时记忆网络和语法距离的方面级情感分析模型［J］.计算机应用，2023，43（1）：45-50.
	LIU H， MA X， ZHANG L Y， et al. Aspect-based sentiment analysis model integrating match-LSTM network and grammatical distance ［J］. Journal of Computer Applications， 2023， 43（1）： 45-50.
21	LI Y， HE Q， ZHANG D. Dual graph convolutional networks integrating affective knowledge and position information for aspect sentiment triplet extraction［J］. Frontiers in Neurorobotics， 2023， 17： 1193011.
22	PONTIKI M， GALANIS D， PAPAGEORGIOU H， et al. SemEval-2015 Task 12： aspect based sentiment analysis［C］// Proceedings of the 9th International Workshop on Semantic Evaluation. Stroudsburg： ACL， 2015： 486-495.
23	PONTIKI M， GALANIS D， PAPAGEORGIOU H， et al. SemEval-2016 Task 5： aspect based sentiment analysis［C］// Proceedings of the 10th International Workshop on Semantic Evaluation. Stroudsburg： ACL， 2016： 19-30.
24	DEVLIN J， CHANG M-W， LEE K， et al. BERT： pre-training of deep bidirectional transformers for language understanding［C］// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg： ACL， 2019： 4171-4186.
25	LOSHCHILOV I， HUTTER F. Fixing weight decay regularization in Adam ［EB/OL］. （2017-11-14）［2023-10-01］. .
26	LI X， BING L， LI P， et al. A unified model for opinion target extraction and target sentiment prediction［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2019： 6714-6721.
27	HE R， LEE W S， NG H T， et al. An interactive multi-task learning network for end-to-end aspect-based sentiment analysis ［EB/OL］. （2019-06-17）［2023-10-01］. .
28	CHEN Z， HUANG H， LIU B， et al. Semantic and syntactic enhanced aspect sentiment triplet extraction［C］// Finding of the Association for Computational Linguistics： ACL-IJCNLP 2021. Stroudsburg： ACL， 2021： 1474-1483.

数据集		句子数	三元组数
14res	训练集	1 259	2 356
	验证集	315	580
	测试集	493	1 008
14lap	训练集	899	1 452
	验证集	225	383
	测试集	332	547
15res	训练集	603	1 038
	验证集	151	239
	测试集	325	493
16res	训练集	863	1 421
	验证集	216	348
	测试集	328	525

数据集		句子数	三元组数
14res	训练集	1 259	2 356
	验证集	315	580
	测试集	493	1 008
14lap	训练集	899	1 452
	验证集	225	383
	测试集	332	547
15res	训练集	603	1 038
	验证集	151	239
	测试集	325	493
16res	训练集	863	1 421
	验证集	216	348
	测试集	328	525

模型	14res			14lap			15res			16res
模型	P	R	F₁	P	R	F₁	P	R	F₁	P	R	F₁
Li-unified-R	41.44	68.79	51.68	42.25	42.78	42.47	43.34	50.73	46.69	38.19	53.47	44.51
Peng-unified-R	44.18	62.99	51.89	40.40	47.24	43.50	40.97	54.68	46.79	46.76	62.97	53.62
Peng-unified-R+IOG	58.89	60.41	59.64	48.62	45.52	47.02	51.70	46.04	48.71	59.25	58.09	58.67
IMN+IOG	59.57	63.88	61.65	49.21	46.23	47.68	55.24	52.33	53.75	—	—	—
JET^t	70.20	53.02	60.41	51.48	42.65	46.65	62.14	47.25	53.68	71.12	57.20	63.41
JET^o	67.97	60.32	63.92	58.47	43.67	50.00	58.35	51.43	54.67	64.77	61.29	62.98
S³E²	69.08	64.55	66.74	59.43	46.23	52.01	61.06	56.44	58.66	71.08	63.13	66.87
GTS-CNN	70.79	61.71	65.94	55.93	47.52	51.38	60.09	53.57	56.64	62.23	66.98	64.73
GTS-BiLSTM	67.28	61.91	64.49	59.42	45.13	51.30	63.26	50.71	56.29	66.07	65.05	65.56
GTS-BERT	70.92	69.49	70.20	57.52	51.92	54.58	59.29	58.07	58.67	68.58	66.60	67.58
SSED-ASTE	71.15	69.85	70.49	60.76	52.13	56.08	62.30	60.95	61.60	67.50	69.28	68.36

模型	14res			14lap			15res			16res
模型	P	R	F₁	P	R	F₁	P	R	F₁	P	R	F₁
Li-unified-R	41.44	68.79	51.68	42.25	42.78	42.47	43.34	50.73	46.69	38.19	53.47	44.51
Peng-unified-R	44.18	62.99	51.89	40.40	47.24	43.50	40.97	54.68	46.79	46.76	62.97	53.62
Peng-unified-R+IOG	58.89	60.41	59.64	48.62	45.52	47.02	51.70	46.04	48.71	59.25	58.09	58.67
IMN+IOG	59.57	63.88	61.65	49.21	46.23	47.68	55.24	52.33	53.75	—	—	—
JET^t	70.20	53.02	60.41	51.48	42.65	46.65	62.14	47.25	53.68	71.12	57.20	63.41
JET^o	67.97	60.32	63.92	58.47	43.67	50.00	58.35	51.43	54.67	64.77	61.29	62.98
S³E²	69.08	64.55	66.74	59.43	46.23	52.01	61.06	56.44	58.66	71.08	63.13	66.87
GTS-CNN	70.79	61.71	65.94	55.93	47.52	51.38	60.09	53.57	56.64	62.23	66.98	64.73
GTS-BiLSTM	67.28	61.91	64.49	59.42	45.13	51.30	63.26	50.71	56.29	66.07	65.05	65.56
GTS-BERT	70.92	69.49	70.20	57.52	51.92	54.58	59.29	58.07	58.67	68.58	66.60	67.58
SSED-ASTE	71.15	69.85	70.49	60.76	52.13	56.08	62.30	60.95	61.60	67.50	69.28	68.36

模型	F₁
模型	14res	14lap	15res	16res
SSED-ASTE	70.49	56.08	61.60	68.36
-Semantic	69.62	55.15	60.32	66.60
-Syntax	69.66	55.31	59.71	66.52

融合语义和句法信息的方面情感三元组抽取

Aspect sentiment triplet extraction integrating semantic and syntactic information

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 28

相关文章 15

编辑推荐

Metrics

[1]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[2]	李力铤, 华蓓, 贺若舟, 徐况. 基于解耦注意力机制的多变量时序预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2732-2738.
[3]	薛桂香, 王辉, 周卫峰, 刘瑜, 李岩. 基于知识图谱和时空扩散图卷积网络的港口交通流量预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2952-2957.
[4]	庞川林, 唐睿, 张睿智, 刘川, 刘佳, 岳士博. D2D通信系统中基于图卷积网络的分布式功率控制算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2855-2862.
[5]	薛凯鹏, 徐涛, 廖春节. 融合自监督和多层交叉注意力的多模态情感分析网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2387-2392.
[6]	刘禹含, 吉根林, 张红苹. 基于骨架图与混合注意力的视频行人异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2551-2557.
[7]	李欢欢, 黄添强, 丁雪梅, 罗海峰, 黄丽清. 基于多尺度时空图卷积网络的交通出行需求预测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2065-2072.
[8]	刘越, 刘芳, 武奥运, 柴秋月, 王天笑. 基于自注意力机制与图卷积的3D目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1972-1977.
[9]	吕锡婷, 赵敬华, 荣海迎, 赵嘉乐. 基于Transformer和关系图卷积网络的信息传播预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1760-1766.
[10]	徐泽鑫, 杨磊, 李康顺. 较短的长序列时间序列预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1824-1831.
[11]	柯添赐, 刘建华, 孙水华, 郑智雄, 蔡子杰. 融合强关联依赖和简洁语法的方面级情感分析模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1786-1795.
[12]	黎施彬, 龚俊, 汤圣君. 基于Graph Transformer的半监督异配图表示学习模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1816-1823.
[13]	黄荣, 宋俊杰, 周树波, 刘浩. 基于自监督视觉Transformer的图像美学质量评价方法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1269-1276.
[14]	高龙涛, 李娜娜. 基于方面感知注意力增强的方面情感三元组抽取[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1049-1057.
[15]	杨先凤, 汤依磊, 李自强. 基于交替注意力机制和图卷积网络的方面级情感分析模型[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1058-1064.