集成句法与情感知识的方面级情感分析模型

doi:10.11772/j.issn.1001-9081.2024060903

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (6): 1724-1731.DOI: 10.11772/j.issn.1001-9081.2024060903

• 第十二届CCF大数据学术会议 • 上一篇

集成句法与情感知识的方面级情感分析模型

李自亮¹^,², 朱广丽¹^,²(), 张玉雷¹^,², 刘佳佳¹^,², 焦熠璇¹^,², 张顺香¹^,²

^1.安徽理工大学计算机科学与工程学院，安徽淮南 232001
^2.合肥综合性国家科学中心人工智能研究院，合肥 230088

收稿日期:2024-07-01 修回日期:2024-07-28 接受日期:2024-08-01 发布日期:2024-08-22 出版日期:2025-06-10
通讯作者: 朱广丽
作者简介:李自亮（1999—），男，安徽六安人，硕士研究生，CCF会员，主要研究方向：方面级情感分析、关系抽取
朱广丽（1971—），女，安徽淮南人，副教授，硕士，主要研究方向：智能信息处理、情感计算 glzhu@aust.edu.cn
张玉雷（1999—），男，河南安阳人，硕士研究生，主要研究方向：多模态情感分析、数据挖掘
刘佳佳（2001—），男，安徽阜阳人，硕士研究生，主要研究方向：自然语言处理、多模态情感分析
焦熠璇（2000—），女，河北衡水人，硕士研究生，主要研究方向：自然语言处理、文本分类
张顺香（1970—），男，安徽无为人，教授，博士，主要研究方向：Web挖掘、语义搜索、关系抽取、复杂网络分析。
基金资助:
国家自然科学基金面上项目(62076006);安徽高校协同创新项目(GXXT-2021-008)

Aspect-based sentiment analysis model integrating syntax and sentiment knowledge

Ziliang LI¹^,², Guangli ZHU¹^,²(), Yulei ZHANG¹^,², Jiajia LIU¹^,², Yixuan JIAO¹^,², Shunxiang ZHANG¹^,²

^1.School of Computer Science and Engineering，Anhui University of Science and Technology，Huainan Anhui 232001，China
^2.Institute of Artificial Intelligence，Hefei Comprehensive National Science Center，Hefei Anhui 230088，China

Received:2024-07-01 Revised:2024-07-28 Accepted:2024-08-01 Online:2024-08-22 Published:2025-06-10
Contact: Guangli ZHU
About author:LI Ziliang， born in 1999， M. S. candidate. His research interests include aspect-based sentiment analysis， relation extraction.
ZHU Guangli， born in 1971， M. S.， associate professor. Her research interests include intelligent information processing， affective computing.
ZHANG Yulei， born in 1999， M. S. candidate. His research interests include multi-modal sentiment analysis， data mining.
LIU Jiajia， born in 2001， M. S. candidate. His research interests include natural language processing， multi-modal sentiment analysis.
JIAO Yixuan， born in 2000， M. S. candidate. Her research interests include natural language processing， text classification.
ZHANG Shunxiang， born in 1970， Ph. D.， professor. His research interests include Web mining， semantic search， relation extraction， complex network analysis.
Supported by:
National Natural Science Foundation of China(62076006);University Synergy Innovation Program of Anhui Province(GXXT-2021-008)

摘要/Abstract

摘要：

方面级情感分析（ABSA）是一项细粒度的情感分析任务，旨在分析给定文本中特定方面词的情感极性。现有的ABSA方法采用图卷积网络（GCN）处理句法和语义信息，然而这些方法将方面词的所有句法依赖等同看待，忽略了远距离不相关词对目标方面词的影响，造成目标方面词和观点词权重分配的不适宜，且对语义信息提取不充分。针对这些问题，提出一种集成句法与情感知识的ABSA模型。首先，根据句法信息构建可达矩阵，以此为基础，利用方面词进行中心位置赋权构建句法增强图；其次，通过外部情感知识和方面增强构建语义增强图，利用图卷积分别对句法增强图和语义增强图进行充分建模形成不同的特征通道；再次，通过双仿射注意力更有效地交互融合句法信息和语义信息；最后，运用平均池化和拼接操作获取方面词对应的最终特征向量。实验结果表明，相较于深度依赖感知图卷积网络模型DA-GCN-BERT （deep Dependency Aware GCN+BERT（Bidirectional Encoder Representations from Transformers）），所提模型在5个公开数据集上的准确率分别提高了1.71、1.41、1.27、0.17和0.43个百分点。可见，所提模型在ABSA领域具有很强的适用性。

关键词: 自然语言处理, 方面级情感分析, 图卷积网络, 双仿射注意力, 平均池化

Abstract:

Aspect-Based Sentiment Analysis （ABSA） is a fine-grained sentiment analysis task aiming to analyze sentiment polarity of specific aspect words in a given text. Existing ABSA methods use Graph Convolutional Network （GCN） to process syntactic and semantic information， but they treat all syntactic dependencies of aspect words equally， ignoring the impact of distant unrelated words on target aspect words， resulting in inappropriate weight allocation of target aspect words and viewpoint words， and insufficient extraction of semantic information. Aiming at these issues， an ABSA model integrating syntax and sentiment knowledge was proposed. Firstly， a reachability matrix was constructed according to syntactic information. Based on this， a syntactic enhancement graph was constructed by weighting the central position through the aspect words. Secondly， a semantic enhancement graph was constructed by external emotional knowledge and aspect enhancement， and graph convolution was used to fully model the syntactic enhancement graph and semantic enhancement graph， respectively， so as to form different feature channels. Thirdly， biaffine attention was used to integrate syntactic and semantic information effectively. Finally， average-pooling and concatenation operations were used to obtain the final feature vectors corresponding to the aspect words. Experimental results indicate that compared with the deep dependency aware graph convolutional network model — DA-GCN-BERT （deep Dependency Aware GCN+BERT（Bidirectional Encoder Representations from Transformers））， the proposed model achieves the accuracy improvements of 1.71， 1.41， 1.27， 0.17， and 0.43 percentage points on five publicly available datasets， respectively. It can be seen that the proposed model has strong applicability in the ABSA field.

Key words: Natural Language Processing (NLP), Aspect-Based Sentiment Analysis (ABSA), Graph Convolutional Network (GCN), biaffine attention, average-pooling

中图分类号:

TP391.1

李自亮, 朱广丽, 张玉雷, 刘佳佳, 焦熠璇, 张顺香. 集成句法与情感知识的方面级情感分析模型[J]. 计算机应用, 2025, 45(6): 1724-1731.

Ziliang LI, Guangli ZHU, Yulei ZHANG, Jiajia LIU, Yixuan JIAO, Shunxiang ZHANG. Aspect-based sentiment analysis model integrating syntax and sentiment knowledge[J]. Journal of Computer Applications, 2025, 45(6): 1724-1731.

图/表 10

参考文献 44

1	BRAUWERS G， FRASINCAR F. A survey on aspect-based sentiment classification［J］. ACM Computing Surveys， 2023， 55（4）： No.65.
2	李阳，王石，朱俊武，等. 方面级情感分析综述［J］. 计算机科学， 2023， 50（6A）： No.220400077.
	LI Y， WANG S， ZHU J W， et al. Summarization of aspect-level sentiment analysis［J］. Computer Science， 2023， 50（6A）： No.220400077.
3	曲延非. 基于深度学习的细粒度情感分析研究［D］. 长春：吉林大学， 2022：5-58.
	QU Y F. Research on fine-grained sentiment analysis based on deep learning ［D］. Changchun： Jilin University， 2022： 5-58.
4	HU M， LIU B. Mining and summarizing customer reviews［C］// Proceedings of the 10th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2004： 168-177.
5	TANG D， QIN B， FENG X， et al. Effective LSTMs for target-dependent sentiment classification［C］// Proceedings of the 26th International Conference on Computational Linguistics： Technical Papers. ［S.l.］： COLING 2016 Organizing Committee， 2015： 3298-3307.
6	MENG W， WEI Y， LIU P， et al. Aspect-based sentiment analysis with feature enhanced attention CNN-BiLSTM ［J］. IEEE Access， 2019， 7： 167240-167249.
7	PHAN H T， NGUYEN N T， HWANG D. Aspect-level sentiment analysis： a survey of graph convolutional network methods［J］. Information Fusion， 2023， 91： 149-172.
8	ZHANG W， LI X， DENG Y， et al. A survey on aspect-based sentiment analysis： tasks， methods， and challenges［J］. IEEE Transactions on Knowledge and Data Engineering， 2023， 35（11）： 11019-11038.
9	LI R， CHEN H， FENG F， et al. Dual graph convolutional networks for aspect-based sentiment analysis［C］// Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing （Volume 1： Long Papers）. Stroudsburg： ACL， 2021： 6319-6329.
10	韩虎，郝俊，张千锟，等. 多源知识融合的方面级情感分析模型［J］. 北京航空航天大学学报， 2024， 50（9）： 2688-2695.
	HAN H， HAO J， ZHANG Q K， et al. Multi-source knowledge fusion model for aspect-based sentiment analysis［J］. Journal of Beijing University of Aeronautics and Astronautics， 2024， 50（9）： 2688-2695.
11	GU T， ZHAO H， HE Z， et al. Integrating external knowledge into aspect-based sentiment analysis using graph neural network［J］. Knowledge-Based Systems， 2023， 259： No.110025.
12	KIM Y. Convolutional neural networks for sentence classification［C］// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2014： 1746-1751.
13	JELODAR H， WANG Y， ORJI R， et al. Deep sentiment classification and topic discovery on novel coronavirus or COVID-19 online discussions： NLP using LSTM recurrent neural network approach ［J］. IEEE Journal of Biomedical and Health Informatics， 2020， 24（10）： 2733-2742.
14	LIAO W， ZENG B， YIN X， et al. An improved aspect-category sentiment analysis model for text sentiment analysis based on RoBERTa ［J］. Applied Intelligence， 2021， 51（6）： 3522-3533.
15	WANG Y， HUANG M， ZHU X， et al. Attention-based LSTM for aspect-level sentiment classification［C］// Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2016： 606-615.
16	MA D， LI S， ZHANG X， et al. Interactive attention networks for aspect-level sentiment classification［C］// Proceedings of the 26th International Joint Conference on Artificial Intelligence. California： ijcai.org， 2017： 4068-4074.
17	WANG K， SHEN W， YANG Y， et al. Relational graph attention network for aspect-based sentiment analysis［C］// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg： ACL， 2020： 3229-3238.
18	ZHANG M， QIAN T. Convolution over hierarchical syntactic and lexical graphs for aspect level sentiment analysis ［C］// Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2020： 3540-3549.
19	柯添赐，刘建华，孙水华，等. 融合强关联依赖和简洁语法的方面级情感分析模型［J］. 计算机应用， 2024， 44（6）：1786-1795.
	KE T C， LIU J H， SUN S H， et al. Aspect-level sentiment analysis model combining strong association dependency and concise syntax［J］. Journal of Computer Applications， 2024， 44（6）： 1786-1795.
20	ZHAO P， HOU L， WU O. Modeling sentiment dependencies with graph convolutional networks for aspect-level sentiment classification［J］. Knowledge-Based Systems， 2020， 193： No.105443.
21	徐学锋，韩虎. 面向方面级情感分析的多视图表示模型［J］. 计算机工程与应用， 2024， 60（5）：112-121.
	XU X F， HAN H. Multi-view representation model for aspect level sentiment analysis［J］. Computer Engineering and Applications， 2024， 60（5）： 112-121.
22	BALAHUR A， HERMIDA J M， MONTOYO A. Detecting implicit expressions of emotion in text： a comparative analysis［J］. Decision Support Systems， 2012， 53（4）： 742-753.
23	CAMBRIA E， SPEER R， HAVASI C， et al. SenticNet： a publicly available semantic resource for opinion mining［C］// Proceedings of the 2010 AAAI Fall Symposium， Palo Alto： AAAI Press， 2010： 14-18.
24	CAMBRIA E， PORIA S， HAZARIKA D， et al. SenticNet 5： discovering conceptual primitives for sentiment analysis by means of context embeddings［C］// Proceedings of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2018： 1795-1802.
25	SHI X， HU M， REN F， et al. Prompted representation joint contrastive learning for aspect-based sentiment analysis［J］. Knowledge-Based Systems， 2024， 285： No.111345.
26	LIU H， LI X， LU W， et al. Graph augmentation networks based on dynamic sentiment knowledge and static external knowledge graphs for aspect-based sentiment analysis［J］. Expert Systems with Applications， 2024， 251： No.123981.
27	ZHOU J， HUANG J X， HU Q V， et al. SK-GCN： modeling syntax and knowledge via graph convolutional network for aspect-level sentiment classification［J］. Knowledge-Based Systems， 2020， 205： No.106292.
28	LIANG B， SU H， GUI L， et al. Aspect-based sentiment analysis via affective knowledge enhanced graph convolutional networks［J］. Knowledge-Based Systems， 2022， 235： No.107643.
29	张玉莹，朱广丽，谈光璞. 基于情感增强和语义依存的金融隐式情感分析模型［J］. 计算机工程与科学， 2024， 46（6）：1112-1120.
	ZHANG Y Y， ZHU G L， TAN G P. A financial implicit sentiment analysis model based on sentiment enhancement and semantic dependency［J］. Computer Engineering and Science， 2024， 46（6）： 1112-1120.
30	DEVLIN J， CHANG M W， LEE K， et al. BERT： pre-training of deep bidirectional Transformers for language understanding［C］// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies （Volume 1： Long and Short Papers）. Stroudsburg： ACL， 2019： 4171-4186.
31	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 6000-6010.
32	CAMBRIA E， LI Y， XING F Z， et al. SenticNet 6： ensemble application of symbolic and subsymbolic AI for sentiment analysis［C］// Proceedings of the 29th ACM International Conference on Information and Knowledge Management. New York： ACM， 2020： 105-114.
33	余本功，张书文，高春阳. 基于局部特征聚焦的方面级情感分析［J］. 计算机应用研究， 2023， 40（3）：682-688.
	YU B G， ZHANG S W， GAO C Y. Aspect-based sentiment analysis based on local feature focusing ［J］. Application Research of Computers， 2023， 40（3）： 682-688.
34	DONG L， WEI F， TAN C， et al. Adaptive recursive neural network for target-dependent Twitter sentiment classification［C］// Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics （Volume 2： Short Papers）. Stroudsburg： ACL， 2014： 49-54.
35	PONTIKI M， GALANIS D， PAVLOPOULOS J， et al. SemEval-2014 task 4： aspect based sentiment analysis ［C］// Proceedings of the 8th International Workshop on Semantic Evaluation. Stroudsburg： ACL， 2014： 27-35.
36	PONTIKI M， GALANIS D， PAPAGEORGIOU H， et al. SemEval-2015 task 12： aspect based sentiment analysis ［C］// Proceedings of the 9th International Workshop on Semantic Evaluation. Stroudsburg： ACL， 2015： 486-495.
37	PONTIKI M， GALANIS D， PAPAGEORGIOU H， et al. Semeval-2016 task 5： aspect based sentiment analysis ［C］// Proceedings of the 10th International Workshop on Semantic Evaluation. Stroudsburg： ACL， 2016： 19-30.
38	WANG X， LIU Y， SUN C， et al. Predicting polarities of tweets by composing word embeddings with long short-term memory［C］// Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing （Volume 1： Long Papers）. Stroudsburg： ACL， 2015： 1343-1353.
39	CHEN P， SUN Z， BING L， et al. Recurrent attention network on memory for aspect sentiment analysis ［C］// Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2017： 452-461.
40	HUANG B， OU Y， CARLEY K M. Aspect level sentiment classification with attention-over-attention neural networks［C］// Proceedings of the 2018 International Conference on Social Computing， Behavioral-Cultural Modeling and Prediction and Behavior Representation in Modeling and Simulation， LNCS 10899. Cham： Springer， 2018： 197-206.
41	FAN F， FENG Y， ZHAO D. Multi-grained attention network for aspect-level sentiment classification ［C］// Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2018： 3433-3442.
42	ZHANG C， LI Q， SONG D. Aspect-based sentiment classification with aspect-specific graph convolutional networks［C］// Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing. Stroudsburg： ACL， 2019： 4568-4578.
43	杨先凤，汤依磊，李自强. 基于交替注意力机制和图卷积网络的方面级情感分析模型［J］. 计算机应用， 2024， 44（4）：1058-1064.
	YANG X F， TANG Y L， LI Z Q. Aspect-level sentiment analysis model based on alternating attention mechanism and graph convolutional network［J］. Journal of Computer Applications， 2024， 44（4）： 1058-1064.
44	WANG X， LIU P， ZHU Z， et al. Aspect-based sentiment analysis with graph convolutional networks over dependency awareness［C］// Proceedings of the 26th International Conference on Pattern Recognition. Piscataway： IEEE， 2022： 2238-2245.

情感词	情感分数	情感词	情感分数
love	0.830	bad	-0.800
easily	0.943	hard	-0.059

情感词	情感分数	情感词	情感分数
love	0.830	bad	-0.800
easily	0.943	hard	-0.059

数据集	积极		中性		消极
数据集	训练集	测试集	训练集	测试集	训练集	测试集
Twitter	1 561	173	3 127	346	1 560	173
Lap14	994	341	464	169	870	128
Rest14	2 164	728	637	196	807	196
Rest15	1 178	439	50	35	382	328
Rest16	1 620	597	88	38	709	190

数据集	积极		中性		消极
数据集	训练集	测试集	训练集	测试集	训练集	测试集
Twitter	1 561	173	3 127	346	1 560	173
Lap14	994	341	464	169	870	128
Rest14	2 164	728	637	196	807	196
Rest15	1 178	439	50	35	382	328
Rest16	1 620	597	88	38	709	190

超参数	值	超参数	值
Optimizer	Adamax	Embedding	768
Learning rate	0.000 1	Batch size	32
Regularization coefficient	0.000 01	Dropout	0.5

集成句法与情感知识的方面级情感分析模型

Aspect-based sentiment analysis model integrating syntax and sentiment knowledge

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 44

相关文章 15

编辑推荐

Metrics

实验环境	具体配置	实验环境	具体配置
操作系统	Windows 10	显存	16 GB
处理器	Intel i7-8700k	开发语言	Python 3.9
内存	32 GB	深度学习框架	PyTorch 2.0
显卡	GTX 3070

类别	模型	Twitter		Lap14		Rest14		Rest15		Rest16
类别	模型	Acc	MF1	Acc	MF1	Acc	MF1	Acc	MF1	Acc	MF1
LSTM模型	LSTM	69.56	67.70	69.28	63.09	78.13	67.47	77.37	55.17	86.80	63.88
	RAM	69.36	67.30	74.49	71.35	80.23	70.80	79.30	60.49	85.58	65.76
	ATAE-LSTM	69.65	67.40	69.14	63.18	77.32	66.57	75.43	56.34	82.25	63.85
注意力模型	IAN	72.50	70.81	72.05	67.38	79.26	70.09	78.54	52.65	84.74	55.21
	AOA	72.30	70.20	72.65	67.52	79.97	70.42	—	—	—	—
	MGAN	72.54	70.81	75.39	72.47	81.25	71.94	—	—	—	—
GCN模型	ASGCN	72.15	70.40	75.55	71.05	80.77	72.02	79.89	61.89	88.99	67.68
	AA-GCN	74.13	72.44	76.09	71.43	82.35	74.36	79.77	63.46	89.32	70.90
	SK-GCN-BERT	75.00	73.01	79.00	75.57	83.48	75.19	83.20	66.78	87.19	72.02
	DA-GCN-BERT	75.43	73.67	78.82	75.28	83.43	74.35	82.97	64.56	89.69	71.86
本文模型		77.14	74.96	80.23	75.49	84.70	75.30	83.14	67.08	90.12	73.24

[1]	王泉, 陆啟想, 施珮. 用于交通流量预测的多图扩散注意力网络[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1472-1479.
[2]	陈满, 杨小军, 杨慧敏. 基于图卷积网络和终点诱导的行人轨迹预测[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1480-1487.
[3]	张庆, 杨凡, 方宇涵. 基于多模态信息融合的中文拼写纠错算法[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1528-1534.
[4]	杨杰, 尼玛扎西, 仁青东主, 祁晋东, 才让东知. 基于预训练模型标记器重构的藏文分词系统[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1199-1204.
[5]	党伟超, 宋楚君, 高改梅, 刘春霞. 基于级联残差图卷积网络的多行为推荐[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1223-1231.
[6]	秦小林, 古徐, 李弟诚, 徐海文. 大语言模型综述与展望[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 685-696.
[7]	王雅伦, 张仰森, 朱思文. 面向知识推理的位置编码标题生成模型[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 345-353.
[8]	富坤, 应世聪, 郑婷婷, 屈佳捷, 崔静远, 李建伟. 面向小样本节点分类的图数据增强方法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 392-402.
[9]	吕学强, 王涛, 游新冬, 徐戈. 层次融合多元知识的命名实体识别框架——HTLR[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 40-47.
[10]	薛桂香, 王辉, 周卫峰, 刘瑜, 李岩. 基于知识图谱和时空扩散图卷积网络的港口交通流量预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2952-2957.
[11]	庞川林, 唐睿, 张睿智, 刘川, 刘佳, 岳士博. D2D通信系统中基于图卷积网络的分布式功率控制算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2855-2862.
[12]	帅奇, 王海瑞, 朱贵富. 基于双向对比训练的中文故事结尾生成模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2683-2688.
[13]	刘禹含, 吉根林, 张红苹. 基于骨架图与混合注意力的视频行人异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2551-2557.
[14]	张全梅, 黄润萍, 滕飞, 张海波, 周南. 融合异构信息的自动国际疾病分类编码方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2476-2482.
[15]	李欢欢, 黄添强, 丁雪梅, 罗海峰, 黄丽清. 基于多尺度时空图卷积网络的交通出行需求预测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2065-2072.

模型	Twitter		Lap 14		Rest14		Rest15		Rest16
模型	Acc	MF1	Acc	MF1	Acc	MF1	Acc	MF1	Acc	MF1
w/o P	75.63	73.54	79.45	74.96	84.05	74.39	82.04	66.65	89.62	72.58
w/o R	76.12	74.25	78.91	74.75	84.14	74.28	81.52	66.37	87.41	71.57
w/o S	76.47	74.39	78.15	73.83	83.07	73.56	81.44	65.81	88.49	71.62
w/o A	76.33	74.52	78.29	74.27	83.38	73.54	82.36	65.98	87.81	71.35
w/o D	75.73	73.15	78.44	74.17	83.15	74.28	81.21	65.36	87.82	72.50
本文模型	77.14	74.96	80.23	75.49	84.70	75.30	83.14	67.08	90.12	73.24

模型	Twitter		Lap 14		Rest14		Rest15		Rest16
模型	Acc	MF1	Acc	MF1	Acc	MF1	Acc	MF1	Acc	MF1
w/o P	75.63	73.54	79.45	74.96	84.05	74.39	82.04	66.65	89.62	72.58
w/o R	76.12	74.25	78.91	74.75	84.14	74.28	81.52	66.37	87.41	71.57
w/o S	76.47	74.39	78.15	73.83	83.07	73.56	81.44	65.81	88.49	71.62
w/o A	76.33	74.52	78.29	74.27	83.38	73.54	82.36	65.98	87.81	71.35
w/o D	75.73	73.15	78.44	74.17	83.15	74.28	81.21	65.36	87.82	72.50
本文模型	77.14	74.96	80.23	75.49	84.70	75.30	83.14	67.08	90.12	73.24