基于迁移学习的文本共情预测

doi:10.11772/j.issn.1001-9081.2021091632

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (11): 3603-3609.DOI: 10.11772/j.issn.1001-9081.2021091632

• 人工智能 • 上一篇

基于迁移学习的文本共情预测

李晨光¹, 张波², 赵骞², 陈小平¹, 王行甫¹()

^1.中国科学技术大学计算机科学与技术学院，合肥 230026
^2.国网安徽省电力有限公司，合肥 230022

收稿日期:2021-09-15 修回日期:2022-01-17 接受日期:2022-01-28 发布日期:2022-11-14 出版日期:2022-11-10
通讯作者: 王行甫
作者简介:李晨光（1999—），男，河南许昌人，硕士研究生，主要研究方向：情感识别、自然语言处理
张波（1966—），男，安徽淮南人，高级工程师，硕士，主要研究方向：电力营销服务管理
赵骞（1976—），男，安徽合肥人，高级工程师，硕士，主要研究方向：电力营销服务管理
陈小平（1955—），男，重庆人，教授，博士，主要研究方向：智能体形式化建模、多机器人系统
王行甫（1965—），男，安徽合肥人，副教授，博士，主要研究方向：自然语言处理、情感分析。cg0808@mail.ustc.edu.cn
基金资助:
国家自然科学基金资助项目(92048301);安徽省电力有限公司科技项目(52120018004x)

Empathy prediction from texts based on transfer learning

Chenguang LI¹, Bo ZHANG², Qian ZHAO², Xiaoping CHEN¹, Xingfu WANG¹()

^1.College of Computer Science and Technology，University of Science and Technology of China，Hefei Anhui 230026，China
^2.State Grid Anhui Electric Power Company Limited，Hefei Anhui 230022，China

Received:2021-09-15 Revised:2022-01-17 Accepted:2022-01-28 Online:2022-11-14 Published:2022-11-10
Contact: Xingfu WANG
About author:LI Chenguang， born in 1999， M. S. candidate. His research interests include emotion recognition， natural language processing.
ZHANG Bo， born in 1966， M. S.， senior engineer. His research interests include power marketing service management.
ZHAO Qian， born in 1976， M. S.， senior engineer. His research interests include power marketing service management.
CHEN Xiaoping， born in 1955， Ph. D.， professor. His research interests include agent formal modeling， multi‑robot system.
WANG Xingfu， born in 1965， Ph. D.， associate professor. His research interests include natural language processing， emotional analysis.
Supported by:
National Natural Science Foundation of China(92048301);Science and Technology Project of Anhui Electric Power Company Limited(52120018004x)

摘要/Abstract

摘要：

由于缺乏足够的训练数据，文本共情预测的进展一直都较为缓慢；而与之相关的文本情感极性分类任务则存在大量有标签的训练样本。由于文本共情预测与文本情感极性分类两个任务间存在较大相关性，因此提出了一种基于迁移学习的文本共情预测方法，该方法可从情感极性分类任务中学习到可迁移的公共特征，并通过学习到的公共特征辅助文本共情预测任务。首先通过一个注意力机制对两个任务间的公私有特征进行动态加权融合；其次为了消除两个任务间的数据集领域差异，通过一种对抗学习策略来区分两个任务间的领域独有特征与领域公共特征；最后提出了一种Hinge?loss约束策略，使共同特征对不同的目标标签具有通用性，而私有特征对不同的目标标签具有独有性。在两个基准数据集上的实验结果表明，相较于对比的迁移学习方法，所提方法的皮尔逊相关系数（PCC）和决定系数（R²）更高，均方误差（MSE）更小，充分说明了所提方法的有效性。

关键词: 迁移学习, 文本共情预测, 文本情感极性分类, 自然语言处理, 深度学习

Abstract:

Empathy prediction from texts achieves little progress due to the lack of sufficient labeled data， while the related task of text sentiment polarity classification has a large number of labeled samples. Since there is a strong correlation between empathy prediction and polarity classification， a transfer learning?based text empathy prediction method was proposed. Transferable public features were learned from the sentiment polarity classification task to assist text empathy prediction task. Firstly， a dynamic weighted fusion of public and private features between two tasks was performed through an attention mechanism. Secondly， in order to eliminate domain differences in datasets between two tasks， an adversarial learning strategy was used to distinguish the domain?unique features from the domain?public features between two tasks. Finally， a Hinge?loss constraint strategy was proposed to make common features be generic for different target labels and private features be unique to different target labels. Experimental results on two benchmark datasets show that compared to the comparison transfer learning methods， the proposed method has higher Pearson Correlation Coefficient （PCC） and coefficient of determination （R²）， and has lower Mean?Square Error （MSE）， which fully demonstrates the effectiveness of the proposed method.

Key words: transfer learning, text empathy prediction, text sentiment polarity classification, Nature Language Processing (NLP), deep learning

中图分类号:

TP391.1

李晨光, 张波, 赵骞, 陈小平, 王行甫. 基于迁移学习的文本共情预测[J]. 计算机应用, 2022, 42(11): 3603-3609.

Chenguang LI, Bo ZHANG, Qian ZHAO, Xiaoping CHEN, Xingfu WANG. Empathy prediction from texts based on transfer learning[J]. Journal of Computer Applications, 2022, 42(11): 3603-3609.

图/表 7

参考文献 27

1	BELLET P S， MALONEY M J. The importance of empathy as an interviewing skill in medicine［J］. Journal of the American Medical Association， 1991， 266（13）： 1831-1832. 10.1001/jama.266.13.1831
2	BATSON C D， FULTZ J， SCHOENRADE P A. Distress and empathy： two qualitatively distinct vicarious emotions with different motivational consequences［J］. Journal of Personality， 1987， 55（1）： 19-39. 10.1111/j.1467-6494.1987.tb00426.x
3	BASCH M F. Empathic understanding： a review of the concept and some theoretical considerations［J］. Journal of the American Psychoanalytic Association， 1983， 31（1）： 101-126. 10.1177/000306518303100104
4	SOBER E， WILSON D S. Summary of： ‘Unto others： the evolution and psychology of unselfish behavior’［J］. Journal of Consciousness Studies， 2000， 7（1/2）： 185-206.
5	FUNG P， DEY A， SIDDIQUE F B， et al. Zara the supergirl： an empathetic personality recognition system［C］// Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics： Demonstrations. Stroudsburg， PA： Association for Computational Linguistics， 2016： 87-91. 10.18653/v1/n16-3018
6	ALAM F， DANIELI M， RICCARDI G. Annotating and modeling empathy in spoken conversations［J］. Computer Speech & Language， 2018， 50： 40-61. 10.1016/j.csl.2017.12.003
7	MAJUMDER N， HONG P， PENG S， et al. MIME： MIMicking Emotions for empathetic response generation ［EB/OL］. ［2021-04-28］. . 10.18653/v1/2020.emnlp-main.721
8	BUECHEL S， BUFFONE A， SLAFF B， et al. Modeling empathy and distress in reaction to news stories［EB/OL］. ［2021-06-15］. . 10.18653/v1/d18-1507
9	ZHOU N， JURGENS D. Condolences and empathy in online communities［C］// Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2020： 609-626. 10.18653/v1/2020.emnlp-main.45
10	SHARMA A， MINER A S， ATKINS D C， et al. A computational approach to understanding empathy expressed in text‑based mental health support. ［EB/OL］. ［2021-05-09］. . 10.18653/v1/2020.emnlp-main.425
11	PANG B， LEE L. Seeing stars： exploiting class relationships for sentiment categorization with respect to rating scales［C］// Proceedings of the 43rd Annual Meeting on Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2005： 115-124. 10.3115/1219840.1219855
12	ROSENTHAL S， FARRA N， NAKOV P. SemEval‑2017 task 4： sentiment analysis in Twitter［C］// Proceedings of the 11th International Workshop on Semantic Evaluation. Stroudsburg， PA： Association for Computational Linguistics， 2017： 502-518. 10.18653/v1/s17-2088
13	BHATT H S， ROY S， RAJKUMAR A， et al. Learning transferable feature representations using neural networks［C］// Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2019： 4124-4134. 10.18653/v1/p19-1404
14	MAAS A， DALY R E， PHAM P T， et al. Learning word vectors for sentiment analysis［C］// Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg， PA： Association for Computational Linguistics， 2011： 142-150.
15	XIAO B， CAN D， GEORGIOU P G， et al. Analyzing the language of therapist empathy in motivational interview based psychotherapy［C］// Proceedings of the 2012 Asia Pacific Signal and Information Processing Association Annual Summit and Conference. ［S.l.］： PMC， 2012： 6411762. 10.1109/apsipa31516.2013
16	KHANPOUR H， CARAGEA C， BIYANI P. Identifying empathetic messages in online health communities［C］// Proceedings of the Eighth International Joint Conference on Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2017， 2： 246-251. 10.1609/aaai.v32i1.12170
17	ZHOU K， AIELLO L M， SCEPANOVIC S， et al. The language of situational empathy［J］. Proceedings of the ACM on Human‑ Computer Interaction， 2021， 5（CSCW1）： Article No. 13. 10.1145/3449087
18	DREDZE M， KULESZA A， CRAMMER K. Multi‑domain learning by confidence‑weighted parameter combination［J］. Machine Learning， 2010， 79（1）： 123-149. 10.1007/s10994-009-5148-0
19	PAN S J， YANG Q. A survey on transfer learning［J］. IEEE Transactions on Knowledge and Data Engineering， 2009， 22（10）： 1345-1359. 10.1109/tkde.2009.191
20	HUANG J， GRETTON A， BORGWARDT K， et al. Correcting sample selection bias by unlabeled data［C］// Proceedings of the 19th International Conference on Neural Information Processing Systems. Cambridge， MA： MIT Press， 2006： 601-608. 10.7551/mitpress/7503.003.0080
21	SUGIYAMA M， SUZUKI T， NAKAJIMA S， et al. Direct importance estimation for covariate shift adaptation［J］. Annals of the Institute of Statistical Mathematics， 2008， 60（4）： 699-746. 10.1007/s10463-008-0197-x
22	MALMI E， SEVERYN A， ROTHE S. Unsupervised text style transfer with padded masked language models［EB/OL］.［2021-06-28］. . 10.18653/v1/2020.emnlp-main.699
23	ZHOU J T， ZHANG H， JIN D， et al. Dual adversarial neural transfer for low‑resource named entity recognition［C］// Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2019： 3461-3471. 10.18653/v1/p19-1336
24	CAO P， CHEN Y， LIU K， et al. Adversarial transfer learning for Chinese named entity recognition with self‑attention mechanism［C］// Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2018： 182-192. 10.18653/v1/d18-1017
25	GRAVES A， FERNÁNDEZ S， SCHMIDHUBER J. Bidirectional LSTM networks for improved phoneme classification and recognition［C］// Proceedings of the 2005 International Conference on Artificial Neural Networks， LNTCS 3697. Berlin： Springer， 2005： 799-804.
26	DEVLIN J， CHANG M W， LEE K， et al. BERT： pre‑training of deep bidirectional transformers for language understanding. ［EB/OL］. ［2021-09-01］. . 10.18653/v1/n18-2
27	KINGMA D P， BA J AND. Adam： a method for stochastic optimization. ［EB/OL］. ［2021-06-08］. .

样例	共情	极性
I am so happy that more people will undergo the procedure that can save their lives	高	正
I really hate ISIS. They must be destroyed so that they won’t hurt another soul.	高	负
This sounds worrying， but nothing critical， everyone has their own misfortunes.	低	负

样例	共情	极性
I am so happy that more people will undergo the procedure that can save their lives	高	正
I really hate ISIS. They must be destroyed so that they won’t hurt another soul.	高	负
This sounds worrying， but nothing critical， everyone has their own misfortunes.	低	负

模型		Buechel共情数据集				Zhou共情数据集
		SemEval		IMDB		SemEval		IMDB
		PCC‑EC	PCC‑PD	PCC‑EC	PCC‑PD	MSE	R²	MSE	R²
BiLSTM+AL+HN+AT	基线	0.441	0.474	0.431	0.454	0.475	0.169	0.484	0.136
	-AL	0.434	0.460	0.421	0.442	0.508	0.115	0.497	0.115
	-HN	0.435	0.463	0.427	0.452	0.496	0.134	0.489	0.128
	-AT	0.434	0.469	0.428	0.451	0.488	0.152	0.491	0.124
BERT+AL+HN+AT	-AL	0.512	0.523	0.503	0.497	0.423	0.310	0.436	0.283
	-HN	0.488	0.481	0.479	0.474	0.442	0.282	0.459	0.247
	-AT	0.498	0.502	0.483	0.492	0.437	0.280	0.448	0.258
	-AL	0.503	0.510	0.487	0.482	0.430	0.294	0.442	0.271

模型		Buechel共情数据集				Zhou共情数据集
		SemEval		IMDB		SemEval		IMDB
		PCC‑EC	PCC‑PD	PCC‑EC	PCC‑PD	MSE	R²	MSE	R²
BiLSTM+AL+HN+AT	基线	0.441	0.474	0.431	0.454	0.475	0.169	0.484	0.136
	-AL	0.434	0.460	0.421	0.442	0.508	0.115	0.497	0.115
	-HN	0.435	0.463	0.427	0.452	0.496	0.134	0.489	0.128
	-AT	0.434	0.469	0.428	0.451	0.488	0.152	0.491	0.124
BERT+AL+HN+AT	-AL	0.512	0.523	0.503	0.497	0.423	0.310	0.436	0.283
	-HN	0.488	0.481	0.479	0.474	0.442	0.282	0.459	0.247
	-AT	0.498	0.502	0.483	0.492	0.437	0.280	0.448	0.258
	-AL	0.503	0.510	0.487	0.482	0.430	0.294	0.442	0.271

极性数据量/10⁴	Buechel共情数据集		Zhou共情数据集
极性数据量/10⁴	PCC‑EC	PCC‑PD	MSE	R²
0	0.443	0.462	0.461	0.259
1	0.499	0.518	0.434	0.276
2	0.508	0.489	0.430	0.277
3	0.504	0.480	0.439	0.287
4	0.503	0.492	0.442	0.285
5	0.503	0.497	0.436	0.283

基于迁移学习的文本共情预测

Empathy prediction from texts based on transfer learning

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 27

相关文章 15

编辑推荐

Metrics

网络	Buechel 共情数据集		网络	Zhou 共情数据集
网络	PCC‑EC	PCC‑PD	网络	MSE	R²
Ridge	0.385	0.410	Random Forest	0.492	0.128
FNN	0.379	0.401	RoBERTa	0.429	0.297
CNN	0.404	0.444	Bi‑LSTM	0.553	0.004
Bi‑LSTM	0.407	0.426	BERT	0.461	0.259
BERT	0.443	0.462

模型	示例1		示例2
模型	EC	PD	EC	PD
Baseline	4.82	5.24	1.85	2.21
本文方法	6.32	6.24	1.65	2.02
Ground Truth	7.00	6.75	1.00	1.00

[1]	李敬虎, 邢前国, 郑向阳, 李琳, 王丽丽. 基于深度学习的无人机影像夜光藻赤潮提取方法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2969-2974.
[2]	魏佳璇, 杜世康, 于志轩, 张瑞生. 图像分类中的白盒对抗攻击技术综述[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2732-2741.
[3]	尹靖涵, 瞿绍军, 姚泽楷, 胡玄烨, 秦晓雨, 华璞靖. 基于YOLOv5的雾霾天气下交通标志识别模型[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2876-2884.
[4]	王一宁, 赵青杉, 秦品乐, 胡玉兰, 宗春梅. 基于轻量密集神经网络的医学图像超分辨率重建算法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2586-2592.
[5]	张显杰, 张之明. 基于卷积神经网络和Transformer的手写体英文文本识别[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2394-2400.
[6]	程南江, 余贞侠, 陈琳, 乔贺辙. 基于领域自适应的多源多标签行人属性识别[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2401-2406.
[7]	刘亚姣, 于海涛, 王江, 于利峰, 张春晖. 基于深度学习的型钢表面多形态微小缺陷检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2601-2608.
[8]	王震宇, 张雷, 高文彬, 权威铭. 基于渐进式神经网络架构搜索的人体运动识别[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2058-2064.
[9]	董宁, 程晓荣, 张铭泉. 基于物联网平台的动态权重损失函数入侵检测系统[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2118-2124.
[10]	韩亚茹, 闫连山, 姚涛. 基于元学习的深度哈希检索算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2015-2021.
[11]	杨瑞杰, 郑贵林. 基于InceptionV3和特征融合的人脸活体检测[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2037-2042.
[12]	秦庭威, 赵鹏程, 秦品乐, 曾建朝, 柴锐, 黄永琦. 基于残差注意力机制的点云配准算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2184-2191.
[13]	王元龙, 刘晓敏, 张虎. 基于事件表示的机器阅读理解模型[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 1979-1984.
[14]	刘万军, 王佳铭, 曲海成, 董利兵, 曹欣宇. 基于频谱空间域特征注意的音乐流派分类算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2072-2077.
[15]	江静, 陈渝, 孙界平, 琚生根. 融合后验概率校准训练的文本分类算法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1789-1795.