基于生成提示的无监督文本情感转换方法

doi:10.11772/j.issn.1001-9081.2023091302

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (9): 2667-2673.DOI: 10.11772/j.issn.1001-9081.2023091302

基于生成提示的无监督文本情感转换方法

黄于欣¹^,², 徐佳龙¹^,², 余正涛¹^,²(), 侯书楷¹^,², 周家啟¹^,²

^1.昆明理工大学信息工程与自动化学院，昆明 650500
^2.云南省人工智能重点实验室（昆明理工大学），昆明 650500

收稿日期:2023-09-22 修回日期:2023-12-15 接受日期:2023-12-25 发布日期:2024-03-15 出版日期:2024-09-10
通讯作者: 余正涛
作者简介:黄于欣（1983—），男，河南洛阳人，副教授，博士，主要研究方向：信息检索、自然语言处理、文本摘要
徐佳龙（1999—），男，山西运城人，硕士研究生，主要研究方向：自然语言处理
余正涛（1970—），男，云南曲靖人，教授，博士生导师，博士，主要研究方向：自然语言处理、信息检索、机器翻译
侯书楷（1998—），男，山西晋中人，博士研究生，主要研究方向：自然语言处理、文本摘要
周家啟（1996—），男，云南腾冲人，硕士研究生，主要研究方向：自然语言处理、知识图谱。
基金资助:
国家自然科学基金资助项目(U21B2027);云南省基础研究项目(202301AT070471);云南省重大科技专项(202302AD080003);昆明理工大学“双一流”创建联合专项(202201BE070001-021)

Unsupervised text sentiment transfer method based on generation prompt

Yuxin HUANG¹^,², Jialong XU¹^,², Zhengtao YU¹^,²(), Shukai HOU¹^,², Jiaqi ZHOU¹^,²

^1.Faculty of Information Engineering and Automation，Kunming University of Science and Technology，Kunming Yunnan 650500，China
^2.Key Laboratory of Artificial Intelligence in Yunnan Province （Kunming University of Science and Technology），Kunming Yunnan 650500，China

Received:2023-09-22 Revised:2023-12-15 Accepted:2023-12-25 Online:2024-03-15 Published:2024-09-10
Contact: Zhengtao YU
About author:HUANG Yuxin， born in 1983， Ph. D.， associate professor. His research interests include information retrieval， natural language processing， text summarization.
XU Jialong， born in 1999， M. S. candidate. His research interests include natural language processing.
HOU Shukai， born in 1998， Ph. D. candidate. His research interests include natural language processing， text summarization.
ZHOU Jiaqi， born in 1996， M. S. candidate. His research interests include natural language processing， knowledge graph.
Supported by:
National Natural Science Foundation of China(U21B2027);Yunnan Provincial Basic Research Project(202301AT070471);Yunnan Provincial Major Science and Technology Project(202302AD080003);Kunming University of Science and Technology “Double First-Class” Joint Special Project(202201BE070001-021)

摘要/Abstract

摘要：

文本情感转换是在保留内容的基础上更改文本的情感属性。由于缺乏平行语料，现有无监督文本情感转换的方法主要通过文本重建和分类损失来构建情感和内容的潜在表征，实现情感转换。然而，这种弱监督信号训练策略在提示学习范式下的模型性能退化严重。针对以上问题，提出一种基于生成提示的无监督文本情感转换方法。首先，通过提示生成器生成文本内容提示；其次，融合目标情感提示作为最终提示；最后，构建两阶段的训练策略，为模型训练提供平滑的训练梯度以解决模型性能退化的问题。在情感转换的公共数据集Yelp上的实验结果表明，所提方法的文本保留度、情感转换分数和BLEU（BiLingual Evaluation Understudy）显著优于基于生成的方法UnpairedRL，分别提高了39.1%、62.3%和14.5%。

关键词: 无监督, 情感转换, 内容生成提示, 文本重建, 情感分类

Abstract:

Text sentiment transfer is to change text’s sentiment attribute while preserving its content. Due to the lack of parallel corpora， most of the existing unsupervised methods for text sentiment transfer construct latent representations of sentiment and content through text reconstruction and classification losses， and then realize sentiment transfer. However， this weakly supervised training strategy results in significant model performance degradation under prompt learning paradigms. To address this issue， an unsupervised text sentiment transfer method based on generation prompt was proposed. Firstly， textual content prompts were generated by using a prompt generator. Secondly， the target sentiment prompts were fused as the ultimate prompt. Finally， a two-stage training strategy was formulated to provide smooth training gradients for the model training， thereby solving the problem of model performance degradation. Experimental results on the public dataset for sentiment transfer — Yelp show that the proposed method significantly outperforms the generation based method UnpairedRL in text preservation， sentiment transfer score， and BLEU （BiLingual Evaluation Understudy）， and the improvements are 39.1%， 62.3%， and 14.5%， respectively.

Key words: unsupervised, sentiment transfer, content generation prompt, text reconstruction, sentiment classification

中图分类号:

TP391

黄于欣, 徐佳龙, 余正涛, 侯书楷, 周家啟. 基于生成提示的无监督文本情感转换方法[J]. 计算机应用, 2024, 44(9): 2667-2673.

Yuxin HUANG, Jialong XU, Zhengtao YU, Shukai HOU, Jiaqi ZHOU. Unsupervised text sentiment transfer method based on generation prompt[J]. Journal of Computer Applications, 2024, 44(9): 2667-2673.

图/表 8

参考文献 20

1	陈可佳，费子阳，陈景强，等. 文本风格迁移研究综述［J］. 软件学报， 2022， 33（12）： 4668-4687.
	CHEN K J， FEI Z Y， CHEN J Q， et al. Survey on text style transfer research ［J］. Journal of Software， 2022， 33（12）： 4668-4687.
2	LI J， JIA R， HE H， et al. Delete， retrieve， generate： a simple approach to sentiment and style transfer ［C］// Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 1 （Long Papers）. Stroudsburg： ACL， 2018： 1865-1874.
3	XU J， SUN X， ZENG Q， et al. Unpaired sentiment-to-sentiment translation： a cycled reinforcement learning approach ［C］// Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Stroudsburg： ACL， 2018： 979-988.
4	LI X L， LIANG P. Prefix-tuning： optimizing continuous prompts for generation ［C］// Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing （Volume 1： Long Papers）. Stroudsburg： ACL， 2021： 4582-4597.
5	RADFORD A， WU J， CHILD R， et al. Language models are unsupervised multitask learners ［EB/OL］. ［2023-11-03］. .
6	QIAO S， OU Y， ZHANG N， et al. Reasoning with language model prompting： a survey ［C］// Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Stroudsburg： ACL， 2023： 5368-5393.
7	WU X， ZHANG T， ZANG L， et al. Mask and infill： applying masked language model to sentiment transfer ［C］// Proceedings of the 28th International Joint Conference on Artificial Intelligence. California： IJCAI.org， 2019： 5271-5277.
8	HU Z， YANG Z， LIANG X， et al. Toward controlled generation of text ［C］// Proceedings of the 34th International Conference on Machine Learning. New York： JMLR.org， 2017： 1587-1596.
9	FU Z， TAN X， PENG N， et al. Style transfer in text： exploration and evaluation ［C］// Proceedings of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2018： 663-670.
10	LAMPLE G， SUBRAMANIAN S， SMITH E M， et al. Multiple-attribute text rewriting ［EB/OL］. （2023-05-06）［2023-08-17］. .
11	KRISHNA K， WIETING J， IYYER M. Reformulating unsupervised style transfer as paraphrase generation ［C］// Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2020： 737-762.
12	RILEY P， CONSTANT N， GUO M， et al. TextSETTR： few-shot text style extraction and tunable targeted restyling ［C］// Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing （Volume 1： Long Papers）. Stroudsburg： ACL， 2021： 3786-3800.
13	LAMPLE G， CONNEAU A， DENOYER L， et al. Unsupervised machine translation using monolingual corpora only ［EB/OL］. （2018-04-13）［2023-03-27］..
14	LUO F， LI P， ZHOU J， et al. A dual reinforcement learning framework for unsupervised text style transfer ［C］// Proceedings of the 28th International Joint Conference on Artificial Intelligence. California： IJCAI.org， 2019： 5116-5122.
15	DENG M， TAN B， LIU Z， et al. Compression， transduction， and creation： a unified framework for evaluating natural language generation ［C］// Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2021： 7580-7605.
16	POST M. A call for clarity in reporting BLEU scores ［C］// Proceedings of the 3rd Conference on Machine Translation： Research Papers. Stroudsburg： ACL， 2018： 186-191.
17	ZHANG T， KISHORE V， WU F， et al. BERTScore： evaluating text generation with BERT ［EB/OL］. （2020-02-24）［2023-04-18］..
18	PRABHUMOYE S， TSVETKOV Y， SALAKHUTDINOV R， et al. Style transfer through back-translation ［C］// Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Stroudsburg： ACL， 2018： 866-876.
19	SHEN T， LEI T， BARZILAY R， et al. Style transfer from non-parallel text by cross-alignment ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 6833-6844.
20	KIM H， SOHN K A. How positive are you： text style transfer using adaptive style embedding ［C］// Proceedings of the 28th International Conference on Computational Linguistics. ［S.l.］： International Committee on Computational Linguistics， 2020： 2115-2125.

类型	训练集样本数	验证集样本数	测试集样本数
积极	266 041	2 000	500
消极	177 218	2 000	500

类型	训练集样本数	验证集样本数	测试集样本数
积极	266 041	2 000	500
消极	177 218	2 000	500

模型		Content	Style	Fluency	Joint_score	GM	BLEU	BERTScore
编辑类模型	DeleteOnly	39.5	85.2	38.3	15.3	50.5	15.6	30.3
	RetrieveOnly	14.2	98.5	89.0	13.0	49.9	4.9	14.7
	DeleteRetrieve	39.7	89.6	43.5	18.6	53.7	16.5	30.8
	TemplateBase	47.2	82.7	34.8	13.5	51.4	20.0	33.3
生成类模型	Multidecoder	38.9	45.9	32.1	4.0	38.6	16.1	26.2
	Adaptive Style Embedding	40.9	84.3	21.4	8.7	41.9	14.3	28.9
	BackTranslation	16.7	94.4	46.2	9.3	41.8	7.1	18.1
	UnpairedRL	40.7	49.1	41.1	6.6	43.5	17.2	27.4
	CrossAlignment	30.1	73.4	28.3	8.4	39.7	11.7	23.8
	GPTST	56.6	79.7	42.8	23.4	57.8	19.7	44.0

模型		Content	Style	Fluency	Joint_score	GM	BLEU	BERTScore
编辑类模型	DeleteOnly	39.5	85.2	38.3	15.3	50.5	15.6	30.3
	RetrieveOnly	14.2	98.5	89.0	13.0	49.9	4.9	14.7
	DeleteRetrieve	39.7	89.6	43.5	18.6	53.7	16.5	30.8
	TemplateBase	47.2	82.7	34.8	13.5	51.4	20.0	33.3
生成类模型	Multidecoder	38.9	45.9	32.1	4.0	38.6	16.1	26.2
	Adaptive Style Embedding	40.9	84.3	21.4	8.7	41.9	14.3	28.9
	BackTranslation	16.7	94.4	46.2	9.3	41.8	7.1	18.1
	UnpairedRL	40.7	49.1	41.1	6.6	43.5	17.2	27.4
	CrossAlignment	30.1	73.4	28.3	8.4	39.7	11.7	23.8
	GPTST	56.6	79.7	42.8	23.4	57.8	19.7	44.0

提示方法	Content	Style	Fluency	Joint_score	GM	BLEU	BERTScore
离散提示	7.1	10.9	88.2	0.9	19.0	1.8	5.9
连续提示	17.3	56.7	5.6	0.8	17.6	6.6	14.7
GPTST（生成提示）	56.6	79.7	42.8	23.4	57.8	19.7	44.0

基于生成提示的无监督文本情感转换方法

Unsupervised text sentiment transfer method based on generation prompt

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 20

相关文章 15

编辑推荐

Metrics

模型	提示长度	Content	Style	Fluency	Joint_score	GM	BLEU	BERTScore
模型1	1	34.3	87.1	25.7	12.2	42.5	12.5	31.0
模型2	3	39.9	83.2	23.8	13.6	42.9	13.9	32.9
模型3	5	56.6	79.7	42.8	23.4	57.8	19.7	44.0
模型4	7	73.8	66.1	59.4	29.4	66.2	26.5	52.6
模型5	9	73.9	67.7	58.7	29.4	66.5	26.3	52.1

α	Content	Style	Fluency	Joint_score	GM	BLEU	BERTScore
0.1	72.1	67.4	59.4	30.3	66.1	25.3	51.8
0.3	60.7	69.4	44.2	22.9	57.1	21.2	46.2
0.5	61.8	74.3	45.8	24.7	59.5	21.2	46.4
0.7	58.6	78.9	42.9	23.8	58.3	20.6	45.0
0.8	56.6	79.7	42.8	23.4	57.8	19.7	44.0

模型		输出
编辑类模型	DeleteOnly	this place is always the best service for this venue.
	RetrieveOnly	the place has definitely changed over the years， becoming a very pricey venue.
	DeleteRetrieve	i would highly recommend this venue.
	TemplateBase	this just the right venue.
生成类模型	Multidecoder	this is a new custard.
	Adaptive Style Embedding	this is a great incredible fan and venue it is great.
	BackTranslation	this is definitely a great place.
	UnpairedRL	this is a wonderful inspiration .
	CrossAlignment	this is a wonderful shop .
	GPTST	this is a great venue.
原始输入（积极）		this is a horrible venue.
目标输出（消极）		this is a great venue.

[1]	贾洁茹, 杨建超, 张硕蕊, 闫涛, 陈斌. 基于自蒸馏视觉Transformer的无监督行人重识别[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2893-2902.
[2]	朱俊杰, 余丽, 李圣文, 周长征. 综合成分句法分析的技术名称识别[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1072-1079.
[3]	夏吾吉, 黄鹤鸣, 更藏措毛, 范玉涛. 基于无监督学习和监督学习的抽取式文本摘要综述[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1035-1048.
[4]	江锐, 刘威, 陈成, 卢涛. 非对称端到端的无监督图像去雨网络[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 922-930.
[5]	刘晶鑫, 黄雯静, 徐亮胜, 黄冲, 吴建生. 字典学习与样本关联保持结合的无监督特征选择模型[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3766-3775.
[6]	刘永江, 陈斌. 基于多尺度记忆库的像素级无监督工业异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3587-3594.
[7]	赵培, 乔焰, 胡荣耀, 袁新宇, 李敏悦, 张本初. 基于多域特征提取的多变量时间序列异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3419-3426.
[8]	胡能兵, 蔡彪, 李旭, 曹旦华. 基于图池化对比学习的图分类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3327-3334.
[9]	佟威, 何理扬, 李锐, 黄威, 黄振亚, 刘淇. 基于无监督语义哈希的高效相似题检索模型[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 206-216.
[10]	何添, 沈宗鑫, 黄倩倩, 黄雁勇. 基于自适应学习的多视图无监督特征选择方法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2657-2664.
[11]	黄梦林, 段磊, 张袁昊, 王培妍, 李仁昊. 基于Prompt学习的无监督关系抽取模型[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2010-2016.
[12]	许喆, 王志宏, 单存宇, 孙亚茹, 杨莹. 基于重构误差的无监督人脸伪造视频检测[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1571-1577.
[13]	葛孟婷, 万鸣华. 基于近邻监督局部不变鲁棒主成分分析的特征提取模型[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1013-1020.
[14]	王雨, 袁玉波, 过弋, 张嘉杰. 情感增强的对话文本情绪识别模型[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 706-712.
[15]	曹建乐, 李娜娜. 基于多层次注意力的语义增强情感分类模型[J]. 《计算机应用》唯一官方网站, 2023, 43(12): 3703-3710.