融合自监督和多层交叉注意力的多模态情感分析网络

doi:10.11772/j.issn.1001-9081.2023081209

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (8): 2387-2392.DOI: 10.11772/j.issn.1001-9081.2023081209

融合自监督和多层交叉注意力的多模态情感分析网络

薛凯鹏¹^,², 徐涛¹^,²(), 廖春节¹^,²

^1.西北民族大学中国民族信息技术研究院，兰州 730030
^2.语言与文化计算教育部重点实验室（西北民族大学），兰州 730030

收稿日期:2023-09-06 修回日期:2023-11-16 接受日期:2023-11-20 发布日期:2024-08-22 出版日期:2024-08-10
通讯作者: 徐涛
作者简介:薛凯鹏（2000—），男，山东青岛人，硕士，CCF会员，主要研究方向：多模态融合
徐涛（1986—），男，四川广安人，副教授，博士，CCF会员，主要研究方向：人工智能、知识图谱、信息检索、档案领域信息化 alfredxly@163.com
廖春节（1997—），女，重庆人，硕士，CCF会员，主要研究方向：知识图谱、推荐系统。
基金资助:
甘肃省高等学校青年博士基金资助项目(2022QB?016);中央高校基本科研业务费专项(31920230069);甘肃省青年科技计划项目(21JR1RA21);国家档案局科技项目(2021?X?56)

Multimodal sentiment analysis network with self-supervision and multi-layer cross attention

Kaipeng XUE¹^,², Tao XU¹^,²(), Chunjie LIAO¹^,²

^1.Institute of China National Information Technology，Northwest Minzu University，Lanzhou Gansu 730030，China
^2.Key Laboratory of Linguistic and Cultural Computing，Ministry of Education （Northwest Minzu University），Lanzhou Gansu 730030，China

Received:2023-09-06 Revised:2023-11-16 Accepted:2023-11-20 Online:2024-08-22 Published:2024-08-10
Contact: Tao XU
About author:XUE Kaipeng ， born in 2000， M. S. His research interestsinclude multimodal fusion.
XU Tao ， born in 1986， Ph. D. ， associate professor. His researchinterests include artificial intelligence， knowledge graph， informationretrieval， archival informatization.
LIAO Chunjie， born in 1997， M. S. Her research interestsinclude knowledge graph， recommender system.
Supported by:
This work is partially supported by Youth Doctoral Fund of GansuUniversities （2022QB-016）； Fundamental Research Funds for CentralUniversities （31920230069）； Youth Science and Technology Program ofGansu Province （21JR1RA21）； Technology Project of National ArchivesAdministration of China（ 2021-X-56）.

摘要/Abstract

摘要：

针对多模态情感分析任务中模态内信息不完整、模态间交互能力差和难以训练的问题，将视觉语言预训练（VLP）模型应用于多模态情感分析领域，提出一种融合自监督和多层交叉注意力的多模态情感分析网络（MSSM）。通过自监督学习强化视觉编码器模块，并加入多层交叉注意力以更好地建模文本和视觉特征，使模态内部信息更丰富完整，同时使模态间的信息交互更充分。此外，通过具有感知意识的快速、内存效率高的精确注意力FlashAttention解决Transformer中注意力计算高复杂度的问题。实验结果表明，与目前主流的基于对比文本-图像对的模型（CLIP）相比，MSSM在处理后的MVSA-S数据集上的准确率提高3.6个百分点，在MVSA-M数据集上的准确率提高2.2个百分点，验证所提网络能在降低运算成本的同时有效提高多模态信息融合的完整性。

关键词: 多模态, 情感分析, 自监督, 注意力机制, 视觉语言预训练模型

Abstract:

Aiming at the problems of incomplete intra-modal information， poor inter-modal interaction， and difficulty in training in multimodal sentiment analysis， a Multimodal Sentiment analysis network with Self-supervision and Multi-layer cross Attention fusion （MSSM） was proposed with Visual-and-Language Pre-training （VLP） model applied to the field of multimodal sentiment analysis. The visual encoder module was enhanced through self-supervised learning， and multi-layer cross attention was added to better model textual and visual features. Thus， the intra-modal information was made more abundant and complete， and the inter-modal information interaction was made more sufficient. Besides， the fast and memory-efficient exact attention with IO-awareness： FlashAttention was adopted in the proposed algorithm to address the high complexity of attention computation in Transformer. Experimental results show that compared with the current mainstream model Contrastive Language-Image Pre-training （CLIP）， MSSM improves the accuracy by 3.6 percentage points on the processed MVSA-S dataset and 2.2 percentage points on MVSA-M dataset， proving that the proposed network can effectively improve the integrity of multimodal information fusion while reducing computational cost.

Key words: multimodal, sentiment analysis, self-supervision, attention mechanism, Visual-and-Language Pre-training (VLP) model

中图分类号:

TP391.41

薛凯鹏, 徐涛, 廖春节. 融合自监督和多层交叉注意力的多模态情感分析网络[J]. 计算机应用, 2024, 44(8): 2387-2392.

Kaipeng XUE, Tao XU, Chunjie LIAO. Multimodal sentiment analysis network with self-supervision and multi-layer cross attention[J]. Journal of Computer Applications, 2024, 44(8): 2387-2392.

图/表 8

图1 文本特征提取

Fig. 1 Text feature extraction

图2 图像特征提取

Fig. 2 Image feature extraction

图3 ViT-B/32与ResNet50特征图提取对比（截至12层）

Fig. 3 Comparison of ViT-B/32 and ResNet50 feature map extraction （up to 12 layers）

图4 融合多层注意力的特征融合网络

Fig. 4 Feature fusion network with multi-layer attention

表1 MVSA-M数据集处理前后对比

Tab. 1 Comparison of MVSA-M dataset before and after processing

描述	原始数据集样本数	采样后数据集样本数
积极	11 653	6 429
中性	2 655	3 025
消极	3 569	4 875

表2 模型超参数设置

Tab. 2 Model hyperparameter setting

超参数	参数值	超参数	参数值
Batch_size	64	attention heads	16
Patch size	16	Dropout rate	0.2
Embedding dimension	512	Learning rate	10^-5
Number of layers	12	训练优化器	Adam

表3 网络模型实验结果 (%)

Tab. 3 Results of network model experiments

网络	MVSA-S		MVSA-M
网络	ACC	F1	ACC	F1
TomBERT	68.9	64.3	66.8	65.6
ViLBERT	67.6	67.1	69.7	67.1
CLIP	72.2	71.4	69.1	61.5
FLAVA	72.7	72.8	69.8	66.2
Blip	71.4	71.5	69.6	65.4
ViLT	68.7	69.8	68.7	63.4
MSSM	75.8	76.5	71.3	69.2

表4 多层交叉注意力和自监督解码器模块的影响 (%)

Tab. 4 Influence of multi-layer cross attention and self-supervised decoder modules

多层交叉注意力	自监督视觉解码器	ACC
×	×	68.9
×	√	70.4
√	×	69.6
√	√	71.3

参考文献 20

1	MORENCY L P， MIHALCEA R， DOSHI P. Towards multimodal sentiment analysis： harvesting opinions from the web［C］// Proceedings of the 13th International Conference on Multimodal Interfaces. New York： ACM， 2011： 169-176.
2	CHOY K L， FAN K K H， LO V. Development of an intelligent customer-supplier relationship management system： the application of case-based reasoning［J］. Industrial Management and Data Systems， 2003， 103（4）： 263-274.
3	MA L， LU Z， SHANG L， et al. Multimodal convolutional neural networks for matching image and sentence［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015： 2623-2631.
4	MAO J， XU W， YANG Y， et al. Explain images with multimodal recurrent neural networks［EB/OL］. （2014-10-04）［2023-03-12］..
5	LI G， DUAN N， FANG Y， et al. Unicoder-VL： a universal encoder for vision and language by cross-modal pre-training［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2020： 11336-11344.
6	DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16×16 words： Transformers for image recognition at scale［EB/OL］. （2021-06-03）［2023-03-03］..
7	TOUVRON H， CORD M， DOUZE M， et al. Training data-efficient image transformers & distillation through attention［C］// Proceedings of the 38th International Conference on Machine Learning. New York： JMLR.org， 2021： 10347-10357.
8	YU J， JIANG J. Adapting BERT for target-oriented multimodal sentiment classification［C］// Proceedings of the 28th International Joint Conference on Artificial Intelligence. California： ijcai.org， 2019： 5408-5414.
9	HOU R， CHANG H， MA B， et al. Cross attention network for few-shot classification［C］// Proceedings of the 33rd International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2019：4003-4014.
10	LU J， BATRA D， PARIKH D， et al. ViLBERT： pretraining task-agnostic visiolinguistic representations for vision-and-language tasks［C］// Proceedings of the 33rd International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2019， 32：13-23.
11	RADFORD A， KIM J W， HALLACY C， et al. Learning transferable visual models from natural language supervision［C］// Proceedings of the 38th International Conference on Machine Learning. New York： JMLR.org， 2021： 8748-8763.
12	KIM W， SON B， KIM I. ViLT： vision-and-language transformer without convolution or region supervision［C］// Proceedings of the 38th International Conference on Machine Learning. New York： JMLR.org， 2021： 5583-5594.
13	DAO T， FU D Y， ERMON S， et al. FlashAttention： fast and memory-efficient exact attention with io-awareness［C/OL］//Proceedings of the 33rd International Conference on Neural Information Processing Systems. （2022）［2023-11-12］..
14	HE P， LIU X， GAO J， et al. DeBERTa： decoding-enhanced BERT with disentangled attention［EB/OL］. （2021-10-06）［2023-11-12］..
15	OQUAB M， DARCET T， MOUTAKANNI T， et al. DINOv2： learning robust visual features without supervision［EB/OL］. （2023-04-14）［2023-11-12］..
16	NIU T， ZHU S， PANG L， et al. Sentiment analysis on multi-view social data［C］// Proceedings of the 2006 International Conference on MultiMedia Modeling， LNCS 9517. Cham： Springer， 2016： 15-27.
17	李文潇，梅红岩，李雨恬. 基于深度学习的多模态情感分析研究综述［J］. 辽宁工业大学学报（自然科学版）， 2022， 42（5）：293-298.
	LI W X， MEI H Y， LI Y T. Survey of multimodal sentiment analysis based on deep learning［J］. Journal of Liaoning Institute of Technology （Natural Science Edition）， 2022， 42（5）：293-298.
18	郭续，买日旦·吾守尔，古兰拜尔·吐尔洪. 基于多模态融合的情感分析算法研究综述［J］. 计算机工程与应用， 2024， 60（2）：1-18.
	GUO X， WUSHOUER M， TUERHONG G. Survey of sentiment analysis algorithms based on multimodal fusion［J］. Computer Engineering and Applications， 2024， 60（2）：1-18.
19	LI J， LI D， XIONG C， et al. BLIP： bootstrapping language-image pre-training for unified vision-language understanding and generation［C］// Proceedings of the 39th International Conference on Machine Learning. New York： JMLR.org， 2022： 12888-12900.
20	SINGH A， HU R， GOSWAMI V， et al. FLAVA： a foundational language and vision alignment model［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 15617-15629.

[1]	黄颖, 杨佳宇, 金家昊, 万邦睿. 用于RGBT跟踪的孪生混合信息融合算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2878-2885.
[2]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[3]	李力铤, 华蓓, 贺若舟, 徐况. 基于解耦注意力机制的多变量时序预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2732-2738.
[4]	唐廷杰, 黄佳进, 秦进. 基于图辅助学习的会话推荐[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2711-2718.
[5]	张睿, 张鹏云, 高美蓉. 自优化双模态多通路非深度前庭神经鞘瘤识别模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2975-2982.
[6]	赵志强, 马培红, 黑新宏. 基于双重注意力机制的人群计数方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2886-2892.
[7]	汪雨晴, 朱广丽, 段文杰, 李书羽, 周若彤. 基于交互注意力机制的心理咨询文本情感分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2393-2399.
[8]	高鹏淇, 黄鹤鸣, 樊永红. 融合坐标与多头注意力机制的交互语音情感识别[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2400-2406.
[9]	李钟华, 白云起, 王雪津, 黄雷雷, 林初俊, 廖诗宇. 基于图像增强的低照度人脸检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2588-2594.
[10]	莫尚斌, 王文君, 董凌, 高盛祥, 余正涛. 基于多路信息聚合协同解码的单通道语音增强[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2611-2617.
[11]	刘丽, 侯海金, 王安红, 张涛. 基于多尺度注意力的生成式信息隐藏算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2102-2109.
[12]	徐松, 张文博, 王一帆. 基于时空信息的轻量视频显著性目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2192-2199.
[13]	李大海, 王忠华, 王振东. 结合空间域和频域信息的双分支低光照图像增强网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2175-2182.
[14]	魏文亮, 王阳萍, 岳彪, 王安政, 张哲. 基于光照权重分配和注意力的红外与可见光图像融合深度学习模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2183-2191.
[15]	熊武, 曹从军, 宋雪芳, 邵云龙, 王旭升. 基于多尺度混合域注意力机制的笔迹鉴别方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2225-2232.

融合自监督和多层交叉注意力的多模态情感分析网络

Multimodal sentiment analysis network with self-supervision and multi-layer cross attention

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 20

相关文章 15

编辑推荐

Metrics