融合坐标与多头注意力机制的交互语音情感识别

doi:10.11772/j.issn.1001-9081.2023081160

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (8): 2400-2406.DOI: 10.11772/j.issn.1001-9081.2023081160

• 人工智能 • 上一篇

融合坐标与多头注意力机制的交互语音情感识别

高鹏淇¹^,², 黄鹤鸣¹^,²(), 樊永红¹^,²

^1.青海师范大学计算机学院，西宁 810008
^2.藏语智能信息处理及应用国家重点实验室，西宁 810008

收稿日期:2023-08-29 修回日期:2023-11-10 接受日期:2023-11-20 发布日期:2024-08-22 出版日期:2024-08-10
通讯作者: 黄鹤鸣
作者简介:高鹏淇（1998—），女，辽宁阜新人，硕士研究生，主要研究方向：模式识别与智能系统、语音情感识别
黄鹤鸣（1969—），男，青海乐都人，教授，博士，主要研究方向：模式识别与智能系统 huanghm@qhnu.edu.cn
樊永红（1997—），女，宁夏吴忠人，博士研究生，主要研究方向：模式识别与智能系统、语音情感识别。
基金资助:
国家自然科学基金资助项目(620660039);青海省自然科学基金资助项目(2022?ZJ?925);高等学校学科创新引智计划项目(D20035)

Fusion of coordinate and multi-head attention mechanisms for interactive speech emotion recognition

Pengqi GAO¹^,², Heming HUANG¹^,²(), Yonghong FAN¹^,²

^1.College of Computer，Qinghai Normal University，Xining Qinghai 810008，China
^2.The State Key Laboratory of Tibetan Intelligent Information Processing and Application，Xining Qinghai 810008，China

Received:2023-08-29 Revised:2023-11-10 Accepted:2023-11-20 Online:2024-08-22 Published:2024-08-10
Contact: Heming HUANG
About author:GAO Pengqi ， born in 1998， M. S. candidate. Her researchinterests include pattern recognition and intelligent systems， speechemotion recognition.
HUANG Heming ， born in 1969， Ph. D.， professor. His researchinterests include pattern recognition and intelligent systems.
FAN Yonghong， born in 1997， Ph. D. candidate. Her researchinterests include pattern recognition and intelligent systems， speechemotion recognition.
Supported by:
This work is partially supported by National Natural ScienceFoundation of China （620660039）； Qinghai Provincial Natural ScienceFoundation （2022-ZJ-925）； Innovation and Intelligence Program forDisciplines in Colleges and Universities（ D20035）.

摘要/Abstract

摘要：

语音情感识别（SER）是人机交互系统中一项重要且充满挑战性的任务。针对目前SER系统中存在特征单一和特征间交互性较弱的问题，提出多输入交互注意力网络MIAN。该网络由特定特征坐标残差注意力网络和共享特征多头注意力网络两个子网络组成。前者利用Res2Net和坐标注意力模块学习从原始语音中获取的特定特征，并生成多尺度特征表示，增强模型对情感相关信息的表征能力；后者融合前向网络所获取的特征，组成共享特征，并经双向长短时记忆（BiLSTM）网络输入至多头注意力模块，能同时关注不同特征子空间中的相关信息，增强特征之间的交互性，以捕获判别性强的特征。通过2个子网络间的协同作用，能增加模型特征的多样性，增强特征之间的交互能力。在训练过程中，应用双损失函数共同监督，使同类样本更紧凑、不同类样本更分离。实验结果表明，MIAN在EMO-DB和IEMOCAP语料库上分别取得了91.43%和76.33%的加权平均精度，相较于其他主流模型，具有更好的分类性能。

关键词: 语音情感识别, 坐标注意力机制, 多头注意力机制, 特定特征学习, 共享特征学习

Abstract:

Speech Emotion Recognition （SER） is an important and challenging task in human-computer interaction systems. To address the issues of single-feature representation and weak feature interaction in current SER systems，a Multi-input Interactive Attention Network （MIAN） was proposed. The proposed network consists of two sub-networks，namely the specific feature coordinate residual attention network and the shared feature multi-head attention network. The former utilized Res2Net and coordinate attention modules to learn specific features extracted from raw speech and generate multiscale feature representations， enhancing the model’s ability to represent emotion-related information. The latter integrated the features obtained from the forward network to form shared features， which were then input into the multi-head attention module via Bidirectional Long Short-Term Memory（BiLSTM） network. This setup allowed for simultaneous attention to relevant information in different feature subspaces， enhancing the interaction among features and capturing highly discriminative features. The collaboration of the two sub-networks mentioned above increased the diversity of features and improve the interaction capability among features. During the training process， a dual-loss function was applied for joint supervision，aiming to make the samples of the same class more compact and the samples of different classes more separated. The experimental results demonstrate that the proposed model achieves a weighted average accuracy of 91.43% on EMO-DB corpus and 76.33% on IEMOCAP corpus. Compared to other state-of-the-art models，the proposed model exhibits superior classification performance.

Key words: Speech Emotion Recognition (SER), coordinate attention mechanism, multi-head attention mechanism, specific feature learning, shared feature learning

中图分类号:

TP183

高鹏淇, 黄鹤鸣, 樊永红. 融合坐标与多头注意力机制的交互语音情感识别[J]. 计算机应用, 2024, 44(8): 2400-2406.

Pengqi GAO, Heming HUANG, Yonghong FAN. Fusion of coordinate and multi-head attention mechanisms for interactive speech emotion recognition[J]. Journal of Computer Applications, 2024, 44(8): 2400-2406.

图/表 13

图1 MIAN模型结构

Fig. 1 Architecture of MIAN model

图2 Res2Net模型的结构

Fig. 2 Architecture of Res2Net model

图3 引入CA机制的Res2Net的结构

Fig. 3 Architecture of Res2Net with CA mechanism

图4 多头注意力机制结构

Fig. 4 Architecture of multi-head attention mechanism

表1 EMO-DB情感语料库样本分布

Tab. 1 Sample distribution of EMO-DB emotion corpus

情感	高兴	愤怒	中性	悲伤	无聊	厌恶	恐惧	总数
数量	71	127	79	62	81	46	69	535

表2 IEMOCAP情感语料库样本分布

Tab. 2 Sample distribution of IEMOCAP emotion corpus

情感	高兴	愤怒	中性	悲伤	总数
数量	1 636	1 103	1 708	1 084	5 531

表3 MIAN不同模块在EMO-DB和IEMOCAP语料库上的WA值 ( %)

Tab. 3 WA values of different modules of MIAN on EMO-DB and IEMOCAP corpora

输入方式	模块	EMO-DB	IEMOCAP
单输入	MFSC	87.01	72.53
	MEL（H，P）	86.91	71.10
	Prosody	85.27	67.29
多输入	SCRA	89.75	73.35
	SMHA	88.56	74.84
	MIAN	91.43	76.33

表4 不同归一化方式对模型MIAN的WA值 (%)

Tab. 4 WA values of different normalization methods in model MIAN

归一化方式	EMO-DB	IEMOCAP
BN	90.06	75.83
IN	91.43	76.33

表5 联合监督的有效性验证的WA值 ( %)

Tab. 5 WA value for effectiveness validation of joint supervision

方法	EMO-DB	IEMOCAP
Single-loss	91.27	75.43
Double-loss	91.43	76.33

图5 分类可视化

Fig. 5 Classification visualization

图6 模型MIAN在EMO-DB语料库上混淆矩阵

Fig. 6 Confusion matrix of MIAN model on EMO-DB

图7 MIAN模型在IEMOCAP语料库上混淆矩阵

Fig. 7 Confusion matrix of MIAN model on IEMOCAP

表6 MIAN与现有SER方法在EMO-DB和IEMOCAP语料库上加权平均精度对比 (%)

Tab. 6 WA comparison of MIAN and existing SER methods on EMO-DB and IEMOCAP corpora

语料库	模型	WA
EMO-DB	BiLSTM_DSA	85.95
	SFCA	83.30
	DYCA_BiLSTM	88.01
	MIAN	91.43
IEMOCAP	BiLSTM_DSA	61.20
	PCNSE_SADRN_CTC	73.10
	CNN_ECA+BiLSTM^［11］	76.00
	MIAN	76.33

参考文献 28

1	LI D， LIU J， YANG Z， et al. Speech emotion recognition using recurrent neural networks with directional self-attention［J］. Expert Systems with Applications， 2021， 173： 114683.
2	张雪英，孙颖，张卫，等. 语音情感识别的关键技术［J］. 太原理工大学学报， 2015， 46（6）： 629-636.
	ZHANG X Y， SUN Y， ZHANG W， et al. Key technologies for speech emotion recognition ［J］. Journal of Taiyuan University of Technology， 2015， 46（6）： 629-636.
3	SWAIN M， ROUTRAY A， KABISATPATHY P. Databases， features and classifiers for speech emotion recognition： a review［J］. International Journal of Speech Technology， 2018， 21： 93-120.
4	ZHANG S， ZHAO X， TIAN Q. Spontaneous speech emotion recognition using multiscale deep convolutional LSTM［J］. IEEE Transactions on Affective Computing， 2022， 13（2）： 680-688.
5	MIRSAMADI S， BARSOUM E， ZHANG C. Automatic speech emotion recognition using recurrent neural networks with local attention ［C］ // Proceedings of the 2017 IEEE International Conference on Acoustics， Speech， and Signal Processing. Piscataway： IEEE， 2017： 2227-2231.
6	WANG H， CUI Z， CHEN Y， et al. Predicting hospital readmission via cost-sensitive deep learning［J］. IEEE/ACM Transactions on Computational Biology and Bioinformatics， 2018，15（6）： 1968-1978.
7	刘建兴，蔡国永，吕光瑞，等. 基于深度双向长短时记忆网络的文本情感分类［J］. 桂林电子科技大学学报，2018， 38（2）： 122-126.
	LIU J X， CAI G Y， LV G R， et al. Text sentiment classification based on deep bidirectional long-short-term memory network［J］. Journal of Guilin University of Electronic Technology， 2018， 38（2）： 122-126.
8	PENG Z， LU Y， PAN S， et al. Efficient speech emotion recognition using multi-scale CNN and attention ［C］// Proceedings of the 2021 IEEE International Conference on Acoustics， Speech， and Signal Processing. Piscataway： IEEE， 2021： 3020-3024.
9	XIE Y， LIANG R Y， LIANG Z L， et al. Speech emotion classification using attention based LSTM ［J］. IEEE/ACM Transactions. on Audio， Speech， and Language Processing， 2019， 27（11）： 1675-1685.
10	VASWANI A， SHAZEER N， PARMAR N，et al ．Attention is all you need［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 6000-6010．
11	戴妍妍，金赟，马勇，等. 基于高效通道注意力机制的语音情感识别方法［J］. 信号处理，2021， 37（10）： 1835-1842.
	DAI Y Y， JIN Y， MA Y， et al ．Speech emotion recognition based on efficient channel attention［J］. Journal of Signal Processing， 2021， 37（10）： 1835-1842.
12	WANG Q， WU B， ZHU P，et al ． ECA- Net： efficient channel attention for deep convolutional neural networks［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 11531-11539．
13	BHOSALE S， CHAKRABORTY R， KOPPARAPU S K. Deep encoded linguistic and acoustic cues for attention based end to end speech emotion recognition［C］// Proceedings of the 2020 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway： IEEE， 2020： 7189-7193.
14	LI R， WU Z， JIA J， et al. Dilated residual network with multi- head self-attention for speech emotion recognition［C］// Proceedings of the 2019 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway： IEEE， 2019： 6675-6679.
15	耿磊，傅洪亮，陶华伟，等. 基于动态卷积递归神经网络的语音情感识别［J］. 计算机工程，2023， 49（4）： 125-130.
	GENG L， FU H L， TAO H W， et al. Speech emotion recognition based on dynamic convolutional recurrent neural network［J］. Computer Engineering， 2023， 49（4）： 125-130.
16	PENG Z C， ZHU Z， UNOKI M， et al. Auditory-inspired end-to-end speech emotion recognition using 3D convolutional recurrent neural networks based on spectral-temporal representation［C］// Proceedings of the 2018 IEEE International Conference on Multimedia and Expo. Piscataway： IEEE， 2018： 1-6.
17	CHEN Q， HUANG G. A novel dual attention-based BiLSTM with hybrid features in speech emotion recognition［J］. Engineering Applications of Artificial Intelligence， 2021， 102： 104277.
18	SEPAS-MOGHADDAM A， ETEMAD A， PEREIRA F， et al. Facial emotion recognition using light field images with deep attention-based bidirectional LSTM［C］// Proceedings of the 2020 IEEE International Conference on Acoustics， Speech， and Signal Processing. Piscataway： IEEE， 2020： 3367-3371.
19	GAO S-H， CHENG M-M， ZHAO K， et al. Res2Net： a new multi-scale backbone architecture［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021， 43（2）： 652-662.
20	HOU Q， ZHOU D， FENG J. Coordinate attention for efficient mobile network design［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 13708-13717.
21	IOFFE S， SZEGEDY C. Batch normalization： accelerating deep network training by reducing internal covariate shift ［C］// Proceedings of the 32nd International Conference on Machine Learning. New York： JMLR.org， 2015： 448-456.
22	ULYANOV D， VEDALDI A， LEMPITSKY V. Instance normalization： the missing ingredient for fast stylization［EB/OL］. （2016-07-27）［2023-08-01］. .
23	BURKHARDT F， PAESCHKE A， ROLFES M， et al. A database of German emotional speech［C］// Proceedings of the Interspeech 2005. Baixas： International Speech Communication Association， 2005： 1517-1520．
24	BUSSO C， BULUT M， LEE C-C， et al. IEMOCAP： interactive emotional dyadic motion capture database［J］. Language Resources and Evaluation Lang， 2008， 42（4）： 335-359.
25	HOU M， ZHANG Z， CAO Q， et al. Multi-view speech emotion recognition via collective relation construction［J］. IEEE/ACM Transactions on Audio， Speech and Language Processing， 2022， 30： 218-229.
26	ABDEL-HAMID O， A-R MOHAMED， JIANG H， et al. Convolutional neural networks for speech recognition［J］. IEEE/ACM Transactions on Audio， Speech， Language Processing， 2014， 22（10）： 1533-1545.
27	ZHAO Z， LI Q， ZHANG Z， et al. Combining a parallel 2D CNN with a self-attention dilated residual network for CTC-based discrete speech emotion recognition［J］. Neural Networks， 2021， 141： 52-60.
28	LI S， XING X， FAN W， et al. Spatiotemporal and frequential cascaded attention networks for speech emotion recognition［J］. Neurocomputing， 2021， 448： 238-248.

[1]	周菊香, 刘金生, 甘健侯, 吴迪, 李子杰. 基于多尺度时序感知网络的课堂语音情感识别方法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1636-1643.
[2]	张凯, 覃正楚, 刘月, 秦心怡. 多学习行为协同的知识追踪模型[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1422-1429.
[3]	汪洋, 傅洪亮, 陶华伟, 杨静, 谢跃, 赵力. 基于决策边界优化域自适应的跨库语音情感识别[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 374-379.
[4]	徐丹, 龚红仿, 罗容容. 具有方面项和上下文表示的方面情感分析[J]. 《计算机应用》唯一官方网站, 2023, 43(10): 3086-3092.
[5]	杨磊, 赵红东, 于快快. 基于多头注意力机制的端到端语音情感识别[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1869-1875.
[6]	李书玲刘蓉张鎏钦刘红. 基于改进型SVM算法的语音情感识别[J]. 计算机应用, 2013, 33(07): 1938-1941.
[7]	付丽琴毛峡陈立江. 基于改进的排序式选举算法的语音情感融合识别[J]. 计算机应用, 2009, 29(2): 381-385.
[8]	梁泽马义德张恩溯朱望飞汤书森. 一种基于脉冲耦合神经网络的语音情感识别新方法[J]. 计算机应用, 2008, 28(3): 710-713.

融合坐标与多头注意力机制的交互语音情感识别

Fusion of coordinate and multi-head attention mechanisms for interactive speech emotion recognition

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 28

相关文章 8

编辑推荐

Metrics