基于深度学习的多模态抑郁检测研究进展与未来展望

doi:10.11772/j.issn.1001-9081.2025091147

《计算机应用》唯一官方网站 ›› 2026, Vol. 46 ›› Issue (10): 3365-3374.DOI: 10.11772/j.issn.1001-9081.2025091147

• 前沿与综合应用 • 上一篇

基于深度学习的多模态抑郁检测研究进展与未来展望

任俊箫¹, 蓝小艳¹, 史旭阳¹^,²(), 李强¹

^1.西南科技大学信息与控制工程学院，四川绵阳 621010
^2.西南科大四川天府新区创新研究院，成都 610229

收稿日期:2025-09-26 修回日期:2025-12-01 接受日期:2025-12-03 发布日期:2025-12-18 出版日期:2026-10-10
通讯作者: 史旭阳
作者简介:任俊箫（1991—），男，四川绵阳人，讲师，博士，主要研究方向：信号处理、深度学习
蓝小艳（2000—），女，重庆人，硕士研究生，主要研究方向：抑郁检测、深度学习
李强（1982—），男，四川资阳人，教授，博士，CCF会员，主要研究方向：物联网、智能信息处理。
基金资助:
国家自然科学基金资助项目(62572406);四川省科技计划项目(2024NSFSC2040);西南科技大学博士基金资助项目(23zx7137)

Research progress and future prospects of multimodal depression detection based on deep learning

Junxiao REN¹, Xiaoyan LAN¹, Xuyang SHI¹^,²(), Qiang LI¹

^1.School of Information and Control Engineering，Southwest University of Science and Technology，Mianyang Sichuan 621010，China
^2.Tianfu Institute of Research and Innovation，Southwest University of Science and Technology，Chengdu Sichuan 610229，China

Received:2025-09-26 Revised:2025-12-01 Accepted:2025-12-03 Online:2025-12-18 Published:2026-10-10
Contact: Xuyang SHI
About author:REN Junxiao， born in 1991， Ph. D.， lecturer. His research interests include signal processing， deep learning.
LAN Xiaoyan， born in 2000， M. S. candidate. Her research interests include depression detection， deep learning.
LI Qiang， born in 1982， Ph. D.， professor. His research interests include internet of things， intelligent information processing.
Supported by:
National Natural Science Foundation of China(62572406);Sichuan Science and Technology Program(2024NSFSC2040);Doctoral Fund Project of Southwest University of Science and Technology(23zx7137)

摘要/Abstract

摘要：

有效的抑郁检测对于早期发现抑郁症潜在风险至关重要。传统方法依赖于临床访谈具有较强的主观性，易导致误诊和延误治疗。随着人工智能的发展，深度学习（DL）技术凭借卓越的特征表示与建模能力，逐渐成为抑郁检测的核心方法。然而，现有综述大多仍侧重于单一模态或传统方法，缺乏对抑郁检测领域中多模态深度学习方法的系统归纳，而多模态数据在提供互补抑郁线索上具有显著优势。因此，系统地综述了典型DL模型与多模态融合策略，总结了该领域的核心技术和最新进展。首先，回顾了抑郁检测方法从单模态到多模态的演进过程，形成以数据集与方法为主线的发展脉络。其次，重点讨论了抑郁检测应用中流行的深度学习模型及多模态融合策略，对比了不同模型与融合策略的性能差异，同时评述了不同多模态融合技术的优势和局限性。最后，总结了该领域所面临的挑战与未来创新的潜在方向。

关键词: 抑郁检测, 多模态数据, 融合策略, 深度学习, 特征融合

Abstract:

Effective detection of depression is crucial for early identification of potential depression risks. Traditional methods rely on clinical interviews， which are highly subjective and prone to misdiagnosis and delayed treatment. With the development of artificial intelligence， Deep Learning （DL） technology， with its superior feature representation and modeling capabilities， is becoming a core method for depression detection gradually. However， most existing reviews still focus on single-modality or traditional methods， lacking a systematic summary of multimodal DL methods in the field of depression detection， while multimodal data has significant advantages in providing complementary clues for depression. Therefore， typical DL models and multimodal fusion strategies were reviewed systematically， and the core techniques and latest advancements in this field were summarized. First， this paper reviewed the evolution of depression detection methods from single-modality to multimodality， and formed a development trajectory based on datasets and methods. Second， it focused on discussing popular DL models and multimodal fusion strategies in depression detection applications， compared the performance differences of different models and fusion strategies， and reviewed the advantages and limitations of different multimodal fusion techniques. Finally， it summarized the challenges and potential directions for future innovation in this field.

Key words: depression detection, multimodal data, fusion strategy, deep learning, feature fusion

中图分类号:

TP391.4

任俊箫, 蓝小艳, 史旭阳, 李强. 基于深度学习的多模态抑郁检测研究进展与未来展望[J]. 计算机应用, 2026, 46(10): 3365-3374.

Junxiao REN, Xiaoyan LAN, Xuyang SHI, Qiang LI. Research progress and future prospects of multimodal depression detection based on deep learning[J]. Journal of Computer Applications, 2026, 46(10): 3365-3374.

图/表 10

参考文献 93

[1]	Reddy M S. Depression — the global crisis［J］. Indian Journal of Psychological Medicine， 2012， 34（3）： 201-203.
[2]	秦璟，秦志光，李发礼，等. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断［J］. 计算机应用， 2024， 44（9）： 2970-2974.
	Qin Jing， Qin Zhiguang， Li Fali， et al. Diagnosis of major depressive disorder based on probabilistic sparse self-attention neural network［J］. Journal of Computer Applications， 2024， 44（9）： 2970-2974.
[3]	Pan J， Lin H， Dong Y， et al. MAMF-GCN： multi-scale adaptive multi-channel fusion deep graph convolutional network for predicting mental disorder［J］. Computers in Biology and Medicine， 2022， 148： No.105823.
[4]	Zhao X， Lou Z， Shah P T， et al. Integration of multi-modal biosensing approaches for depression： current status， challenges， and future perspectives［J］. Sensors， 2025， 25（15）： No.4858.
[5]	Hamilton M. The Hamilton rating scale for depression［M］// Sartorius N， Ban T A. Assessment of depression. Berlin： Springer， 1986： 143-152.
[6]	Pampouchidou A， Simos P G， Marias K， et al. Automatic assessment of depression based on visual cues： a systematic review［J］. IEEE Transactions on Affective Computing， 2019， 10（4）： 445-470.
[7]	Yang S， Liu S， Nie G， et al. Fine-grained multimodal fusion for depression assisted recognition based on hierarchical knowledge-enhanced prompt learning［J］. Expert Systems with Applications， 2025， 291： No.128532.
[8]	Lin Z， Wang Y， Zhou Y， et al. STE-Mamba： automated multimodal depression detection through emotional analysis and spatio-temporal information ensemble［C］// ICASSP 2025. Piscataway： IEEE， 2025： 1-5.
[9]	Thakur P， Kaur N， Aggarwal N， et al. A comprehensive review of unimodal and multimodal emotion detection： datasets， approaches， and limitations［J］. Expert Systems， 2025， 42（9）： No.e70103.
[10]	刘振焘，向春妮，刘陈陵，等. 基于语音的抑郁检测研究综述［J］. 信号处理， 2023， 39（4）： 616-631.
	Liu Zhentao， Xiang Chunni， Liu Chenling， et al. Survey on depression detection research based on speech signals［J］. Journal of Signal Processing， 2023， 39（4）： 616-631.
[11]	Han M M， Li X Y， Yi X Y， et al. Automatic recognition of depression based on audio and video： a review［J］. World Journal of Psychiatry， 2024， 14（2）： 225-233.
[12]	张石清，张星楠，赵小明. 基于音视频信息的深度多模态抑郁症识别综述［J］. 计算机技术与发展， 2023， 33（7）： 1-11， 40.
	Zhang Shiqing， Zhang Xingnan， Zhao Xiaoming. A survey of deep multimodal depression recognition based on audio-visual cues［J］. Computer Technology and Development， 2023， 33（7）： 1-11， 40.
[13]	Cao X， Zhai L， Zhai P， et al. Deep learning-based depression recognition through facial expression： a systematic review［J］. Neurocomputing， 2025， 627： No.129605.
[14]	Song S， Luo Y， Tumer T， et al. Loss relaxation strategy for noisy facial video-based automatic depression recognition［J］. ACM Transactions on Computing for Healthcare， 2024， 5（2）： No.12.
[15]	Xia Y， Liu L， Dong T， et al. A depression detection model based on multimodal graph neural network［J］. Multimedia Tools and Applications， 2024， 83（23）： 63379-63395.
[16]	Wang R， Huang J， Zhang J， et al. FacialPulse： an efficient RNN-based depression detection via temporal facial landmarks［C］// MM 2024. New York： ACM， 2024： 311-320.
[17]	Zhang X， Li B， Qi G. A novel multimodal depression diagnosis approach utilizing a new hybrid fusion method［J］. Biomedical Signal Processing and Control， 2024， 96（Pt A）： No.106552.
[18]	Li M， Wang Y， Yang C， et al. Automatic diagnosis of depression based on facial expression information and deep convolutional neural network［J］. IEEE Transactions on Computational Social Systems， 2024， 11（5）： 5728-5739.
[19]	Joshi J， Goecke R， Alghowinem S， et al. Multimodal assistive technologies for depression diagnosis and monitoring［J］. Journal on Multimodal User Interfaces， 2013， 7（3）： 217-228.
[20]	Yang L， Jiang D， He L， et al. Decision tree based depression classification from audio video and language information［C］// AVEC 2016. New York： ACM， 2016： 89-96.
[21]	Zhu Y， Shang Y， Shao Z， et al. Automated depression diagnosis based on deep networks to encode facial appearance and dynamics［J］. IEEE Transactions on Affective Computing， 2018， 9（4）： 578-584.
[22]	He L， Jiang D， Sahli H. Automatic depression analysis using dynamic facial appearance descriptor and Dirichlet process Fisher encoding［J］. IEEE Transactions on Multimedia， 2019， 21（6）： 1476-1486.
[23]	Niu M， Tao J， Liu B， et al. Multimodal spatiotemporal representation for automatic depression level detection［J］. IEEE Transactions on Affective Computing， 2023， 14（1）： 294-307.
[24]	Guo W， Yang H， Liu Z， et al. Deep neural networks for depression recognition based on 2D and 3D facial expressions under emotional stimulus tasks［J］. Frontiers in Neuroscience， 2021， 15： No.609760.
[25]	de Melo W C， Granger E， Hadid A. A deep multiscale spatiotemporal network for assessing depression from facial dynamics［J］. IEEE Transactions on Affective Computing， 2022， 13（3）： 1581-1592.
[26]	Tao Y， Yang M， Li H， et al. DepMSTAT： multimodal spatio-temporal attentional Transformer for depression detection［J］. IEEE Transactions on Knowledge and Data Engineering， 2024， 36（7）： 2956-2966.
[27]	Li Y， Sun C， Dong Y. A novel audio-visual multimodal semi-supervised model based on graph neural networks for depression detection［C］// ICASSP 2025. Piscataway： IEEE， 2025： 1-5.
[28]	Valstar M， Schuller B， Smith K， et al. AVEC 2013： the continuous audio/visual emotion and depression recognition challenge［C］// AVEC 2013. New York： ACM， 2013： 3-10.
[29]	Valstar M， Schuller B， Smith K， et al. AVEC 2014： 3D dimensional affect and depression recognition challenge［C］// AVEC 2014. New York： ACM， 2014： 3-10.
[30]	Gratch J， Artstein R， Lucas G， et al. The distress analysis interview corpus of human and computer interviews［C］// LREC 2014. Paris： European Language Resources Association， 2014： 3123-3128.
[31]	Yoon J， Kang C， Kim S， et al. D-Vlog： multimodal vlog dataset for depression detection［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2022， 36（11）： 12226-12234.
[32]	Ringeval F， Schuller B， Valstar M， et al. AVEC 2019 workshop and challenge： state-of-mind， detecting depression with AI， and cross-cultural affect recognition［C］// AVEC 2019. New York： ACM， 2019： 3-12.
[33]	Alghowinem S， Goecke R， Wagner M， et al. From joyous to clinically depressed： mood detection using spontaneous speech［C］// 25th International Florida Artificial Intelligence Research Society Conference. Palo Alto： AAAI Press， 2012： 141-146.
[34]	Dibeklioğlu H， Hammal Z， Cohn J F. Dynamic multimodal measurement of depression severity using deep autoencoding［J］. IEEE Journal of Biomedical and Health Informatics， 2018， 22（2）： 525-536.
[35]	Zou B， Han J， Wang Y， et al. Semi-structural interview-based Chinese multimodal depression corpus towards automatic preliminary screening of depressive disorders［J］. IEEE Transactions on Affective Computing， 2023， 14（4）： 2823-2838.
[36]	Shen Y， Yang H， Lin L. Automatic depression detection： an emotional audio-textual corpus and a GRU/BiLSTM-based model［C］// ICASSP 2022. Piscataway： IEEE， 2022： 6247-6251.
[37]	He L， Chen K， Zhao J， et al. LMVD： a large-scale multimodal vlog dataset for depression detection in the wild［J］. Information Fusion， 2025， 126（Pt B）： No.103632.
[38]	Cai H， Yuan Z， Gao Y， et al. A multi-modal open dataset for mental-disorder analysis［J］. Scientific Data， 2022， 9： No.178.
[39]	Baltrušaitis T， Robinson P， Morency L P. OpenFace： an open source facial behavior analysis toolkit［C］// WACV 2016. Piscataway： IEEE， 2016： 1-10.
[40]	King D E. Dlib-ml： a machine learning toolkit［J］. The Journal of Machine Learning Research， 2009， 10： 1755-1758.
[41]	Eyben F， Scherer K R， Schuller B W， et al. The Geneva Minimalistic Acoustic Parameter Set （GeMAPS） for voice research and affective computing［J］. IEEE Transactions on Affective Computing， 2016， 7（2）： 190-202.
[42]	He L， Niu M， Tiwari P， et al. Deep learning for depression recognition with audiovisual cues： a review［J］. Information Fusion， 2022， 80： 56-86.
[43]	Wu Y， Mi Q， Gao T. A comprehensive review of multimodal emotion recognition： techniques， challenges， and future directions［J］. Biomimetics， 2025， 10（7）： No.418.
[44]	Xu N， Huo H， Xu J， et al. Automatic diagnosis of depression based on attention mechanism and feature pyramid model［J］. PLoS ONE， 2024， 19（3）： No.e0295051.
[45]	Zhou X， Jin K， Shang Y， et al. Visually interpretable representation learning for depression recognition from facial images［J］. IEEE Transactions on Affective Computing， 2020， 11（3）： 542-552.
[46]	He L， Chan J C W， Wang Z. Automatic depression recognition using CNN with attention mechanism from videos［J］. Neurocomputing， 2021， 422： 165-175.
[47]	Graves A， Liwicki M， Fernández S， et al. A novel connectionist system for unconstrained handwriting recognition［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2009， 31（5）： 855-868.
[48]	Cho K， van Merriënboer B， Gu̇lçehre Ç， et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation［C］// EMNLP 2014. Stroudsburg： ACL， 2014： 1724-1734.
[49]	Hochreiter S， Schmidhuber J. Long short-term memory［J］. Neural Computation， 1997， 9（8）： 1735-1780.
[50]	Zhang S， Zheng D， Hu X， et al. Bidirectional long short-term memory networks for relation classification［C］// PACLIC 2015. Stroudsburg： ACL， 2015： 73-78.
[51]	Niu Z， Zhong G， Yu H. A review on the attention mechanism of deep learning［J］. Neurocomputing， 2021， 452： 48-62.
[52]	Chorowski J， Bahdanau D， Cho K， et al. End-to-end continuous speech recognition using attention-based recurrent NN： first results［PP/OL］. arXiv （2014-12-04）［2025-08-10］..
[53]	Vaswani A， Shazeer N， Parmar N， et al. Attention is all you need［C］// NeurIPS 2017. Red Hook： Curran Associates Inc.， 2017： 6000-6010.
[54]	刘紫权，史旭阳，李珂，等. 视觉语言模型架构发展综述［J］. 计算机应用， 2026， 46（6）： 1703-1711.
	Liu Ziquan， Shi Xuyang， Li Ke， et al. Review of vision-language model architecture development［J］. Journal of Computer Applications， 2026， 46（6）： 1703-1711.
[55]	Gong Y， Lai C I， Chung Y A， et al. SSAST： self-supervised audio spectrogram Transformer［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2022， 36（10）： 10699-10709.
[56]	Selva J， Johansen A S， Escalera S， et al. Video Transformers： a survey［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（11）： 12922-12943.
[57]	He L， Zhao J， Zhang J， et al. LMTformer： facial depression recognition with lightweight multi-scale Transformer from videos［J］. Applied Intelligence， 2025， 55（3）： No.195.
[58]	He L， Li Z， Tiwari P， et al. LSCAformer： long and short-term cross-attention-aware Transformer for depression recognition from video sequences［J］. Biomedical Signal Processing and Control， 2024， 98： No.106767.
[59]	Weber S， Deperrois N， Heun R， et al. Using a fine-tuned large language model for symptom-based depression evaluation［J］. npj Digital Medicine， 2025， 8： No.598.
[60]	Patapati S V. Integrating large language models into a tri-modal architecture for automated depression classification［PP/OL］. V5. arXiv （2024-10-11）［2025-04-19］..
[61]	Priyadarshana Y P P， Liang Z， Piumarta I. ProDepDet： out-of-domain knowledge transfer of pre-trained large language models for depression detection in text-based multi-party conversations［C］// IJCNN 2024. Piscataway： IEEE， 2024： 1-8.
[62]	Al Jazaery M， Guo G. Video-based depression level analysis by encoding deep spatiotemporal features［J］. IEEE Transactions on Affective Computing， 2021， 12（1）： 262-268.
[63]	Liu Z， Yuan X， Li Y， et al. PRA-Net： part-and-relation attention network for depression recognition from facial expression［J］. Computers in Biology and Medicine， 2023， 157： No.106589.
[64]	Li Y， Liu Z， Zhou L， et al. A facial depression recognition method based on hybrid multi-head cross attention network［J］. Frontiers in Neuroscience， 2023， 17： No.1188434.
[65]	Niu M， Li M， Fu C. PointTransform networks for automatic depression level prediction via facial keypoints［J］. Knowledge-Based Systems， 2024， 297： No.111951.
[66]	Rejaibi E， Komaty A， Meriaudeau F， et al. MFCC-based recurrent neural network for automatic clinical depression recognition and assessment from speech［J］. Biomedical Signal Processing and Control， 2022， 71（Pt A）： No.103107.
[67]	Mao K， Zhang W， Wang D B， et al. Prediction of depression severity based on the prosodic and semantic features with bidirectional LSTM and time distributed CNN［J］. IEEE Transactions on Affective Computing， 2023， 14（3）： 2251-2265.
[68]	Wei P C， Peng K， Roitberg A， et al. Multi-modal depression estimation based on sub-attentional fusion［C］// ECCVW 2022， LNCS 13806. Cham： Springer， 2023： 623-639.
[69]	Yang B， Wang P， Cao M， et al. Uncertainty-aware label contrastive distribution learning for automatic depression detection［J］. IEEE Transactions on Computational Social Systems， 2024， 11（2）： 2979-2989.
[70]	Hu M， Liu L， Wang X， et al. Parallel multiscale bridge fusion network for audio-visual automatic depression assessment［J］. IEEE Transactions on Computational Social Systems， 2024， 11（5）： 6830-6842.
[71]	Han Z， Shang Y， Shao Z， et al. Spatial-temporal feature network for speech-based depression recognition［J］. IEEE Transactions on Cognitive and Developmental Systems， 2024， 16（1）： 308-318.
[72]	Zhou L， Liu Z， Shangguan Z， et al. TAMFN： time-aware attention multimodal fusion network for depression detection［J］. IEEE Transactions on Neural Systems and Rehabilitation Engineering， 2023， 31： 669-679.
[73]	Thekkekara J P， Yongchareon S， Liesaputra V. An attention-based CNN-BiLSTM model for depression detection on social media text［J］. Expert Systems with Applications， 2024， 249（Pt C）： No.123834.
[74]	Lu L， Jiang Y， Li X， et al. Depression and anxiety detection method based on serialized facial expression imitation［J］. Engineering Applications of Artificial Intelligence， 2025， 149： No.110354.
[75]	Shoumy N J， Ang L M， Seng K P， et al. Multimodal big data affective analytics： a comprehensive survey using text， audio， visual and physiological signals［J］. Journal of Network and Computer Applications， 2020， 149： No.102447.
[76]	Zhang S， Yang Y， Chen C， et al. Deep learning-based multimodal emotion recognition from audio， visual， and text modalities： a systematic review of recent advancements and future prospects［J］. Expert Systems with Applications， 2024， 237（Pt C）： No.121692.
[77]	Ling T， Chen D， Li B. MDAVIF： a multi-domain acoustical-visual information fusion model for depression recognition from Vlog data［C］// ICASSP 2024. Piscataway： IEEE， 2024： 8115-8119.
[78]	Xing Y， Yang Y， Hu M， et al. A novel multimodal fusion method for depression detection using graph convolutional neural networks［J］. International Journal of Imaging Systems and Technology， 2025， 35（4）： No.e70142.
[79]	赖华，孙童，王文君，等. 多模态特征的越南语语音识别文本标点恢复［J］. 计算机应用， 2024， 44（2）： 418-423.
	Lai Hua， Sun Tong， Wang Wenjun， et al. Text punctuation restoration for Vietnamese speech recognition with multimodal features［J］. Journal of Computer Applications， 2024， 44（2）： 418-423.
[80]	de Melo W C， Granger E， Lopez M B. Encoding temporal information for automatic depression recognition from facial analysis［C］// ICASSP 2020. Piscataway： IEEE， 2020： 1080-1084.
[81]	Lam G W Q， Huang D Y， Lin W. Context-aware deep learning for multi-modal depression detection［C］// ICASSP 2019. Piscataway： IEEE， 2019： 3946-3950.
[82]	Gautam C， Raj A， Nemade B， et al. Depression recognition over fusion of visual and vocal expression using artificial intelligence［J］. Indonesian Journal of Electrical Engineering and Computer Science， 2024， 34（3）： 1753-1759.
[83]	Chen Q， Chaturvedi I， Ji S， et al. Sequential fusion of facial appearance and dynamics for depression recognition［J］. Pattern Recognition Letters， 2021， 150： 115-121.
[84]	Haque M R， Islam S M T U， Raju S M， et al. MMFformer： multimodal fusion Transformer network for depression detection［C］// SMC 2025. Piscataway： IEEE， 2025： 5912-5919.
[85]	Yang Y， Zheng W. Multi-level spatiotemporal graph attention fusion for multimodal depression detection［J］. Biomedical Signal Processing and Control， 2025， 110（Pt B）： No.108123.
[86]	Fan H， Zhang X， Xu Y， et al. Transformer-based multimodal feature enhancement networks for multimodal depression detection integrating video， audio and remote photoplethysmograph signals［J］. Information Fusion， 2024， 104： No.102161.
[87]	Wang Y， Lin Z， Teng Y， et al. SIMMA： multimodal automatic depression detection via spatiotemporal ensemble and cross-modal alignment［J］. IEEE Transactions on Computational Social Systems， 2025， 12（5）： 3548-3564.
[88]	de Silva L C， Ng P C. Bimodal emotion recognition［C］// 4th IEEE International Conference on Automatic Face and Gesture Recognition. Piscataway： IEEE， 2000： 332-335.
[89]	Wu Y， Lin C Y， Chang E Y， et al. Multimodal information fusion for video concept detection［C］// ICIP 2004， Volume 4. Piscataway： IEEE， 2004： 2391-2394.
[90]	Sinha A， Chen H， Danu D G， et al. Estimation and decision fusion： a survey［J］. Neurocomputing， 2008， 71（13/14/15）： 2650-2656.
[91]	Liang Y， Li S， Yan C， et al. Explaining the black-box model： a survey of local interpretation methods for deep neural networks［J］. Neurocomputing， 2021， 419： 168-182.
[92]	Liu Z， Chen B， Zhang S， et al. MPDRM： a multi-scale personalized depression recognition model via facial movements［J］. Neurocomputing， 2025， 632： No.129669.
[93]	Huang Z， Chen Y， Ren F， et al. SETD-Net： multi-scale spatiotemporal enhancement and multi-granularity temporal difference network for depression detection［J］. Biomedical Signal Processing and Control， 2026， 112（Pt C）： No.108900.

数据集	数据类型	被试者数	样本数	评估方法	评估标准	分类/回归	是否公开
BlackDog^［33］	视频+音频	130	80	QIDS-SR	临床诊断	分类	未公开
AVEC2013^［28］	视频+音频	82	150	BDI-Ⅱ	自我报告	回归	是（原始视频）
AVEC2014^［29］	视频+音频	84	300	BDI-Ⅱ	自我报告	回归	是（原始视频）
DAIC-WOZ^［30］	视频+音频+文本	142	189	PHQ-8	自我报告	分类	是（仅公开特征）
AVEC2019^［32］	视频+音频+文本	219	175	PHQ-8	自我报告	分类	是（仅公开特征）
Pittsburgh^［34］	视频+音频	49	57	DSM/HAMD	临床诊断	分类	是（仅公开特征）
CMDC^［35］	视频+音频+文本	—	78	PHQ-9	临床诊断	分类	是（仅公开特征）
EATD^［36］	音频+文本	—	162	SDS	自我报告	分类	是（原始音频）
D-Vlog^［31］	视频+音频	816	961	人工标注	视频日志	分类	是（仅公开特征）
LMVD^［37］	视频+音频	1 475	1 823	人工标注	视频日志	分类	是（仅公开特征）
MODMA^［38］	音频+脑电	—	147	PHQ-9/DSM-Ⅳ	临床诊断	分类	是（原始音频/脑电）

数据集	数据类型	被试者数	样本数	评估方法	评估标准	分类/回归	是否公开
BlackDog^［33］	视频+音频	130	80	QIDS-SR	临床诊断	分类	未公开
AVEC2013^［28］	视频+音频	82	150	BDI-Ⅱ	自我报告	回归	是（原始视频）
AVEC2014^［29］	视频+音频	84	300	BDI-Ⅱ	自我报告	回归	是（原始视频）
DAIC-WOZ^［30］	视频+音频+文本	142	189	PHQ-8	自我报告	分类	是（仅公开特征）
AVEC2019^［32］	视频+音频+文本	219	175	PHQ-8	自我报告	分类	是（仅公开特征）
Pittsburgh^［34］	视频+音频	49	57	DSM/HAMD	临床诊断	分类	是（仅公开特征）
CMDC^［35］	视频+音频+文本	—	78	PHQ-9	临床诊断	分类	是（仅公开特征）
EATD^［36］	音频+文本	—	162	SDS	自我报告	分类	是（原始音频）
D-Vlog^［31］	视频+音频	816	961	人工标注	视频日志	分类	是（仅公开特征）
LMVD^［37］	视频+音频	1 475	1 823	人工标注	视频日志	分类	是（仅公开特征）
MODMA^［38］	音频+脑电	—	147	PHQ-9/DSM-Ⅳ	临床诊断	分类	是（原始音频/脑电）

数据集	模型框架	回归/分类任务（分类器）	性能评估
AVEC2013或 AVEC2014	DepressNet^［45］	回归任务	MAE： 6.20（AVEC2013），MAE： 6.21（AVEC2014）
	CNN+RNN^［62］	回归任务	MAE： 7.37（AVEC2013），MAE： 7.22（AVEC2014）
	PRA-Net^［63］	回归任务	MAE： 6.08（AVEC2013），MAE： 6.04（AVEC2014）
	CNN+Transformer^［64］	回归任务	MAE： 6.05（AVEC2013），MAE： 6.01（AVEC2014）
	PointTransform^［65］	回归任务	MAE： 5.33（AVEC2013），MAE： 5.17（AVEC2014）
	CCANet（2D CNN）^［44］	回归任务	MAE： 6.66
	LSCAformer^［58］	回归任务	MAE： 6.12（AVEC2013），MAE： 6.05（AVEC2014）
DAIC-WOZ	LSTM^［66］	分类任务（FC+Softmax）	Acc： 76.27%
	CNN+RNN^［67］	分类任务（FC）	Acc： 95.81%
	CNN+BiLSTM^［68］	回归任务	MAE： 4.92
	RNN^［69］	分类任务（FC+Softmax）	Acc： 83%
	LSTM^［70］	回归任务	MAE： 3.87
	STFN^［71］	回归任务	MAE： 5.38
	CNN+LSTM^［15］	分类任务（FC+Softmax）	Acc： 86.10%
D-Vlog	TAMFN^［72］	分类任务（FC+Softmax）	F1： 65.82%
	DepMSTAT^［26］	分类任务（FC+Softmax）	Acc： 71.53%
	AVS-GNN^［27］	分类任务（对比学习）	F1： 88.17%
自建数据集	LSTM^［23］	分类任务（FC+Softmax）	Acc： 80.70%
	CNN-BiLSTM+Attention^［73］	分类任务（FC+Softmax）	Acc： 96.71%
	SFE-Former^［74］	回归任务，分类任务（FC+Softmax）	MAE： 5.53，Acc： 89.3%

数据集	模型框架	回归/分类任务（分类器）	性能评估
AVEC2013或 AVEC2014	DepressNet^［45］	回归任务	MAE： 6.20（AVEC2013），MAE： 6.21（AVEC2014）
	CNN+RNN^［62］	回归任务	MAE： 7.37（AVEC2013），MAE： 7.22（AVEC2014）
	PRA-Net^［63］	回归任务	MAE： 6.08（AVEC2013），MAE： 6.04（AVEC2014）
	CNN+Transformer^［64］	回归任务	MAE： 6.05（AVEC2013），MAE： 6.01（AVEC2014）
	PointTransform^［65］	回归任务	MAE： 5.33（AVEC2013），MAE： 5.17（AVEC2014）
	CCANet（2D CNN）^［44］	回归任务	MAE： 6.66
	LSCAformer^［58］	回归任务	MAE： 6.12（AVEC2013），MAE： 6.05（AVEC2014）
DAIC-WOZ	LSTM^［66］	分类任务（FC+Softmax）	Acc： 76.27%
	CNN+RNN^［67］	分类任务（FC）	Acc： 95.81%
	CNN+BiLSTM^［68］	回归任务	MAE： 4.92
	RNN^［69］	分类任务（FC+Softmax）	Acc： 83%
	LSTM^［70］	回归任务	MAE： 3.87
	STFN^［71］	回归任务	MAE： 5.38
	CNN+LSTM^［15］	分类任务（FC+Softmax）	Acc： 86.10%
D-Vlog	TAMFN^［72］	分类任务（FC+Softmax）	F1： 65.82%
	DepMSTAT^［26］	分类任务（FC+Softmax）	Acc： 71.53%
	AVS-GNN^［27］	分类任务（对比学习）	F1： 88.17%
自建数据集	LSTM^［23］	分类任务（FC+Softmax）	Acc： 80.70%
	CNN-BiLSTM+Attention^［73］	分类任务（FC+Softmax）	Acc： 96.71%
	SFE-Former^［74］	回归任务，分类任务（FC+Softmax）	MAE： 5.53，Acc： 89.3%

融合方法	模态	数据集	模型框架	性能指标
特征级融合	视频+音频	D-Vlog、EATD	TAMFN^［72］	F1： 65.82%，F1： 75%
	视频+音频+文本	DAIC-WOZ	RNN^［69］	Acc： 83%
	视频+音频	D-Vlog	MDAVIF^［77］	F1： 75.25%
	视频+音频+文本	DAIC-WOZ	BiLSTM-GCN^［78］	F1： 96.30%
决策级融合	音频+文本	DAIC-WOZ	CNN+Transformer^［81］	F1： 87%
	视频+音频+文本	DAIC-WOZ	BiLSTM-GNN^［15］	Acc： 86.10%
	视频+音频	DAIC-WOZ	CNN+LSTM^［82］	Acc： 93%（视频），Acc： 83%（音频）
模型级融合	视频+音频	D-Vlog	DepMSTAT^［26］	Acc： 71.53%，F1： 73.51%
	视频+音频	DAIC-WOZ	PMBFN^［70］	MAE： 3.87
	视频+音频+文本	DAIC-WOZ	MSGAF^［85］	F1： 93%，F1： 95%
	视频+音频	DAIC-WOZ	AVS-GNN^［27］	F1： 74.61%
混合融合策略	视频+音频	AVEC2013、AVEC2014	CNN-BiLSTM^［17］	MAE： 6.48，MAE： 7.01
	视频+音频+rPPG	AVEC2013、AVEC2014	TMFE+GFN^［86］	MAE： 6.60，MAE： 7.05
	音频+文本	AVEC2013、AVEC2014	SIMMA^［87］	MAE： 5.35，MAE： 5.14

基于深度学习的多模态抑郁检测研究进展与未来展望

Research progress and future prospects of multimodal depression detection based on deep learning

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 93

相关文章 15

编辑推荐

Metrics

[1]	何戡, 马洪峰, 宗学军, 史洪岩, 连莲, 宁博伟. 融合双通道语义特征的工业控制协议模糊测试方法DCSFFuzzer[J]. 《计算机应用》唯一官方网站, 2026, 46(9): 2877-2888.
[2]	徐晓翠, 李波, 邹宇童. 基于双分支表征融合与跨模态对齐的脑电信号解码模型[J]. 《计算机应用》唯一官方网站, 2026, 46(9): 3035-3042.
[3]	陈江彦, 王彦丹, 刘翼虎, 马应龙. 基于协同查询优化的长尾目标检测框架[J]. 《计算机应用》唯一官方网站, 2026, 46(9): 2769-2775.
[4]	董思语, 贾鑫, 张密, 陈新文, 孙昕霙, 程方骁. 基于CNN-Transformer编码器和多维脑电特征融合的抑郁状态识别模型[J]. 《计算机应用》唯一官方网站, 2026, 46(9): 3025-3034.
[5]	周益民, 符雯惠, 罗杰, 王娟. 基于时空特征增强网络的端到端抗屏摄攻击鲁棒视频水印[J]. 《计算机应用》唯一官方网站, 2026, 46(9): 2889-2897.
[6]	杨定礼, 卫元芳, 胡文瑞, 孔力杨, 于银山. 时空建模与层次化特征增强的行人重识别算法[J]. 《计算机应用》唯一官方网站, 2026, 46(9): 2776-2786.
[7]	崔伟, 张平, 肖卓凌, 陈卓航. 基于视觉SLAM的增量式语义建图系统[J]. 《计算机应用》唯一官方网站, 2026, 46(9): 2800-2808.
[8]	刘赏, 汤兆森, 刘鸿月, 董林芳, 周金. 共享语义条件下面向模态缺失的多模态情感分析模型[J]. 《计算机应用》唯一官方网站, 2026, 46(9): 2761-2768.
[9]	刘新亮, 徐雨时, 李杜白, 任延昭. 基于知识图谱的问答方法综述[J]. 《计算机应用》唯一官方网站, 2026, 46(8): 2394-2410.
[10]	闫江毓, 王世乾, 王红. 基于改进带梯度惩罚的Wasserstein生成对抗网络和时频特征融合的窃电检测方法[J]. 《计算机应用》唯一官方网站, 2026, 46(8): 2691-2698.
[11]	刘明, 沈东奇, 孟子洋. 双分支结构下多层次特征融合的点云配准网络[J]. 《计算机应用》唯一官方网站, 2026, 46(8): 2584-2593.
[12]	刘凤春, 邵馨莹, 张春英, 王立亚, 任静. 多尺度特征优化的单目深度估计框架FCMdepth[J]. 《计算机应用》唯一官方网站, 2026, 46(8): 2603-2611.
[13]	刘威, 李维刚, 田志强. 面向点云分类与分割的层次化旋转不变几何结构的表征学习方法[J]. 《计算机应用》唯一官方网站, 2026, 46(8): 2594-2602.
[14]	黄麟, 李英顺, 佟维妍, 张树园, 王子涵. 基于改进实时检测Transformer的遥感图像目标检测算法[J]. 《计算机应用》唯一官方网站, 2026, 46(8): 2652-2659.
[15]	郭晓金, 隋旭洋, 周柯男. 基于深度学习的STAR⁃RIS辅助混合场通信系统信道估计[J]. 《计算机应用》唯一官方网站, 2026, 46(8): 2548-2554.