基于多粒度自注意力机制的抑郁症预测模型

doi:10.11772/j.issn.1001-9081.2022121862

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (S2): 34-40.DOI: 10.11772/j.issn.1001-9081.2022121862

基于多粒度自注意力机制的抑郁症预测模型

谭朋柳(), 张露玉, 徐光勇, 徐滕

南昌航空大学软件学院，南昌 330063

收稿日期:2022-12-15 修回日期:2023-03-01 接受日期:2023-03-08 发布日期:2024-01-09 出版日期:2023-12-31
通讯作者: 谭朋柳
作者简介:谭朋柳（1975—），男，湖北崇阳人，副教授，博士，CCF会员，主要研究方向：智能医疗、区块链、信息物理融合系统
张露玉（1997—），女，江西赣州人，硕士研究生，主要研究方向：智能医疗、疾病预测
徐光勇（1997—），男，江西南昌人，硕士研究生，主要研究方向：智能医疗、疾病预测
徐滕（1998—），女，江西南昌人，硕士研究生，主要研究方向：智能医疗、区块链。
基金资助:
国家自然科学基金资助项目(61961029);江西省科技厅重点研发计划项目(20171ACE50025)

Depression prediction model based on multi-granularity self-attention mechanism

Pengliu TAN(), Luyu ZHANG, Guangyong XU, Teng XU

School of Software，Nanchang Hangkong University，Nanchang Jiangxi 330063，China

Received:2022-12-15 Revised:2023-03-01 Accepted:2023-03-08 Online:2024-01-09 Published:2023-12-31
Contact: Pengliu TAN

摘要/Abstract

摘要：

针对基于稀疏文本的抑郁症预测模型特征提取能力不足的问题，提出一种基于分层多粒度自注意网络（HMG-SAN）的模型。首先，通过全局向量（GloVe）模型获取词向量，解决词语和语句的向量化表示的问题；然后通过双向门控循环单元（Bi-GRU）获取文本结构中的词序信息和文本特征，解决提取上下文依赖的特征信息的问题；再通过多粒度自注意力（MG-SA）机制识别不同特征，解决不同粒度短语信息捕捉的问题；最后使用softmax函数获取分类结果。HMG-SAN模型的亮点在于MG-SA机制的融入，对于捕获文本重要词汇提供了很大帮助。在遇险分析访谈语料库（DAIC）数据集上与基于分层注意力网络（HAN）的模型和分层自注意力网络（HSAN）的模型进行对比实验，实验结果表明，所提模型的准确率和召回率均有显著提升，其中，准确率分别提升了2.74%和1.35%，召回率分别提升了7.35%和4.29%。可见，HMG-SAN模型可以更加准确地捕获受访者的抑郁状态，并以此进行更加高效的抑郁症预测。

关键词: 文本分类, 多粒度自注意力机制, 双向门控循环单元, 深度神经网络, 抑郁症预测

Abstract:

Aiming at the problem of insufficient feature extraction ability of depression prediction models based on sparse text， a model based on Hierarchical Multi-Granularity Self-Attention Network （HMG-SAN） was proposed. Firstly， the word vectors were obtained through the Global Vector （GloVe） model to solve the problem of vectorized representation of words and sentences. Then， the word order information and text features in the text structure were obtained by Bi-directional Gated Recurrent Unit （Bi-GRU） to solve the problem of extracting context-dependent feature information. Then， MG-SA （Multi-Granularity Self-Attention） mechanism was used to identify different features to solve the problem of different granularity phrase information capture. Finally， the softmax function was used to obtain the classification results. The highlight of HMG-SAN model is the integration of MG-SA mechanism， which provides a great help for capturing important words in the text. Compared with the Hierarchical Attention Network （HAN） based model and Hierarchical Self-Attention Network （HSAN） based model on the Distress Analysis Interview Corpus （DAIC） dataset， experimental results show that the accuracy and recall rate of the proposed model are significantly improved. Among them， the precision is increased by 2.74% and 1.35% respectively， and the recall rate is increased by 7.35% and 4.29% respectively. In summary， HMG-SAN can capture the depression state of the respondents more accurately， and predict depression more efficiently.

Key words: text classification, multi-granularity self-attention mechanism, Bi-directional Gated Recurrent Unit (Bi-GRU), deep neural network, depression prediction

中图分类号:

TP391.1

谭朋柳, 张露玉, 徐光勇, 徐滕. 基于多粒度自注意力机制的抑郁症预测模型[J]. 计算机应用, 2023, 43(S2): 34-40.

Pengliu TAN, Luyu ZHANG, Guangyong XU, Teng XU. Depression prediction model based on multi-granularity self-attention mechanism[J]. Journal of Computer Applications, 2023, 43(S2): 34-40.

图/表 9

参考文献 32

1	MONCRIEFF J， COOPER R E， STOCKMANN T， et al.The serotonin theory of depression： a systematic umbrella review of the evidence ［EB/OL］.［2022-10-03］. . 10.1038/s41380-022-01661-0
2	GAO S， CALHOUN V D， SUI J. Machine learning in major depression： from classification to treatment outcome prediction ［J］. CNS Neuroscience & Therapeutics， 2018， 24（11）： 1037-1052. 10.1111/cns.13048
3	VÁZQUEZ-ROMERO A， GALLARDO-ANTOLÍN A. Automatic detection of depression in speech using ensemble convolutional neural networks ［J］.Entropy， 2020，22（6）： No.688. 10.3390/e22060688
4	COHN J F， KRUEZT S， MATTHEWS I， et al. Detecting depression from facial actions and vocal prosody ［EB/OL］.［2022-11-03］.. 10.1109/acii.2009.5349358
5	DESHPANDE M， RAO V. Depression detection using emotion artificial intelligence ［C］// Proceedings of the 2017 International Conference on Intelligent Sustainable Systems. Piscataway： IEEE，2017： 858-862. 10.1109/iss1.2017.8389299
6	YANG L， JIANG D， HE L， et al. Decision tree based depression classification from audio video and language information ［C］// Proceedings of the 6th International Workshop on Audio/Visual Emotion Challenge. New York：ACM， 2016：89-96. 10.1145/2988257.2988269
7	SU M H， WU C H， HUANG K Y， et al. LSTM-based text emotion recognition using semantic and emotional word vectors ［C］//Proceedings of the 2018 1st Asian Conference on Affective Computing and Intelligent Interaction. Piscataway： IEEE， 2018： 1-6. 10.1109/aciiasia.2018.8470378
8	HANAI T AL， GHASSEMI M， GLASS J. Detecting depression with audio/text sequence modeling of interviews ［EB/OL］. ［2022-10-18］.. 10.21437/interspeech.2018-2522
9	HAQUE A， GUO M， MINER A S， et al. Measuring depression symptom severity from spoken language and 3D facial expressions［EB/OL］. ［2022-10-10］. .
10	MALLOL-RAGOLTA A， ZHAO Z， STAPPEN L， et al. A hierarchical attention network-based approach for depression detection from transcribed clinical interviews［EB/OL］. ［2022-10-20］. . 10.21437/interspeech.2019-2036
11	OTHMANI A， KADOCH D， BENTOUNES K， et al. Towards robust deep neural networks for affect and depression recognition from speech ［C］// Proceedings of the 2021 International Conference on Pattern Recognition， LNCS 12662. Cham： Springer， 2021： 5-19.
12	MA X， YANG H， CHEN Q， et al. DepaudioNet： an efficient deep model for audio based depression classification ［C］// Proceedings of the 6th International Workshop on Audio/vVisual Emotion Challenge. New York：ACM， 2016： 35-42. 10.1145/2988257.2988267
13	LOSADA D E， CRESTANI F， PARAPAR J. CLEF 2017 eRisk overview： early risk prediction on the internet： experimental foundations ［EB/OL］.［2022-11-03］.. 10.1007/978-3-319-65813-1_30
14	LOSADA D E， CRESTANI F， PARAPAR J. eRisk 2020： Self-harm and depression challenges ［C］// Proceedings of the 2020 European Conference on Information Retrieval， LNCS 12036. Cham： Springer，2020： 557-563.
15	COPPERSMITH G， DREDZE M， HARMAN C， et al. CLPsych 2015 shared task： depression and PTSD on Twitter ［C］// Proceedings of the 2nd workshop on Computational Linguistics and Clinical Psychology： from Linguistic Signal to Clinical Reality.Colorado：Association for Computational Linguistics， 2015： 31-39. 10.3115/v1/w15-1204
16	TROTZEK M， KOITKA S， FRIEDRICH C M. Utilizing neural networks and linguistic metadata for early detection of depression indications in text sequences ［J］. IEEE Transactions on Knowledge & Data Engineering， 2020，32（3）： 588-601. 10.1109/tkde.2018.2885515
17	TROTZEK M， KOITKA S， FRIEDRICH C M. Word embeddings and linguistic metadata at the CLEF 2018 tasks for early detection of depression and anorexia［EB/OL］. ［2022-10-19］. . 10.1007/978-3-319-98932-7_18
18	谭皓，邓树文，钱涛，等.基于表情符注意力机制的微博情感分析模型［J］.计算机应用研究，2019，36（9）：2647-2650.
19	BAHDANAU D， CHO K， BENGIO Y. Neural machine translation by jointly learning to align and translate ［EB/OL］. ［2022-10-15］.. 10.1017/9781108608480.003
20	CHENG S Y， GUO Z Y， YIN J. Integration of multi-granularity information for natural language inference［J］. Journal of Computers， 2020， 31（6）： 78-90.
21	WANG G， LI C， WANG W， et al. Joint embedding of words and labels for text classification ［EB/OL］. ［2022-10-15］. . 10.18653/v1/p18-1216
22	李卢玲，杨武，王远伦，等.结合注意力机制的长文本分类方法［J］. 计算机应用，2018，38（5）：1272-1277.
23	HAO J， WANG X， SHI S， et al. Multi-granularity self-attention for neural machine translation［EB/OL］. ［2022-10-16］. . 10.18653/v1/d19-1082
24	CHO K， VAN MERRIËNBOER B， GULCEHRE C， et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation［EB/OL］. ［2022-10-19］.. 10.3115/v1/d14-1179
25	WANG Y， SKERRY-RYAN R J， STANTON D， et al. Tacotron： towards end-to-end speech synthesis［EB/OL］. ［2022-10-20］. . 10.21437/interspeech.2017-1452
26	PENNINGTON J， SOCHER R， MANNING C D.GloVe： global vectors for word representation ［EB/OL］. ［2022-10-20］. . 10.3115/v1/d14-1162
27	MIKOLOV T， CHEN K， CORRADO G， et al. Efficient estimation of word representations in vector space ［EB/OL］. ［2022-10-19］. . 10.3126/jiee.v3i1.34327
28	IWATA K. Extending the peak bandwidth of parameters for softmax selection in reinforcement learning ［J］. IEEE Transactions on Neural Networks and Learning Systems， 2016， 28（8）： 1865-1877. 10.1109/tnnls.2016.2558295
29	TORO-VIZCARRONDO C， WALLACE T D. A test of the mean square error criterion for restrictions in linear regression ［J］. Journal of the American Statistical Association， 1968， 63（322）： 558-572. 10.1080/01621459.1968.11009275
30	GRATCH J， ARSTEIN R， LUCAS G， et al. The distress analysis interview corpus of human and computer interviews ［EB/OL］. ［2022-11-25］. .
31	RINGEVAL F， SCHULLER B， VALSTAR M， et al. AVEC 2017： real-life depression， and affect recognition workshop and challenge ［C］// Proceedings of the 7th Annual Workshop on Audio/Visual Emotion Challenge. New York：ACM， 2017： 3-9. 10.1145/3133944.3133953
32	KOWSARI K， MEIMANDI K J， HEIDARYSAFA M， et al. Text classification algorithms： a survey ［J］. Information， 2019， 10（4）： No.150. 10.3390/info10040150

句子类型	训练集句子数	测试集句子数	总数
患有抑郁疾病	6 000	2 400	8 400
未有抑郁疾病	15 400	4 600	20 000

句子类型	训练集句子数	测试集句子数	总数
患有抑郁疾病	6 000	2 400	8 400
未有抑郁疾病	15 400	4 600	20 000

实际值	预测值
实际值	正例	负例
正例	TP	FN
负例	FP	TN

实际值	预测值
实际值	正例	负例
正例	TP	FN
负例	FP	TN

参数	值	参数	值
Vec_window	10	layers	2
Vocab_size	8 360	Learning_rates	0.000 1
Embedding_dim	300	Epochs	250
Dropout	0.3	h	8
Batch_size	16	Optimizer	Adam

基于多粒度自注意力机制的抑郁症预测模型

Depression prediction model based on multi-granularity self-attention mechanism

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 32

相关文章 15

编辑推荐

Metrics

模型	P	R	F1	Acc
Bi-LSTM	0.43	0.53	0.40	0.45
Bi-GRU	0.51	0.59	0.48	0.51
Bi-LSTM-Att	0.61	0.66	0.47	0.62
Bi-GRU-Att	0.62	0.61	0.46	0.62
Context-free-BiLSTM	0.71	0.50	0.59	0.62
Sequence-BiLSTM	0.57	0.80	0.69	0.56
HAN	0.73	0.68	0.72	0.73

模型	P	R	F1	Acc
HAN（baseline）	0.73	0.68	0.72	0.73
HSAN	0.74	0.70	0.72	0.73
HMG-SAN	0.75	0.73	0.73	0.75

[1]	刘新忠, 赵澳庆, 谢文武, 杨志和. 基于BERT-GAT-CorNet多标签中文短文本分类方法[J]. 《计算机应用》唯一官方网站, 2023, 43(S2): 18-21.
[2]	李龚林, 范一晨, 米宇舰, 李明. 动态微调的模型集成算法Bagging-DyFAS[J]. 《计算机应用》唯一官方网站, 2023, 43(S2): 28-33.
[3]	于碧辉, 蔡兴业, 魏靖烜. 基于提示学习的小样本文本分类方法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2735-2740.
[4]	申云飞, 申飞, 李芳, 张俊. 基于张量虚拟机的深度神经网络模型加速方法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2836-2844.
[5]	赵旭剑, 李杭霖. 基于混合机制的深度神经网络压缩算法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2686-2691.
[6]	李淦, 牛洺第, 陈路, 杨静, 闫涛, 陈斌. 融合视觉特征增强机制的机器人弱光环境抓取检测[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2564-2571.
[7]	李校林, 杨松佳. 基于深度学习的多用户毫米波中继网络混合波束赋形[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2511-2516.
[8]	崔雨萌, 王靖亚, 刘晓文, 闫尚义, 陶知众. 融合注意力和裁剪机制的通用文本分类模型[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2396-2405.
[9]	杨森淇, 段旭良, 肖展, 郎松松, 李志勇. 基于ERNIE+DPCNN+BiGRU的农业新闻文本分类[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1461-1466.
[10]	张旭, 生龙, 张海芳, 田丰, 王巍. 基于标签混淆的院前急救文本分类模型[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1050-1055.
[11]	杨海宇, 郭文普, 康凯. 基于卷积长短时深度神经网络的信号调制方式识别方法[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1318-1322.
[12]	林呈宇, 王雷, 薛聪. 标签语义增强的弱监督文本分类模型[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 335-342.
[13]	高媛媛, 余振华, 杜方, 宋丽娟. 基于贝叶斯优化的无标签网络剪枝算法[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 30-36.
[14]	刘小宇, 陈怀新, 刘壁源, 林英, 马腾. 自适应置信度阈值的非限制场景车牌检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 67-73.
[15]	王晓雨, 王展青, 熊威. 深度非对称离散跨模态哈希方法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2461-2470.

样本类型	训练集样本数	测试样本集数	总数
患有抑郁疾病	30	12	42
未有抑郁疾病	77	23	100

样本类型	训练集样本数	测试样本集数	总数
患有抑郁疾病	30	12	42
未有抑郁疾病	77	23	100