基于场景先验及注意力引导的跌倒检测算法

doi:10.11772/j.issn.1001-9081.2022010114

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (2): 529-535.DOI: 10.11772/j.issn.1001-9081.2022010114

• 多媒体计算与计算机仿真 • 上一篇

基于场景先验及注意力引导的跌倒检测算法

王萍¹^,²(), 陈楠¹, 鲁磊¹^,²

^1.西安交通大学信息与通信工程学院, 西安 710049
^2.综合业务网理论及关键技术国家重点实验室(西安电子科技大学), 西安 710071

收稿日期:2022-01-28 修回日期:2022-04-26 接受日期:2022-04-27 发布日期:2022-05-16 出版日期:2023-02-10
通讯作者: 王萍
作者简介:陈楠（1997—），女，陕西榆林人，硕士研究生，主要研究方向：深度学习、目标检测与识别
鲁磊（1988—），男，陕西西安人，讲师，博士，CCF会员，主要研究方向：图像处理、深度学习、信号分析。

Fall detection algorithm based on scene prior and attention guidance

Ping WANG¹^,²(), Nan CHEN¹, Lei LU¹^,²

^1.School of Information and Communication Engineering，Xi’an Jiaotong University，Xi’an Shaanxi 710049，China
^2.State Key Laboratory of Integrated Services Networks （Xidian University），Xi’an Shaanxi 710071，China

Received:2022-01-28 Revised:2022-04-26 Accepted:2022-04-27 Online:2022-05-16 Published:2023-02-10
Contact: Ping WANG
About author:CHEN Nan， born in 1997， M. S. candidate. Her research interests include deep learning， object detection and recognition.
LU Lei， born in 1988， Ph. D.， lecturer. His research interests include image processing， deep learning， signal analysis.

摘要/Abstract

摘要：

已有跌倒检测工作主要关注室内场景，且大多偏重对人员身体姿态特征进行建模，而忽略了场景背景信息以及人员与地面的交互信息。针对这个问题，从实际电梯场景应用入手，提出一种基于场景先验及注意力引导的跌倒检测算法。首先，利用电梯历史数据，以高斯概率分布建模的方式从人员的活动轨迹中自动化地学习场景先验信息；随后，把场景先验信息作为空间注意力掩膜与神经网络的全局特征融合，以此聚焦地面区域的局部信息；然后，将融合后的局部特征与全局特征采用自适应加权的方式进一步聚合，从而形成更具鲁棒性和判别力的特征；最后，将特征送入由全局平均池化层和全连接层构成的分类模块中进行跌倒类别预测。在自构建的电梯场景Elevator Fall Detection和公开的UR Fall Detection数据集上的实验结果表明，所提算法的检测准确率分别达到了95.36%和99.01%，相较于网络结构复杂的ResNet50算法，分别提高了3.52个百分点和0.61个百分点。可见所构建的高斯场景先验引导的注意力机制可使网络关注地面区域的特征，更有利于对跌倒的识别，由此得到的检测模型准确率高且算法满足实时性应用要求。

关键词: 跌倒检测, 注意力机制, 高斯先验, 特征融合, 卷积神经网络, 深度学习

Abstract:

The existing fall detection works mainly focus on indoor scenes， and most of them only model people’s body posture features， ignoring background information of the scene and the interaction information between people and the ground. Aiming at the problem， from the perspective of practical application of elevator scene， a fall detection algorithm based on scene prior and attention guidance was proposed. Firstly， elevator historical data was used to automatically learn the scene prior information from people’s trajectories by Gaussian probability distribution modelling. Then， the scene information was taken as a spatial attention mask and fused with the global features of the neural network to focus on local information of the ground area. After that， the fused local and global features were further aggregated using adaptive weighting method to improve the robustness and discriminative ability of the generated features. Finally， the features were fed into a classifier module consisting of a global average pooling layer and a fully connected layer to perform the fall prediction and classification. Experimental results show that the detection accuracy of the proposed algorithm on the self-built elevator scene dataset Elevator Fall Detection Dataset and the public UR Fall Detection Dataset reached 95.36% and 99.01% respectively， which is increased by 3.52 percentage points and 0.61 percentage points respectively compared with that of ResNet50 with complicated network structure. It can be seen that proposed attention mechanism with Gaussian scene prior guidance can make the network focus on information of the ground area， which is more conducive to detect fall events. By using it， the detection model has high accuracy， and the algorithm meets the real-time application requirements.

Key words: fall detection, attention mechanism, Gaussian prior, feature fusion, Convolutional Neural Network (CNN), deep learning

中图分类号:

TP391.41

王萍, 陈楠, 鲁磊. 基于场景先验及注意力引导的跌倒检测算法[J]. 计算机应用, 2023, 43(2): 529-535.

Ping WANG, Nan CHEN, Lei LU. Fall detection algorithm based on scene prior and attention guidance[J]. Journal of Computer Applications, 2023, 43(2): 529-535.

图/表 12

图1 本文跌倒检测算法流程

Fig. 1 Flowchart of the proposed fall detection algorithm

图2 自适应特征融合模块

Fig. 2 Adaptive feature fusion module

表1 Elevator Fall Detection数据集分布

Tab. 1 Distribution of Elevator Fall Detection dataset

数据集	跌倒样本数	非跌倒样本数
训练集	1 001	4 004
测试集	777	3 108

图3 Elevator Fall Detection数据集部分样本示例

Fig. 3 Some examples of Elevator Fall Detection dataset

图4 UR Fall Detection数据集部分样本示例

Fig. 4 Some examples of UR Fall Detection dataset

表2 Elevator Fall Detection数据集上的模块性能比较 ( %)

Tab. 2 Module performance comparison on Elevator Fall Detection dataset

算法	准确率	灵敏度	特异度
A	83.66	18.66	99.90
B	94.20	76.44	98.64
C	95.36	89.31	96.87

表3 不同卷积阶段的场景先验融合结果比较 ( %)

Tab. 3 Comparison of results of scene prior fusion at different convolution stages

卷积阶段序号	准确率	灵敏度	特异度
2	90.68	78.12	93.82
3	89.93	50.45	99.80
4	94.64	85.45	96.94
5	95.36	89.31	96.87

表4 不同注意力算法的性能比较 ( %)

Tab. 4 Performance comparison of different attention algorithms

注意力算法	准确率	灵敏度	特异度
ResNet18（baseline）	83.66	18.66	99.90
baseline+CBAM	88.08	42.72	99.42
baseline+SAM	91.71	59.20	99.83
baseline+SENet	92.15	62.67	99.51
baseline+场景先验注意力	94.20	76.44	98.64

表5 不同融合算法的性能比较 ( %)

Tab. 5 Performance comparison of different feature fusion algorithms

特征融合算法	准确率	灵敏度	特异度
特征逐元素相加	92.97	67.82	99.25
特征拼接	94.36	83.52	97.07
自适应特征融合	95.36	89.31	96.87

表6 不同分类网络在Elevator Fall Detection数据集上的性能比较 ( %)

Tab. 6 Performance comparison of different classification networks on Elevator Fall Detection dataset

算法	准确率	灵敏度	特异度
AlexNet^［21］	82.08	11.06	99.83
ResNet34	89.32	47.87	99.67
ResNet50	91.84	61.13	99.51
本文算法	95.36	89.31	96.87

表7 不同算法在UR Fall Detection数据集性能比较 ( %)

Tab. 7 Performance comparison of different algorithms on UR Fall Detection dataset

算法	准确率	灵敏度	特异度
AlexNet^［21］	88.20	34.30	99.60
ResNet34	96.80	82.10	100.00
ResNet50	98.40	90.90	100.00
AR-FD^［8］	94.00	98.00	89.40
MEWMA-FD^［22］	96.60	100.00	94.90
Mask RCNN-LSTM^［23］	96.70	91.80	100.00
DCFI-FD^［24］	97.33	97.78	96.67
本文算法	99.01	100.00	98.72

表8 模型参数量、检测帧率和准确率对比结果

Tab. 8 Comparison results of different models on parameters， detection frame rate and accuracy

算法	参数量/MB	速度/FPS		准确率/%
算法	参数量/MB	CPU	GPU	准确率/%
ResNet18	11.18	51	359	83.66
ResNet34	21.29	33	225	89.32
ResNet50	23.51	20	166	91.84
本文算法	11.19	48	354	95.36

参考文献 24

1	MATHIE M J， COSTER A C F， LOVELL N H， et al. Accelerometry： providing an integrated， practical method for long-term， ambulatory monitoring of human movement［J］. Physiological Measurement， 2004， 25（2）： No.R1. 10.1088/0967-3334/25/2/r01
2	LAI C F， CHANG S Y， CHAO H C， et al. Detection of cognitive injured body region using multiple triaxial accelerometers for elderly falling［J］. IEEE Sensors Journal， 2011， 11（3）： 763-770. 10.1109/jsen.2010.2062501
3	CHAITEP T， CHAWACHAT J. A 3-phase threshold algorithm for smartphone-based fall detection［C］// Proceedings of the 14th International Conference on Electrical Engineering/Electronics， Computer， Telecommunications and Information Technology. Piscataway： IEEE， 2017： 183-186. 10.1109/ecticon.2017.8096203
4	ALWAN M， RAJENDRAN P J， KELL S， et al. A smart and passive floor-vibration based fall detector for elderly［C］// Proceedings of the 2nd International Conference on Information and Communication Technologies. Piscataway： IEEE， 2006： 1003-1007.
5	LI Y， HO K C， POPESCU M. A microphone array system for automatic fall detection［J］. IEEE Transactions on Biomedical Engineering， 2012， 59（5）： 1291-1301. 10.1109/tbme.2012.2186449
6	WANG Y X， WU K S， NI L M. WiFall： device-free fall detection by wireless networks［J］. IEEE Transactions on Mobile Computing， 2017， 16（2）： 581-594. 10.1109/tmc.2016.2557792
7	CHARFI I， MITERAN J， DUBOIS J， et al. Definition and performance evaluation of a robust SVM based fall detection solution［C］// Proceedings of the 8th International Conference on Signal Image Technology and Internet Based Systems. Piscataway： IEEE， 2012： 218-224. 10.1109/sitis.2012.155
8	YUN Y X， GU I Y H. Human fall detection via shape analysis on Riemannian manifolds with applications to elderly care［C］// Proceedings of the 2015 IEEE International Conference on Image Processing. Piscataway： IEEE， 2015： 3280-3284. 10.1109/icip.2015.7351410
9	张舒雅，吴科艳，黄炎子，等. 基于SVM_KNN的老人跌倒检测算法［J］. 计算机与现代化， 2017（12）：49-55. 10.3969/j.issn.1006-2475.2017.12.010
	ZHANG S Y， WU K Y， HUANG Y Z， et al. Fall detection algorithm based on SVM_KNN［J］. Computer and Modernization， 2017（12）：49-55. 10.3969/j.issn.1006-2475.2017.12.010
10	LU L， HUANG H. A hierarchical scheme for vehicle make and model recognition from frontal images of vehicles［J］. IEEE Transactions on Intelligent Transportation Systems， 2019， 20（5）： 1774-1786. 10.1109/tits.2018.2835471
11	LU L， HUANG H. Component-based feature extraction and representation schemes for vehicle make and model recognition［J］. Neurocomputing， 2020， 372： 92-99. 10.1016/j.neucom.2019.09.049
12	FAN Y X， LEVINE M D， WEN G J， et al. A deep neural network for real-time detection of falling humans in naturally occurring scenes［J］. Neurocomputing， 2017， 260： 43-58. 10.1016/j.neucom.2017.02.082
13	MIN W D， CUI H， RAO H， et al. Detection of human falls on furniture using scene analysis based on deep learning and activity characteristics［J］. IEEE Access， 2018， 6： 9324-9335. 10.1109/access.2018.2795239
14	FENG Q， GAO C Q， WANG L， et al. Spatio-temporal fall event detection in complex scenes using attention guided LSTM［J］. Pattern Recognition Letters， 2020， 130： 242-249. 10.1016/j.patrec.2018.08.031
15	LIE W N， LE A T， LIN G H. Human fall-down event detection based on 2D skeletons and deep learning approach［C］// Proceedings of the 2018 International Workshop on Advanced Image Technology. Piscataway： IEEE， 2018： 1-4. 10.1109/iwait.2018.8369778
16	伏娜娜，刘大铭，程晓婷，等. 基于轻量级OpenPose模型的跌倒检测算法［J］. 传感器与微系统， 2021， 40（11）：131-134， 138. 10.13873/J.1000-9787(2021)11-0131-04
	FU N N， LIU D M， CHENG X T， et al. Fall detection algorithm based on lightweight OpenPose model［J］. Transducer and Microsystem Technologies， 2021， 40（11）：131-134， 138. 10.13873/J.1000-9787(2021)11-0131-04
17	HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
18	HU J， SHEN L， SUN G. Squeeze-and-excitation networks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7132-7141. 10.1109/cvpr.2018.00745
19	KWOLEK B， KEPSKI M. Human fall detection on embedded platform using depth maps and wireless accelerometer［J］. Computer Methods and Programs in Biomedicine， 2014， 117（3）： 489-501. 10.1016/j.cmpb.2014.09.005
20	WOO S， PARK J， LEE J Y， et al. CBAM： convolutional block attention module［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11211. Cham： Springer， 2018： 3-19.
21	LI X G， PANG T T， LIU W X， et al. Fall detection for elderly person care using convolutional neural networks［C］// Proceedings of the 10th International Congress on Image and Signal Processing， BioMedical Engineering and Informatics. Piscataway： IEEE， 2017： 1-6. 10.1109/cisp-bmei.2017.8302004
22	HARROU F， ZERROUKI N， SUN Y， et al. Vision-based fall detection system for improving safety of elderly people［J］. IEEE Instrumentation and Measurement Magazine， 2017， 20（6）： 49-55. 10.1109/mim.2017.8121952
23	CHEN Y， LI W T， WANG L， et al. Vision-based fall event detection in complex background using attention guided bi-directional LSTM［J］. IEEE Access， 2020， 8： 161337-161348. 10.1109/access.2020.3021795
24	WANG B H， YU J， WANG K， et al. Fall detection based on dual-channel feature integration［J］. IEEE Access， 2020， 8： 103443-103453. 10.1109/access.2020.2999503

[1]	倪苒岩, 张轶. 基于视频时空特征的行为识别方法[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 521-528.
[2]	徐铭, 李林昊, 齐巧玲, 王利琴. 基于注意力平衡列表的溯因推理模型[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 349-355.
[3]	刘聪, 万根顺, 高建清, 付中华. 基于韵律特征辅助的端到端语音识别方法[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 380-384.
[4]	汪洋, 傅洪亮, 陶华伟, 杨静, 谢跃, 赵力. 基于决策边界优化域自适应的跨库语音情感识别[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 374-379.
[5]	邵小萌, 张猛. 融合注意力机制的时间卷积知识追踪模型[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 343-348.
[6]	王佑芯, 陈斌. 基于深度对比网络的印刷缺陷检测方法[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 250-258.
[7]	申志军, 穆丽娜, 高静, 史远航, 刘志强. 细粒度图像分类综述[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 51-60.
[8]	林洋平, 刘佳, 陈培, 张明书, 杨晓元. 基于深度卷积生成对抗网络的半生成式视频隐写方案[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 169-175.
[9]	孙泽强, 陈炳才, 崔晓博, 王磊, 陆雅诺. 融合频域注意力机制和解耦头的YOLOv5带钢表面缺陷检测[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 242-249.
[10]	杨洪刚, 陈洁洁, 徐梦飞. 双线性内卷神经网络用于眼底疾病图像分类[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 259-264.
[11]	林荐壮, 杨文忠, 谭思翔, 周乐鑫, 陈丹妮. 融合滤波增强和反转注意力网络用于息肉分割[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 265-272.
[12]	吕玉超, 姜茜, 徐英豪, 朱习军. 基于多尺度特征融合的改进臂丛神经分割方法[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 273-279.
[13]	张军, 吴朋莉, 石陆魁, 史进, 潘斌. 联合MOD11A1和地面气象站点数据的多站点温度预测深度学习模型[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 321-328.
[14]	邹斌, 张聪. 基于Faster R-CNN的密集人群检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 61-66.
[15]	刘辉, 马祥, 张琳玉, 何如瑾. 融合匹配长短时记忆网络和语法距离的方面级情感分析模型[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 45-50.

基于场景先验及注意力引导的跌倒检测算法

Fall detection algorithm based on scene prior and attention guidance

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 12

参考文献 24

相关文章 15

编辑推荐

Metrics