基于Faster R-CNN的密集人群检测算法

doi:10.11772/j.issn.1001-9081.2021111950

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (1): 61-66.DOI: 10.11772/j.issn.1001-9081.2021111950

基于Faster R-CNN的密集人群检测算法

邹斌^1,2, 张聪^1,2

1.现代汽车零部件技术湖北省重点实验室(武汉理工大学),武汉 430070
2.汽车零部件技术湖北省协同创新中心(武汉理工大学),武汉 430070

收稿日期:2021-11-15 修回日期:2022-04-19 发布日期:2023-01-12
通讯作者: 张聪（1996—），男，河南安阳人，硕士研究生，主要研究方向：计算机视觉、深度学习。291923685@qq.com
作者简介:邹斌（1977—），男，湖北武汉人，副教授，博士，主要研究方向：智能车辆控制、智能工程车、智能汽车测试；张聪（1996—），男，河南安阳人，硕士研究生，主要研究方向：计算机视觉、深度学习；
基金资助:
湖北省重点研发项目（2020BAB135）；新能源汽车科学与关键技术学科创新引智基地项目（B17034）。

Dense crowd detection algorithm based on Faster R-CNN

ZOU Bin^1,2, ZHANG Cong^1,2

1.Hubei Key Laboratory of Advanced Technology for Automotive Components （Wuhan University of Technology），Wuhan Hubei 430070， China
2.Hubei Collaborative Innovation Center for Automotive Components Technology （Wuhan University of Technology），Wuhan Hubei 430070， China

Received:2021-11-15 Revised:2022-04-19 Online:2023-01-12
Contact: ZHANG Cong， born in 1996， M. S. candidate. His research interests include computer vision， deep learning.
About author:ZOU Bin， born in 1977， Ph. D.， associate professor. His research interests include intelligent vehicle control， intelligent engineering vehicle， intelligent vehicle test；ZHANG Cong， born in 1996， M. S. candidate. His research interests include computer vision， deep learning；
Supported by:
This work is partially supported by Key Research and Development Program of Hubei Province （2020BAB135）， Project of New Energy Vehicle Science and Key Technology Subject Innovation and Intelligence Introduction Base （B17034）.

摘要/Abstract

摘要： 为提高拥挤场景下的人群检测准确率，提出一种基于改进Faster R-CNN的密集人群检测算法。首先，在特征提取阶段添加空间与通道注意力机制，使用加强的双向特征金字塔网络（S-BiFPN）替代原网络中的多尺度特征金字塔（FPN），使网络对重要特征进行自主学习并加强对图像深层特征的提取；其次，引入多实例预测（MIP）算法对实例进行预测，以避免模型对拥挤场景下的目标造成漏检；最后，对模型中的非极大值抑制（NMS）进行优化，并额外增设一个交并比（IoU）阈值，以对检测结果的干扰项进行精确抑制。在开源的密集人群检测数据集上进行测试的结果显示，相较于原Faster R-CNN算法，所提算法的平均精度（AP）提升5.6%，Jaccard指数值提升3.2%。所提算法具有较高检测精度和稳定性，可以满足密集场景人群检测的需求。

关键词: 密集人群检测, Faster R-CNN, 注意力机制, 多实例预测, 加强的双向特征金字塔网络

Abstract: In order to improve the accuracy of crowd detection in crowded scenes， a dense crowd detection algorithm based on improved Faster Region-based Convolutional Neural Network （Faster R-CNN） was proposed. Firstly， the spatial and channel attention mechanisms were added to feature extraction stage and Strong-Bidirectional Feature Pyramid Network（S-BiFPN） was used to replace the multi-scale Feature Pyramid Network （FPN） in the original network， so that the network was able to autonomously learn important features and the extraction of deep image features was strengthened. Secondly， Multi-Instance Prediction （MIP） algorithm was introduced to predict instances， thus avoiding the model’s missed detection of targets in crowded scenes. Finally， Non-Maximum Suppression （NMS） in the model was optimized， and an additional Intersection over Union （IoU） threshold was added to accurately suppress the interference items of the detection results. Experimental results on the open source dense crowd detection dataset show that compared with the original Faster R-CNN algorithm， the proposed algorithm has the Average Precision （AP） increased by 5.6%， and Jaccard index value increased by 3.2%. The proposed algorithm has high detection precision and stability， which can meet the needs of crowd detection in dense scenes.

Key words: dense crowd detection, Faster Region-based Convolutional Neural Network (Faster R-CNN), attention mechanism, multi-instance prediction, Strong-Bidirectional Feature Pyramid Network (S-BiFPN)

中图分类号:

TP391.41

邹斌, 张聪. 基于Faster R-CNN的密集人群检测算法[J]. 计算机应用, 2023, 43(1): 61-66.

ZOU Bin, ZHANG Cong. Dense crowd detection algorithm based on Faster R-CNN[J]. Journal of Computer Applications, 2023, 43(1): 61-66.

参考文献

1 LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2999-3007. 10.1109/iccv.2017.324
2 REDMON J， FARHADI A. YOLOv3： an incremental improvement［EB/OL］. （2018-04-08）［2021-01-19］.https：//arxiv.org/pdf/1804.02767.pdf. 10.1109/cvpr.2017.690
3 TIAN Z， SHEN C H， CHEN H， et al. FCOS： fully convolutional one-stage object detection［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 9626-9635. 10.1109/iccv.2019.00972
4 孙志军，薛磊，许阳明，等. 深度学习研究综述［J］. 计算机应用研究， 2012， 29（8）： 2806-2810. 10.3969/j.issn.1001-3695.2012.08.002 SUN Z J， XUE L， XU Y M， et al. Overview of deep learning［J］. Application Research of Computers， 2012， 29（8）： 2806-2810. 10.3969/j.issn.1001-3695.2012.08.002
5 GIRSHICK R. Fast R-CNN［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE，2015： 1440-1448. 10.1109/iccv.2015.169
6 REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149. 10.1109/tpami.2016.2577031
7 LIN T Y， DOLLáR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 2999-3007. 10.1109/cvpr.2017.106
8 HE K M， GKIOXáRI G， DOLLáR P， et al. Mask R-CNN［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2980-2988. 10.1109/iccv.2017.322
9 CAI Z W， VASCONCELOS N. Cascade R-CNN： delving into high quality object detection［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 6154-6162. 10.1109/cvpr.2018.00644
10 HE Y H， ZHU C C， WANG J R， et al. Bounding box regression with uncertainty for accurate object detection［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 2883-2892. 10.1109/cvpr.2019.00300
11 HOSANG J， BENENSON R， SCHIELE B. Learning non-maximum suppression［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 6469-6477. 10.1109/cvpr.2017.685
12 LIU S T， HUANG D， WANG Y H. Adaptive NMS： refining pedestrian detection in a crowd［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 6452-6461. 10.1109/cvpr.2019.00662
13 SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］. （2015-04-10）［2021-01-19］.https：//arxiv.org/pdf/1409.1556.pdf.
14 DAI J F， QI H Z， XIONG Y W， et al. Deformable convolutional networks［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 764-773. 10.1109/iccv.2017.89
15 WOO S， PARK J， LEE J Y， et al. CBAM： convolutional block attention module［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11211. Cham： Springer， 2018： 3-19.
16 CHU X G， ZHENG A L， ZHANG X Y， et al. Detection in crowded scenes： one proposal， multiple predictions［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 12211-12220. 10.1109/cvpr42600.2020.01223
17 STEWART R， ANDRILUKA M， NG A Y. End-to-end people detection in crowded scenes［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2325-2333. 10.1109/cvpr.2016.255
18 ZHANG J P， JIANG F. Multi-level supervised network for person re-identification［C］// Proceedings of the 2019 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway： IEEE， 2019： 2072-2076. 10.1109/icassp.2019.8683858

[1]	赵志强, 马培红, 黑新宏. 基于双重注意力机制的人群计数方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2886-2892.
[2]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[3]	李力铤, 华蓓, 贺若舟, 徐况. 基于解耦注意力机制的多变量时序预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2732-2738.
[4]	薛凯鹏, 徐涛, 廖春节. 融合自监督和多层交叉注意力的多模态情感分析网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2387-2392.
[5]	汪雨晴, 朱广丽, 段文杰, 李书羽, 周若彤. 基于交互注意力机制的心理咨询文本情感分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2393-2399.
[6]	高鹏淇, 黄鹤鸣, 樊永红. 融合坐标与多头注意力机制的交互语音情感识别[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2400-2406.
[7]	李钟华, 白云起, 王雪津, 黄雷雷, 林初俊, 廖诗宇. 基于图像增强的低照度人脸检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2588-2594.
[8]	莫尚斌, 王文君, 董凌, 高盛祥, 余正涛. 基于多路信息聚合协同解码的单通道语音增强[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2611-2617.
[9]	刘丽, 侯海金, 王安红, 张涛. 基于多尺度注意力的生成式信息隐藏算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2102-2109.
[10]	徐松, 张文博, 王一帆. 基于时空信息的轻量视频显著性目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2192-2199.
[11]	李大海, 王忠华, 王振东. 结合空间域和频域信息的双分支低光照图像增强网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2175-2182.
[12]	魏文亮, 王阳萍, 岳彪, 王安政, 张哲. 基于光照权重分配和注意力的红外与可见光图像融合深度学习模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2183-2191.
[13]	熊武, 曹从军, 宋雪芳, 邵云龙, 王旭升. 基于多尺度混合域注意力机制的笔迹鉴别方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2225-2232.
[14]	李欢欢, 黄添强, 丁雪梅, 罗海峰, 黄丽清. 基于多尺度时空图卷积网络的交通出行需求预测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2065-2072.
[15]	毛典辉, 李学博, 刘峻岭, 张登辉, 颜文婧. 基于并行异构图和序列注意力机制的中文实体关系抽取模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2018-2025.

基于Faster R-CNN的密集人群检测算法

Dense crowd detection algorithm based on Faster R-CNN

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics