多尺度特征和极化自注意力的Faster-RCNN水漂垃圾识别

doi:10.11772/j.issn.1001-9081.2023030368

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (3): 938-944.DOI: 10.11772/j.issn.1001-9081.2023030368

• 多媒体计算与计算机仿真 • 上一篇下一篇

多尺度特征和极化自注意力的Faster-RCNN水漂垃圾识别

蒋占军, 吴佰靖(), 马龙, 廉敬

兰州交通大学电子与信息工程学院，兰州 730070

收稿日期:2023-04-07 修回日期:2023-05-22 接受日期:2023-05-24 发布日期:2023-06-15 出版日期:2024-03-10
通讯作者: 吴佰靖
作者简介:蒋占军（1975—），男，宁夏中卫人，教授，博士，主要研究方向：数字图像处理、未来移动通信关键技术、无线网络规划与优化
马龙（1983—），男，河南许昌人，高级工程师，博士，主要研究方向：大数据、人工智能、水信息
廉敬（1983—），男，甘肃兰州人，教授，博士，主要研究方向：人工智能、模式识别。
基金资助:
国家自然科学基金资助项目(62061023);甘肃省水利科学研究院基金资助项目(LZJT523029)

Faster-RCNN water-floating garbage recognition based on multi-scale feature and polarized self-attention

Zhanjun JIANG, Baijing WU(), Long MA, Jing LIAN

School of Electronics and Information Engineering，Lanzhou Jiaotong University，Lanzhou Gansu 730070，China

Received:2023-04-07 Revised:2023-05-22 Accepted:2023-05-24 Online:2023-06-15 Published:2024-03-10
Contact: Baijing WU
About author:JIANG Zhanjun， born in 1975， Ph. D.， professor. His research interests include digital image processing， key technologies for future mobile communication， wireless network planning and optimization.
MA Long， born in 1983， Ph. D.， senior engineer. His research interests include big data， artificial intelligence， water information.
LIAN Jing， born in 1983， Ph. D.， professor. His research interests include artificial intelligence， pattern recognition.
Supported by:
National Natural Science Foundation of China(62061023);Gansu Academy of Water Resources Funded Project(LZJT523029)

摘要/Abstract

摘要：

针对小目标水漂垃圾形态多变、分辨率低且信息有限，导致检测效果不理想的问题，提出一种改进的Faster-RCNN（Faster Regions with Convolutional Neural Network）水漂垃圾检测算法MP-Faster-RCNN（Faster-RCNN with Multi-scale feature and Polarized self-attention）。首先，建立黄河兰州段小目标水漂垃圾数据集，将空洞卷积结合ResNet-50代替原来的VGG-16（Visual Geometry Group 16）作为主干特征提取网络，扩大感受野以提取更多小目标特征；其次，在区域生成网络（RPN）利用多尺度特征，设置3×3和1×1的两层卷积，补偿单一滑动窗口造成的特征丢失；最后，在RPN前加入极化自注意力，进一步利用多尺度和通道特征提取更细粒度的多尺度空间信息和通道间依赖关系，生成具有全局特征的特征图，实现更精确的目标框定位。实验结果表明，MP-Faster-RCNN能有效提高水漂垃圾检测精度，与原始Faster-RCNN相比，平均精度均值（mAP）提高了6.37个百分点，模型大小从521 MB降到了108 MB，且在同一训练批次下收敛更快。

关键词: 目标检测, 水漂垃圾, Faster-RCNN, 空洞卷积, 多尺度特征融合, 极化自注意力

Abstract:

Aiming at the problems of variable morphology， low resolution and limited information of small-target water-floating garbage， which lead to unsatisfactory detection results， an improved Faster-RCNN （Faster Regions with Convolutional Neural Network） water-floating garbage detection algorithm was proposed， namely MP-Faster-RCNN （Faster-RCNN with Multi-scale feature and Polarized self-attention）. Firstly， a small-target water-floating garbage dataset in Lanzhou part of the Yellow River was established， the combination of atrous convolution and ResNet-50 was used as the backbone feature extraction network instead of the original VGG-16 （Visual Geometry Group 16） to expand the perception field for extracting more small-target features. Secondly， two layers of convolutions of 3×3 and 1×1 were set in the Region Proposal Network （RPN） by using multi-scale features to compensate for the feature loss caused by a single sliding window. Finally， polarized self-attention was added before RPN to further utilize multi-scale and channel features to extract finer-grained multi-scale spatial information and inter-channel dependencies to generate a feature map with global features， achieving more accurate target box localization. Experimental results show that compared with the original Faster-RCNN， MP-Faster-RCNN can effectively improve the detection accuracy of water-floating garbage with a mean Average Precision （mAP） improvement of 6.37 percentage points， the model size is reduced from 521 MB to 108 MB， and the convergence speed is faster under the same training epoch.

Key words: target detection, water-floating garbage, Faster Regions with Convolutional Neural Network (Faster-RCNN), atrous convolution, multi-scale feature fusion, Polarized Self-Attention (PSA)

中图分类号:

TP391.4

蒋占军, 吴佰靖, 马龙, 廉敬. 多尺度特征和极化自注意力的Faster-RCNN水漂垃圾识别[J]. 计算机应用, 2024, 44(3): 938-944.

Zhanjun JIANG, Baijing WU, Long MA, Jing LIAN. Faster-RCNN water-floating garbage recognition based on multi-scale feature and polarized self-attention[J]. Journal of Computer Applications, 2024, 44(3): 938-944.

图/表 17

参考文献 20

1	KONG S， TIAN M， QIU C， et al. IWSCR： an intelligent water surface cleaner robot for collecting floating garbage ［J］. IEEE Transactions on Systems， Man， and Cybernetics： Systems， 2021， 51（10）： 6358-6368. 10.1109/tsmc.2019.2961687
2	KHEKARE G S， DHANRE U T， DHANRE G T， et al. Design of optimized and innovative remotely operated machine for water surface garbage assortment ［J］. International Journal of Computer Sciences and Engineering， 2019， 7（1）： 113-117. 10.26438/ijcse/v7i1.113117
3	LI N， HUANG H， WANG X， et al. Detection of floating garbage on water surface based on PC-Net ［J］. Sustainability， 2022， 14（18）： 11729. 10.3390/su141811729
4	TOPOUZELIS K， PAPAGEORGIOU D， KARAGAITANAKIS A， et al. Remote sensing of sea surface artificial floating plastic targets with Sentinel-2 and unmanned aerial systems （Plastic Litter Project 2019）［J］. Remote Sensing， 2020， 12（12）： 2013. 10.3390/rs12122013
5	ARMITAGE S， AWTY-CARROLL K， CLEWLEY D， et al. Detection and classification of floating plastic litter using a vessel-mounted video camera and deep learning ［J］. Remote Sensing， 2022， 14： 3425. 10.3390/rs14143425
6	SUN X， LIU T， YU X， et al. Unmanned surface vessel visual object detection under all-weather conditions with optimized feature fusion network in YOLOv4 ［J］. Journal of Intelligent & Robotic Systems， 2021， 103： 55. 10.1007/s10846-021-01499-8
7	YI Z， YAO D， LI G， et al. Detection and localization for lake floating objects based on CA-faster R-CNN ［J］. Multimedia Tools and Applications， 2022， 81（12）： 17263-17281. 10.1007/s11042-022-12686-6
8	LIN F， HOU T， JIN Q， et al. Improved YOLO based detection algorithm for floating debris in waterway ［J］. Entropy， 2021， 23（9）： 1111. 10.3390/e23091111
9	CHEN Y， SONG B， WANG D， et al. An effective infrared small target detection method based on the human visual attention ［J］. Infrared Physics & Technology， 2018， 95： 128-135. 10.1016/j.infrared.2018.10.033
10	贾可心，马正华，朱蓉，等.注意力机制改进轻量SSD模型的海面小目标检测［J］. 中国图象图形学报， 2022， 27（4）： 1161-1175. 10.11834/jig.200517
	JIA K X， MA Z H， ZHU R， et al. Attention-mechanism-based light single shot multiBox detector modelling improvement for small object detection on the sea surface ［J］. Journal of Image and Graphics， 2022， 27（4）： 1161-1175. 10.11834/jig.200517
11	秦强强，廖俊国，周弋荀.基于多分支混合注意力的小目标检测算法［J］.计算机应用， 2023， 43（11）： 3579-3586. 10.11772/j.issn.1001-9081.2022111660
	QIN Q Q， LIAO J G， ZHOU Y X. Small target detection algorithm based on multi branch mixed attention ［J］. Journal of Computer Applications， 2023， 43（11）： 3579-3586. 10.11772/j.issn.1001-9081.2022111660
12	YU J， LIN Y， ZHU Y， et al. Segmentation of river scenes based on water surface reflection mechanism ［J］. Applied Sciences， 2020， 10（7）： 2471. 10.3390/app10072471
13	WENG Y， ZHOU T， LI Y， et al. NAS-Unet： neural architecture search for medical image segmentation ［J］. IEEE Access， 2019， 7： 44247-44257. 10.1109/access.2019.2908991
14	ZHANG H， ZU K， LU J， et al. EPSANet： an efficient pyramid squeeze attention block on convolutional neural network ［C］// Proceedings of the 2022 Asian Conference on Computer Vision. Cham： Springer， 2022： 541-557. 10.1007/978-3-031-26313-2_33
15	杜达宽，孙剑峰，丁源雪，等.基于GM-APD激光雷达数据融合的小目标检测［J］.光学精密工程，2023，31（3）：393-403. 10.37188/ope.20233103.0393
	DU D K， SUN J F， DING Y X， et al. Small object detection based on GM-APD lidar data fusion ［J］. Optics and Precision Engineering， 2023，31 （3）： 393-403. 10.37188/ope.20233103.0393
16	EVERINGHAM M， VAN GOOL L， WILLIAMS C K I， et al. The PASCAL Visual Object Classes （VOC） challenge ［J］. International Journal of Computer Vision， 2009， 88： 303-338. 10.1007/s11263-009-0275-4
17	DUAN K， BAI S， XIE L， et al. CenterNet： keypoint triplets for object detection ［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 6569-6578. 10.1109/iccv.2019.00667
18	JOCHER G， STOKEN A， BOROVEC J， et al. ultralytics/yolov5： v4.0 - nn.SiLU（） activations， Weights & Biases logging， PyTorch Hub integration ［EB/OL］. ［2023-01-15］. .
19	SONG Z， FU L， WU J， et al. Kiwifruit detection in field images using Faster R-CNN with VGG16 ［J］. IFAC-PapersOnLine， 2019， 52（30）： 76-81. 10.1016/j.ifacol.2019.12.500
20	LIU W， ANGUELOV D， ERHAN D， et al. SSD： single shot multibox detector ［C］// Proceedings of the 2016 European Conference on Computer Vision. Cham： Springer， 2016： 21-37. 10.1007/978-3-319-46448-0_2

聚类中心	长/像素	宽/像素	长宽比
1	19	20	1∶0.9
2	27	29	1∶0.9
3	30	52	1∶0.6
4	47	41	1∶1.2
5	45	76	1∶0.6
6	94	62	1∶1.5
7	64	110	1∶0.4
8	115	153	1∶0.8
9	147	360	1∶0.4

聚类中心	长/像素	宽/像素	长宽比
1	19	20	1∶0.9
2	27	29	1∶0.9
3	30	52	1∶0.6
4	47	41	1∶1.2
5	45	76	1∶0.6
6	94	62	1∶1.5
7	64	110	1∶0.4
8	115	153	1∶0.8
9	147	360	1∶0.4

序号	类别	举例	样本数
1	plastic	塑料袋、塑料瓶、泡沫等	2 031
2	paper	牛奶盒、文件袋等	1 239
3	glass	玻璃罐、酒瓶等	568
4	plant	浮藻及水草、树叶等	970
5	metal	易拉罐、汽油桶等	653
6	fabric/fiber	绳子、布袋子、破衣服等	332
7	wood	木制品、树枝、木头等	519
8	others	无法辨识的材料等	566

序号	类别	举例	样本数
1	plastic	塑料袋、塑料瓶、泡沫等	2 031
2	paper	牛奶盒、文件袋等	1 239
3	glass	玻璃罐、酒瓶等	568
4	plant	浮藻及水草、树叶等	970
5	metal	易拉罐、汽油桶等	653
6	fabric/fiber	绳子、布袋子、破衣服等	332
7	wood	木制品、树枝、木头等	519
8	others	无法辨识的材料等	566

相机参数	值	RTK参数	值
水平分辨率	180 dpi	定位水平精度	0.25 m+1 ppmRMS
垂直分辨率	180 dpi	定位垂直精度	0.25 m+1 ppmRMS
位深度	24	高程精度	±5 mm +1 ppm
分辨率单位	2	动态测量精度	±8 mm+1 ppm
颜色	RGB	星基增强系统差分定位	典型<5 m

多尺度特征和极化自注意力的Faster-RCNN水漂垃圾识别

Faster-RCNN water-floating garbage recognition based on multi-scale feature and polarized self-attention

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 17

参考文献 20

相关文章 15

编辑推荐

Metrics

模型	mAP/%	Recall/%	模型大小/MB
模型1	65.02	70.56	521
模型2	68.51	72.57	105
模型3	69.48	73.22	106
模型4	71.39	74.16	108

类别	模型1	模型2	模型3	模型4
plastic	78.96	81.35	82.94	83.61
plant	30.36	31.06	31.75	34.42
others	54.78	57.82	59.12	62.56
metal	64.20	69.30	70.37	73.02
fabric/fiber	72.56	79.06	79.28	80.62
glass	63.92	69.48	71.15	72.84
wood	84.65	85.03	85.54	86.74
paper	70.72	74.98	75.68	77.32

算法	AP/%								mAP/%	模型大小 /MB	Recall/%	帧率/（frame·s^-1）
算法	plastic	plant	others	paper	metal	fabric/fiber	glass	wood	mAP/%	模型大小 /MB	Recall/%	帧率/（frame·s^-1）
Faster-RCNN^［19］	78.96	30.36	54.78	70.72	64.20	72.56	63.92	84.65	65.02	521	70.56	27.5
YOLOv5s^［18］	78.69	29.47	49.13	72.05	64.38	69.23	67.37	50.48	60.10	27	65.42	78.4
CenterNet^［17］	81.70	30.40	53.80	65.64	69.19	78.10	76.23	52.72	63.47	125	66.31	60.9
SSD^［20］	81.40	32.06	53.49	78.10	72.22	78.97	80.56	51.36	66.02	94	68.53	73.8
MP-Faster-RCNN	83.61	34.42	62.56	77.32	73.02	80.62	72.84	86.74	71.39	108	74.16	20.1

[1]	陈天华, 朱家煊, 印杰. 基于注意力机制的鸟类识别算法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1114-1120.
[2]	王伟, 赵春辉, 唐心瑶, 席刘钢. 自适应地平线约束下的车辆三维检测[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 909-915.
[3]	郑宇亮, 陈云华, 白伟杰, 陈平华. 融合事件数据和图像帧的车辆目标检测[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 931-937.
[4]	李新叶, 侯晔凝, 孔英会, 燕志旗. 结合特征融合与增强注意力的少样本目标检测[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 745-751.
[5]	李雨秋, 侯利萍, 薛健, 吕科, 王泳. 基于内容解译的遥感图像推荐方法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 722-731.
[6]	廖存燚, 郑毅, 刘玮瑾, 于欢, 刘守印. 自动驾驶环境感知多任务去耦-融合算法[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 424-431.
[7]	杨君宇, 董岩, 龙镇南, 杨新, 韩斌. 基于事件相机的雨滴检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2904-2909.
[8]	杨昊, 张轶. 基于上下文信息和多尺度融合重要性感知的特征金字塔网络算法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2727-2734.
[9]	姜钧舰, 刘达维, 刘逸凡, 任酉贵, 赵志滨. 基于孪生网络的小样本目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2325-2329.
[10]	段升位, 程欣宇, 王浩舟, 王飞. 基于改进的YOLOv5的大坝表面病害检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2619-2629.
[11]	梁美佳, 刘昕武, 胡晓鹏. 基于改进YOLOv3的列车运行环境图像小目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2611-2618.
[12]	姬张建, 张明, 王子龙. 基于改进VarifocalNet的高精度目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2147-2154.
[13]	李忠雨, 孙浩东, 李娇. 轻量化篮球裁判手势识别算法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2173-2181.
[14]	郑帅, 张晓龙, 邓鹤, 任宏伟. 基于多尺度特征融合和网格注意力机制的三维肝脏影像分割方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2303-2310.
[15]	周静, 胡怡宇, 胡成玉, 王天江. 基于点云补全和多分辨Transformer的弱感知目标检测方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2155-2165.