基于改进RetinaNet的船舶检测算法

doi:10.11772/j.issn.1001-9081.2021050831

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (7): 2248-2255.DOI: 10.11772/j.issn.1001-9081.2021050831

• 多媒体计算与计算机仿真 • 上一篇

基于改进RetinaNet的船舶检测算法

凡文俊¹, 赵曙光¹(), 郭力争²

^1.东华大学信息科学与技术学院，上海 201620
^2.河南城建学院计算机与数据科学学院，河南平顶山 467036

收稿日期:2021-05-20 修回日期:2021-12-15 接受日期:2021-12-29 发布日期:2022-03-08 出版日期:2022-07-10
通讯作者: 赵曙光
作者简介:凡文俊（1996—），男，湖北天门人，硕士研究生，主要研究方向：人工智能、目标检测
郭力争（1975—），男，河南开封人，副教授，博士，主要研究方向：云计算的资源管理与调度、机器学习。
基金资助:
中央高校基本科研业务费专项资金学科交叉重点计划项目(2232020A?12)

Ship detection algorithm based on improved RetinaNet

Wenjun FAN¹, Shuguang ZHAO¹(), Lizheng GUO²

^1.College of Information Science and Technology，Donghua University，Shanghai 201620，China
^2.School of Computer and Data Science，Henan University of Urban Construction，Pingdingshan Henan 467036，China

Received:2021-05-20 Revised:2021-12-15 Accepted:2021-12-29 Online:2022-03-08 Published:2022-07-10
Contact: Shuguang ZHAO
About author:FAN Wenjun， born in 1996， M. S. candidate. His research interests include artificial intelligence， target detection.
GUO Lizheng， born in 1975， Ph. D.， associate professor. His research interests include resource management and scheduling of cloud computing， machine learning.
Supported by:
Interdisciplinary Key Program of Fundamental Research Funds for Central Universities(2232020A-12)

摘要/Abstract

摘要：

目前基于深度学习算法的目标检测技术在合成孔径雷达（SAR）图像船舶检测中取得了显著的成果，然而仍存在着小目标船舶和近岸密集排列船舶检测效果差的问题。针对上述问题，提出了基于改进RetinaNet的船舶检测算法。在传统RetinaNet算法的基础上，首先，将特征提取网络残差块中的卷积改进为分组卷积，以增加网络宽度，从而提高网络的特征提取能力；其次，在特征提取网络的后两个阶段加入注意力机制，让网络更加专注于目标区域，从而提升目标检测能力；最后，将软非极大值抑制（Soft-NMS）加入到算法中，降低算法对于近岸密集排列船舶检测的漏检率。在高分辨率SAR图像数据集（HRSID）和SAR船舶检测数据集（SSDD）上的实验结果表明，所提改进算法对于小目标船舶和近岸船舶的检测效果得到了有效提升，与当前优秀的目标检测模型Faster R-CNN、YOLOv3和CenterNet等相比，在检测精度和速度上更加优越。

关键词: 合成孔径雷达图像, 船舶检测, RetinaNet, 注意力机制, 分组卷积

Abstract:

At present， the target detection technology based on deep learning algorithm has achieved the remarkable results in ship detection of Synthetic Aperture Radar （SAR） images. However， there is still the problem of poor detection effect of small target ships and densely arranged ships near shore. To solve the above problem， a new ship detection algorithm based on improved RetinaNet was proposed. On the basis of traditional RetinaNet algorithm， firstly， the convolution in the residual block of feature extraction network was improved to grouped convolution， thereby increasing the network width and improving the feature extraction ability of the network. Then， the attention mechanism was added in the last two stages of feature extraction network to make the network more focus on the target area and improve the target detection ability. Finally， the Soft Non-Maximum Suppression （Soft-NMS） was added to the algorithm to reduce the missed detection rate of the algorithm for the detection of densely arranged ships near shore. Experimental results on High-Resolution SAR Images Dataset （HRSID） and SAR Ship Detection Dataset （SSDD） show that， the proposed algorithm effectively improves the detection effect of small target ships and near-shore ships， is superior in detection precision and speed compared with the current excellent object detection models such as Faster Region-based Convolutional Neural Network （R-CNN）， You Only Look Once version 3 （YOLOv3） and CenterNet.

Key words: Synthetic Aperture Radar (SAR) image, ship detection, RetinaNet, attention mechanism, grouped convolution

中图分类号:

TP391.41

凡文俊, 赵曙光, 郭力争. 基于改进RetinaNet的船舶检测算法[J]. 计算机应用, 2022, 42(7): 2248-2255.

Wenjun FAN, Shuguang ZHAO, Lizheng GUO. Ship detection algorithm based on improved RetinaNet[J]. Journal of Computer Applications, 2022, 42(7): 2248-2255.

图/表 17

图1 RetinaNet的结构

Fig. 1 Structure of ReitinaNet

图2 残差块结构

Fig. 2 Structure of residual block

图3 FPN结构

Fig. 3 Structure of FPN

图4 本文改进算法的网络结构

Fig. 4 Network structure of proposed improved algorithm

图5 残差块改进前后对比

Fig. 5 Comparison of residual block before and after improvement

图6 广义注意力模块结构

Fig. 6 Structure of generalized attention module

图7 注意力残差块结构

Fig. 7 Structure of attention residual block

图8 NMS算法导致的漏检

Fig. 8 Missed detection caused by NMS algorithm

表1 HRSID数据集与SSD数据集

Tab. 1 HRSID dataset and SSD dataset

数据集	船舶目标数量			图像尺寸		图像数量	分辨率/m
数据集	小目标	中等目标	大目标	高/px	宽/px	图像数量	分辨率/m
SSDD	1 529	935	76	190~526	214~668	1 160	1~10
HRSID	9 242	7 388	321	800	800	5 604	0.5~3

表2 改进算法各模块的消融实验结果

Tab. 2 Ablation experimental results of each module of improved algorithm

ResNeXt	GAM模块	Soft-NMS	AP/%	AP₅₀/%	AP₇₅/%
✕	✕	✕	52.3	90.0	57.4
√	✕	✕	53.9	91.3	58.5
√	√	✕	55.6	92.7	59.4
√	✕	√	55.5	92.3	60.1
√	√	√	56.1	92.8	60.7

表3 RetinaNet算法改进前后性能对比

Tab. 3 Performance comparison of RetinaNet algorithm before and after improvement

模型	测试时间/s	AP/%	AP₅₀/%	AP₇₅/%
RetinaNet	0.082	59.1	85.2	65.6
本文改进算法	0.136	61.5	86.1	69.0

图9 不同算法检测结果的可视化对比

Fig. 9 Visualization comparison of detection results ofdifferent algorithms

表4 不同检测算法的性能对比

Tab. 4 Performance comparison of different detection algorithms

算法	测试时间/s	AP/%	AP₅₀/%	AP₇₅/%
YOLOv3	0.025	46.9	87.9	46.4
SSD	0.029	52.5	91.2	57.0
Faster R-CNN	0.200	55.6	90.3	63.4
Libra R-CNN	0.060	55.4	91.6	62.0
CenterNet	0.055	55.6	92.0	60.3
本文算法	0.050	56.1	92.8	60.7

图10 不同算法的PR曲线

Fig. 10 PR curves of different algorithms

图11 小目标船舶图像的不同算法检测结果对比

Fig. 11 Detection result comparison of different algorithms forsmall target ship image

图12 近岸密集停靠船舶图像的不同算法检测结果对比

Fig. 12 Detection result comparison of different algorithms for image of densely docked ships near shore

表5 不同算法在SSDD数据集的近岸与离岸场景的检测精度对比 (%)

Tab. 5 Detection precision comparison of different algorithms innear-shore and off-shore scenarios of SSDD dataset

模型	近岸数据集	离岸数据集
YOLOv3	27.9	51.3
SSD	34.6	57.1
Faster R-CNN	40.3	58.6
本文算法	41.9	59.6

参考文献 24

1	WACKERMAN C C， FRIEDMAN K S， PICHEL W G， et al. Automatic detection of ships in RADARSAT-1 SAR imagery ［J］. Canadian Journal of Remote Sensing， 2001， 27（5）： 568-577. 10.1080/07038992.2001.10854896
2	陈慧元，刘泽宇，郭炜炜，等.基于级联卷积神经网络的大场景遥感图像舰船目标快速检测方法［J］.雷达学报，2019，8（3）：413-424. 10.12000/JR19041
	CHEN H Y， LIU Z Y， GUO W W， et al. Fast detection of ship targets for large-scale remote sensing image based on a cascade convolutional neural network ［J］. Journal of Radars， 2019， 8（3）： 413-424. 10.12000/JR19041
3	ROBEY F C， FUHRMANN D R， KELLY E J， et al. A CFAR adaptive matched filter detector ［J］. IEEE Transactions on Aerospace and Electronic Systems， 1992， 28（1）： 208-216. 10.1109/7.135446
4	REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149. 10.1109/tpami.2016.2577031
5	REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real-time object detection ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 779-788. 10.1109/cvpr.2016.91
6	LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2999-3007. 10.1109/iccv.2017.324
7	KANG M， JI K F， LENG X G， et al. Contextual region-based convolutional neural network with multilayer fusion for SAR ship detection ［J］. Remote Sensing， 2017， 9（8）： Article No.860. 10.3390/rs9080860
8	JIAO J， ZHANG Y， SUN H， et al. A densely connected end-to-end neural network for multiscale and multiscene SAR ship detection ［J］. IEEE Access， 2018， 6： 20881-20892. 10.1109/access.2018.2825376
9	ZHANG T W， ZHANG X L. High-speed ship detection in SAR images based on a grid convolutional neural network ［J］. Remote Sensing， 2019， 11（10）： Article No.1206. 10.3390/rs11101206
10	CUI Z Y， LI Q， CAO Z J， et al. Dense attention pyramid networks for multi-scale ship detection in SAR images ［J］. IEEE Transactions on Geoscience and Remote Sensing， 2019， 57（11）： 8983-8997. 10.1109/tgrs.2019.2923988
11	ZHAO Y， ZHAO L J， LI C Y， et al. Pyramid attention dilated network for aircraft detection in SAR images ［J］. IEEE Geoscience and Remote Sensing Letters， 2021， 18（4）： 662-666. 10.1109/lgrs.2020.2981255
12	袁国文，张彩霞，杨阳，等.复杂场景下深度表示的SAR船舶目标检测算法［J］.计算机工程与应用，2022，58（2）：289-294. 10.3778/j.issn.1002-8331.2008-0117
	YUAN G W， ZHANG C X， YANG Y， et al. SAR target detection algorithm for depth representation in complex scenes ［J］. Computer Engineering and Applications， 2022， 58（2）： 289-294. 10.3778/j.issn.1002-8331.2008-0117
13	PANG J M， CHEN K， SHI J P， et al. Libra R-CNN： towards balanced learning for object detection ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 821-830. 10.1109/cvpr.2019.00091
14	GUO H Y， YANG X， WANG N N， et al. A CenterNet++ model for ship detection in SAR images ［J］. Pattern Recognition， 2021， 112： Article No.107787. 10.1016/j.patcog.2020.107787
15	ZHOU X Y， WANG D Q， KRÄHENBÜHL P. Objects as points ［EB/OL］. ［2021-03-03］. .
16	SZEGEDY C， LIU W， JIA Y Q， et al. Going deeper with convolutions ［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 1-9. 10.1109/cvpr.2015.7298594
17	BODLA N， SINGH B， CHELLAPPA R， et al. Soft-NMS —improving object detection with one line of code ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 5562-5570. 10.1109/iccv.2017.593
18	XIE S N， GIRSHICK R， DOLLÁR P， et al. Aggregated residual transformations for deep neural networks ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 5987-5995. 10.1109/cvpr.2017.634
19	ZHU X Z， CHENG D Z， ZHANG Z， et al. An empirical study of spatial attention mechanisms in deep networks ［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 6687-6696. 10.1109/iccv.2019.00679
20	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need ［C］// Proceedings of the 2017 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 6000-6010. 10.1016/s0262-4079(17)32358-8
21	WEI S J， ZENG X F， QU Q Z， et al. HRSID： a high-resolution SAR images dataset for ship detection and instance segmentation ［J］. IEEE Access， 2020， 8： 120234-120254. 10.1109/access.2020.3005861
22	LI J W， QU C W， SHAO J Q. Ship detection in SAR images based on an improved faster R-CNN ［C］// Proceedings of the 2017 SAR in Big Data Era： Models， Methods and Applications. Piscataway： IEEE， 2017： 1-6. 10.1109/bigsardata.2017.8124934
23	REDMON J， FARHADI A. YOLOv3： an incremental improvement ［EB/OL］［2021-03-03］. .
24	LIU W， ANGUELOV D， ERHAN D， et al. SSD： single shot multiBox detector ［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9905. Cham： Springer， 2016： 21-37.

[1]	黄诚, 赵倩锐. 基于语言模型词嵌入和注意力机制的敏感信息检测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2009-2014.
[2]	秦庭威, 赵鹏程, 秦品乐, 曾建朝, 柴锐, 黄永琦. 基于残差注意力机制的点云配准算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2184-2191.
[3]	刘博, 卿粼波, 王正勇, 刘美, 姜雪. 基于分块注意力机制和交互位置关系的群组活动识别[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2052-2057.
[4]	左亚尧, 陈皓宇, 陈致然, 洪嘉伟, 陈坤. 融合多语义特征的命名实体识别方法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2001-2008.
[5]	刘万军, 王佳铭, 曲海成, 董利兵, 曹欣宇. 基于频谱空间域特征注意的音乐流派分类算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2072-2077.
[6]	张杨, 郝江波. 基于注意力机制和残差网络的恶意代码检测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1708-1715.
[7]	苏珊, 张杨, 张冬雯. 基于深度学习的耦合度相关代码坏味检测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1702-1707.
[8]	周嘉凡, 杜岳峰, 宋宝燕, 李晓光, 赵阿珠, 肖绪界. 基于元路径注意力机制的MOOC视频推荐方法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1808-1813.
[9]	杨先凤, 赵家和, 李自强. 融合字注释的文本分类模型[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1317-1323.
[10]	胡鹤轩, 隋华超, 胡强, 张晔, 胡震云, 马能武. 基于图注意力网络与双阶注意力机制的径流预报模型[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1607-1615.
[11]	陈代丽, 许国良. 基于注意力机制学习域内变化的跨域行人重识别方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1391-1397.
[12]	庄屹, 赵海涛. 面向三维点云单目标跟踪的提案聚合网络[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1407-1416.
[13]	屈震, 李堃婷, 冯志玺. 基于有效通道注意力的遥感图像场景分类[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1431-1439.
[14]	张晔, 刘蓉, 刘明, 陈明. 基于多通道注意力机制的图像超分辨率重建网络[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1563-1569.
[15]	任炜, 白鹤翔. 基于全局与局部标签关系的多标签图像分类方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1383-1390.

基于改进RetinaNet的船舶检测算法

Ship detection algorithm based on improved RetinaNet

RichHTML

PDF

PDF (Mobile)

可视化

摘要/Abstract

引用本文

使用本文

图/表 17

参考文献 24

相关文章 15

编辑推荐

Metrics