基于改进RetinaNet的船舶检测算法

doi:10.11772/j.issn.1001-9081.2021050831

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (7): 2248-2255.DOI: 10.11772/j.issn.1001-9081.2021050831

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于改进RetinaNet的船舶检测算法

凡文俊¹, 赵曙光¹(), 郭力争²

^1.东华大学信息科学与技术学院，上海 201620
^2.河南城建学院计算机与数据科学学院，河南平顶山 467036

收稿日期:2021-05-20 修回日期:2021-12-15 接受日期:2021-12-29 发布日期:2022-03-08 出版日期:2022-07-10
通讯作者: 赵曙光
作者简介:凡文俊（1996—），男，湖北天门人，硕士研究生，主要研究方向：人工智能、目标检测
郭力争（1975—），男，河南开封人，副教授，博士，主要研究方向：云计算的资源管理与调度、机器学习。
基金资助:
中央高校基本科研业务费专项资金学科交叉重点计划项目(2232020A?12)

Ship detection algorithm based on improved RetinaNet

Wenjun FAN¹, Shuguang ZHAO¹(), Lizheng GUO²

^1.College of Information Science and Technology，Donghua University，Shanghai 201620，China
^2.School of Computer and Data Science，Henan University of Urban Construction，Pingdingshan Henan 467036，China

Received:2021-05-20 Revised:2021-12-15 Accepted:2021-12-29 Online:2022-03-08 Published:2022-07-10
Contact: Shuguang ZHAO
About author:FAN Wenjun， born in 1996， M. S. candidate. His research interests include artificial intelligence， target detection.
GUO Lizheng， born in 1975， Ph. D.， associate professor. His research interests include resource management and scheduling of cloud computing， machine learning.
Supported by:
Interdisciplinary Key Program of Fundamental Research Funds for Central Universities(2232020A-12)

摘要/Abstract

摘要：

目前基于深度学习算法的目标检测技术在合成孔径雷达（SAR）图像船舶检测中取得了显著的成果，然而仍存在着小目标船舶和近岸密集排列船舶检测效果差的问题。针对上述问题，提出了基于改进RetinaNet的船舶检测算法。在传统RetinaNet算法的基础上，首先，将特征提取网络残差块中的卷积改进为分组卷积，以增加网络宽度，从而提高网络的特征提取能力；其次，在特征提取网络的后两个阶段加入注意力机制，让网络更加专注于目标区域，从而提升目标检测能力；最后，将软非极大值抑制（Soft-NMS）加入到算法中，降低算法对于近岸密集排列船舶检测的漏检率。在高分辨率SAR图像数据集（HRSID）和SAR船舶检测数据集（SSDD）上的实验结果表明，所提改进算法对于小目标船舶和近岸船舶的检测效果得到了有效提升，与当前优秀的目标检测模型Faster R-CNN、YOLOv3和CenterNet等相比，在检测精度和速度上更加优越。

关键词: 合成孔径雷达图像, 船舶检测, RetinaNet, 注意力机制, 分组卷积

Abstract:

At present， the target detection technology based on deep learning algorithm has achieved the remarkable results in ship detection of Synthetic Aperture Radar （SAR） images. However， there is still the problem of poor detection effect of small target ships and densely arranged ships near shore. To solve the above problem， a new ship detection algorithm based on improved RetinaNet was proposed. On the basis of traditional RetinaNet algorithm， firstly， the convolution in the residual block of feature extraction network was improved to grouped convolution， thereby increasing the network width and improving the feature extraction ability of the network. Then， the attention mechanism was added in the last two stages of feature extraction network to make the network more focus on the target area and improve the target detection ability. Finally， the Soft Non-Maximum Suppression （Soft-NMS） was added to the algorithm to reduce the missed detection rate of the algorithm for the detection of densely arranged ships near shore. Experimental results on High-Resolution SAR Images Dataset （HRSID） and SAR Ship Detection Dataset （SSDD） show that， the proposed algorithm effectively improves the detection effect of small target ships and near-shore ships， is superior in detection precision and speed compared with the current excellent object detection models such as Faster Region-based Convolutional Neural Network （R-CNN）， You Only Look Once version 3 （YOLOv3） and CenterNet.

Key words: Synthetic Aperture Radar (SAR) image, ship detection, RetinaNet, attention mechanism, grouped convolution

中图分类号:

TP391.41

凡文俊, 赵曙光, 郭力争. 基于改进RetinaNet的船舶检测算法[J]. 计算机应用, 2022, 42(7): 2248-2255.

Wenjun FAN, Shuguang ZHAO, Lizheng GUO. Ship detection algorithm based on improved RetinaNet[J]. Journal of Computer Applications, 2022, 42(7): 2248-2255.

图/表 17

图1 RetinaNet的结构

Fig. 1 Structure of ReitinaNet

图2 残差块结构

Fig. 2 Structure of residual block

图3 FPN结构

Fig. 3 Structure of FPN

图4 本文改进算法的网络结构

Fig. 4 Network structure of proposed improved algorithm

图5 残差块改进前后对比

Fig. 5 Comparison of residual block before and after improvement

图6 广义注意力模块结构

Fig. 6 Structure of generalized attention module

图7 注意力残差块结构

Fig. 7 Structure of attention residual block

图8 NMS算法导致的漏检

Fig. 8 Missed detection caused by NMS algorithm

表1 HRSID数据集与SSD数据集

Tab. 1 HRSID dataset and SSD dataset

数据集	船舶目标数量			图像尺寸		图像数量	分辨率/m
数据集	小目标	中等目标	大目标	高/px	宽/px	图像数量	分辨率/m
SSDD	1 529	935	76	190~526	214~668	1 160	1~10
HRSID	9 242	7 388	321	800	800	5 604	0.5~3

表2 改进算法各模块的消融实验结果

Tab. 2 Ablation experimental results of each module of improved algorithm

ResNeXt	GAM模块	Soft-NMS	AP/%	AP₅₀/%	AP₇₅/%
✕	✕	✕	52.3	90.0	57.4
√	✕	✕	53.9	91.3	58.5
√	√	✕	55.6	92.7	59.4
√	✕	√	55.5	92.3	60.1
√	√	√	56.1	92.8	60.7

表3 RetinaNet算法改进前后性能对比

Tab. 3 Performance comparison of RetinaNet algorithm before and after improvement

模型	测试时间/s	AP/%	AP₅₀/%	AP₇₅/%
RetinaNet	0.082	59.1	85.2	65.6
本文改进算法	0.136	61.5	86.1	69.0

图9 不同算法检测结果的可视化对比

Fig. 9 Visualization comparison of detection results ofdifferent algorithms

表4 不同检测算法的性能对比

Tab. 4 Performance comparison of different detection algorithms

算法	测试时间/s	AP/%	AP₅₀/%	AP₇₅/%
YOLOv3	0.025	46.9	87.9	46.4
SSD	0.029	52.5	91.2	57.0
Faster R-CNN	0.200	55.6	90.3	63.4
Libra R-CNN	0.060	55.4	91.6	62.0
CenterNet	0.055	55.6	92.0	60.3
本文算法	0.050	56.1	92.8	60.7

图10 不同算法的PR曲线

Fig. 10 PR curves of different algorithms

图11 小目标船舶图像的不同算法检测结果对比

Fig. 11 Detection result comparison of different algorithms forsmall target ship image

图12 近岸密集停靠船舶图像的不同算法检测结果对比

Fig. 12 Detection result comparison of different algorithms for image of densely docked ships near shore

表5 不同算法在SSDD数据集的近岸与离岸场景的检测精度对比 (%)

Tab. 5 Detection precision comparison of different algorithms innear-shore and off-shore scenarios of SSDD dataset

模型	近岸数据集	离岸数据集
YOLOv3	27.9	51.3
SSD	34.6	57.1
Faster R-CNN	40.3	58.6
本文算法	41.9	59.6

参考文献 24

1	WACKERMAN C C， FRIEDMAN K S， PICHEL W G， et al. Automatic detection of ships in RADARSAT-1 SAR imagery ［J］. Canadian Journal of Remote Sensing， 2001， 27（5）： 568-577. 10.1080/07038992.2001.10854896
2	陈慧元，刘泽宇，郭炜炜，等.基于级联卷积神经网络的大场景遥感图像舰船目标快速检测方法［J］.雷达学报，2019，8（3）：413-424. 10.12000/JR19041
	CHEN H Y， LIU Z Y， GUO W W， et al. Fast detection of ship targets for large-scale remote sensing image based on a cascade convolutional neural network ［J］. Journal of Radars， 2019， 8（3）： 413-424. 10.12000/JR19041
3	ROBEY F C， FUHRMANN D R， KELLY E J， et al. A CFAR adaptive matched filter detector ［J］. IEEE Transactions on Aerospace and Electronic Systems， 1992， 28（1）： 208-216. 10.1109/7.135446
4	REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149. 10.1109/tpami.2016.2577031
5	REDMON J， DIVVALA S， GIRSHICK R， et al. You only look once： unified， real-time object detection ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 779-788. 10.1109/cvpr.2016.91
6	LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2999-3007. 10.1109/iccv.2017.324
7	KANG M， JI K F， LENG X G， et al. Contextual region-based convolutional neural network with multilayer fusion for SAR ship detection ［J］. Remote Sensing， 2017， 9（8）： Article No.860. 10.3390/rs9080860
8	JIAO J， ZHANG Y， SUN H， et al. A densely connected end-to-end neural network for multiscale and multiscene SAR ship detection ［J］. IEEE Access， 2018， 6： 20881-20892. 10.1109/access.2018.2825376
9	ZHANG T W， ZHANG X L. High-speed ship detection in SAR images based on a grid convolutional neural network ［J］. Remote Sensing， 2019， 11（10）： Article No.1206. 10.3390/rs11101206
10	CUI Z Y， LI Q， CAO Z J， et al. Dense attention pyramid networks for multi-scale ship detection in SAR images ［J］. IEEE Transactions on Geoscience and Remote Sensing， 2019， 57（11）： 8983-8997. 10.1109/tgrs.2019.2923988
11	ZHAO Y， ZHAO L J， LI C Y， et al. Pyramid attention dilated network for aircraft detection in SAR images ［J］. IEEE Geoscience and Remote Sensing Letters， 2021， 18（4）： 662-666. 10.1109/lgrs.2020.2981255
12	袁国文，张彩霞，杨阳，等.复杂场景下深度表示的SAR船舶目标检测算法［J］.计算机工程与应用，2022，58（2）：289-294. 10.3778/j.issn.1002-8331.2008-0117
	YUAN G W， ZHANG C X， YANG Y， et al. SAR target detection algorithm for depth representation in complex scenes ［J］. Computer Engineering and Applications， 2022， 58（2）： 289-294. 10.3778/j.issn.1002-8331.2008-0117
13	PANG J M， CHEN K， SHI J P， et al. Libra R-CNN： towards balanced learning for object detection ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 821-830. 10.1109/cvpr.2019.00091
14	GUO H Y， YANG X， WANG N N， et al. A CenterNet++ model for ship detection in SAR images ［J］. Pattern Recognition， 2021， 112： Article No.107787. 10.1016/j.patcog.2020.107787
15	ZHOU X Y， WANG D Q， KRÄHENBÜHL P. Objects as points ［EB/OL］. ［2021-03-03］. .
16	SZEGEDY C， LIU W， JIA Y Q， et al. Going deeper with convolutions ［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 1-9. 10.1109/cvpr.2015.7298594
17	BODLA N， SINGH B， CHELLAPPA R， et al. Soft-NMS —improving object detection with one line of code ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 5562-5570. 10.1109/iccv.2017.593
18	XIE S N， GIRSHICK R， DOLLÁR P， et al. Aggregated residual transformations for deep neural networks ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 5987-5995. 10.1109/cvpr.2017.634
19	ZHU X Z， CHENG D Z， ZHANG Z， et al. An empirical study of spatial attention mechanisms in deep networks ［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 6687-6696. 10.1109/iccv.2019.00679
20	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need ［C］// Proceedings of the 2017 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 6000-6010. 10.1016/s0262-4079(17)32358-8
21	WEI S J， ZENG X F， QU Q Z， et al. HRSID： a high-resolution SAR images dataset for ship detection and instance segmentation ［J］. IEEE Access， 2020， 8： 120234-120254. 10.1109/access.2020.3005861
22	LI J W， QU C W， SHAO J Q. Ship detection in SAR images based on an improved faster R-CNN ［C］// Proceedings of the 2017 SAR in Big Data Era： Models， Methods and Applications. Piscataway： IEEE， 2017： 1-6. 10.1109/bigsardata.2017.8124934
23	REDMON J， FARHADI A. YOLOv3： an incremental improvement ［EB/OL］［2021-03-03］. .
24	LIU W， ANGUELOV D， ERHAN D， et al. SSD： single shot multiBox detector ［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9905. Cham： Springer， 2016： 21-37.

[1]	赵志强, 马培红, 黑新宏. 基于双重注意力机制的人群计数方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2886-2892.
[2]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[3]	李力铤, 华蓓, 贺若舟, 徐况. 基于解耦注意力机制的多变量时序预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2732-2738.
[4]	薛凯鹏, 徐涛, 廖春节. 融合自监督和多层交叉注意力的多模态情感分析网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2387-2392.
[5]	汪雨晴, 朱广丽, 段文杰, 李书羽, 周若彤. 基于交互注意力机制的心理咨询文本情感分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2393-2399.
[6]	高鹏淇, 黄鹤鸣, 樊永红. 融合坐标与多头注意力机制的交互语音情感识别[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2400-2406.
[7]	李钟华, 白云起, 王雪津, 黄雷雷, 林初俊, 廖诗宇. 基于图像增强的低照度人脸检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2588-2594.
[8]	莫尚斌, 王文君, 董凌, 高盛祥, 余正涛. 基于多路信息聚合协同解码的单通道语音增强[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2611-2617.
[9]	熊武, 曹从军, 宋雪芳, 邵云龙, 王旭升. 基于多尺度混合域注意力机制的笔迹鉴别方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2225-2232.
[10]	李欢欢, 黄添强, 丁雪梅, 罗海峰, 黄丽清. 基于多尺度时空图卷积网络的交通出行需求预测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2065-2072.
[11]	毛典辉, 李学博, 刘峻岭, 张登辉, 颜文婧. 基于并行异构图和序列注意力机制的中文实体关系抽取模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2018-2025.
[12]	刘丽, 侯海金, 王安红, 张涛. 基于多尺度注意力的生成式信息隐藏算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2102-2109.
[13]	徐松, 张文博, 王一帆. 基于时空信息的轻量视频显著性目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2192-2199.
[14]	李大海, 王忠华, 王振东. 结合空间域和频域信息的双分支低光照图像增强网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2175-2182.
[15]	魏文亮, 王阳萍, 岳彪, 王安政, 张哲. 基于光照权重分配和注意力的红外与可见光图像融合深度学习模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2183-2191.

基于改进RetinaNet的船舶检测算法

Ship detection algorithm based on improved RetinaNet

RichHTML

PDF

PDF (Mobile)

可视化

摘要/Abstract

引用本文

使用本文

图/表 17

参考文献 24

相关文章 15

编辑推荐

Metrics