基于ResNet50和改进注意力机制的船舶识别模型

doi:10.11772/j.issn.1001-9081.2023060859

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (6): 1935-1941.DOI: 10.11772/j.issn.1001-9081.2023060859

所属专题：多媒体计算与计算机仿真

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于ResNet50和改进注意力机制的船舶识别模型

刘源泂¹^,²^,³(), 何茂征¹^,²^,³, 黄益斌⁴, 钱程⁴

^1.冶金装备及其控制教育部重点实验室(武汉科技大学), 武汉 430081
^2.机械传动与制造工程湖北省重点实验室(武汉科技大学), 武汉 430081
^3.武汉科技大学精密制造研究院, 武汉, 430081
^4.江苏健龙岸电科技有限公司, 江苏宜兴 214200

收稿日期:2023-07-04 修回日期:2023-08-15 接受日期:2023-08-23 发布日期:2023-09-11 出版日期:2024-06-10
通讯作者: 刘源泂
作者简介:何茂征（1997—），男，河南濮阳人，硕士研究生，主要研究方向：机器视觉
黄益斌（1975—），男，江苏宜兴人，高级工程师，硕士，主要研究方向：图像识别
钱程（1988—），男，江苏宜兴人，高级工程师，硕士，主要研究方向：电气自动化。
基金资助:
2020年湖北省知识产权运用示范项目(202014)

Ship identification model based on ResNet50 and improved attention mechanism

Yuanjiong LIU¹^,²^,³(), Maozheng HE¹^,²^,³, Yibin HUANG⁴, Cheng QIAN⁴

^1.Key Laboratory of Metallurgical Equipment and Control，Ministry of Education （Wuhan University of Science and Technology），Wuhan Hubei 430081，China
^2.Hubei Provincial Key Laboratory of Mechanical Transmission and Manufacturing Engineering （Wuhan University of Science and Technology），Wuhan Hubei 430081，China
^3.Institute of Precision Manufacturing，Wuhan University of Science and Technology，Wuhan Hubei 430081，China
^4.Jiangsu Jianlong Shore Power Technology Company Limited，Yixing Jiangsu 214200，China

Received:2023-07-04 Revised:2023-08-15 Accepted:2023-08-23 Online:2023-09-11 Published:2024-06-10
Contact: Yuanjiong LIU
About author:HE Maozheng， born in 1997， M. S. candidate. His research interests include machine vision.
HUANG Yibin， born in 1975， M. S.， senior engineer. His research interests include image recognition.
QIAN Cheng， born in 1988， M. S.， senior engineer. His research interests include electrical automation.
Supported by:
Intellectual Property Application Demonstration Project in Hubei Province in 2020(202014)

摘要/Abstract

摘要：

海洋船舶的自动识别对缓解海上交通压力起着重要作用。针对当前船舶自动识别率较低的问题，提出一种基于ResNet50（Residual Network50）和改进注意力机制的船舶识别模型。首先，自制船舶数据集并划分为训练集、验证集和测试集，采用模糊、增加噪声等方法得到增强数据集；其次，设计改进注意力模块——高效空间金字塔注意力模块（ESPAM）和船舶种类识别模型ResNet50_ESPAM；最后，将ResNet50_ESPAM与其他常用的神经网络模型对船舶数据集进行训练验证并对比。实验结果表明，ResNet50_ESPAM在验证集最高准确率为95.5%，验证集初始准确率为81.2%，与AlexNet（Alex Krizhevsky Network）、GoogleNet（Google Inception Net）、ResNet34（Residual Network34）、ResNet50和ResNet50_CBAM（ResNet50_ Convlutional Block Attention Module）等模型相比，模型验证集最高准确率分别提升了5.1、4.9、2.6、1.6和1.4个百分点，验证集初始准确率分别提升了49.4、44.7、27.7、3.0和2.1个百分点。实验结果表明ResNet50_ESPAM在船舶种类识别方面具有较高的识别精度，验证了改进的注意力模块ESPAM的有效性。

关键词: 图像处理, 深度学习, 残差网络, 注意力机制, 船舶识别

Abstract:

Automatic identification of marine ships plays an important role in alleviating the pressure of marine traffic. To address the problem of low automatic ship identification rate， a ship identification model based on ResNet50 （Residual Network50） and improved attention mechanism was proposed. Firstly， a ship data set was made by ourselves， and divided into the training set， the verification set and the test set， which were augmented by blurring and adding noise. Secondly， an improved attention module — Efficient Spatial Pyramid Attention Module （ESPAM） and ship type recognition model ResNet50_ESPAM were designed. Finally， the ResNet50_ESPAM was trained， verified and compared with other commonly used neural network models using ship data sets. The experimental results show that in the verification set， the highest accuracy of ResNet50_ESPAM is 95.5%， and the initial accuracy is 81.2%； compared with AlexNet（Alex Krizhevsky Network）， GoogleNet （Google Inception Net）， ResNet34（Residual Network34）， ResNet50 and ResNet50_CBAM （ResNet50_Convlutional Block Attention Module）， the maximum accuracy of the model validation set increases by 5.1， 4.9， 2.6， 1.6 and 1.4 percentage points respectively， and the initial accuracy of the validation set increases by 49.4， 44.7， 27.7， 3.0 and 2.1 percentage points respectively， indicating that ResNet50_ESPAM has a high recognition accuracy in ship type recognition， and the improved attention module ESPAM is highly effective.

Key words: image processing, deep learning, residual network, attention mechanism, ship identification

中图分类号:

TP391.4

刘源泂, 何茂征, 黄益斌, 钱程. 基于ResNet50和改进注意力机制的船舶识别模型[J]. 计算机应用, 2024, 44(6): 1935-1941.

Yuanjiong LIU, Maozheng HE, Yibin HUANG, Cheng QIAN. Ship identification model based on ResNet50 and improved attention mechanism[J]. Journal of Computer Applications, 2024, 44(6): 1935-1941.

图/表 12

图1 真实多场景船舶数据集

Fig.1 Real multi-scene ship dataset

表1 数据增强后的船舶数据集样本数

Tab.1 Number of ship datasets after data augmentation

船舶种类	样本数
船舶种类	训练集	验证集	测试集	总数
工程船	1 680	210	210	2 100
渔船	1 704	213	213	2 130
货船	1 664	208	208	2 080
客船	1 688	211	211	2 110
快艇	1 656	207	207	2 070

图2 ResNet50的残差结构

Fig. 2 Residual structure of ResNet50

图3 ResNet50的网络结构

Fig. 3 Network structure of ResNet50

图4 ESPAM的网络整体结构

Fig.4 Overall network structure of ESPAM

图5 ResNet50_ESPAM网络结构

Fig. 5 Network structure of ResNet50_ESPAM

表2 ESPAM注意力机制不同插入方案时ResNet50模型的性能 (%)

Tab.2 Performance of ResNet50 model under different insertion schemes of ESPAM attention mechanism

注意力机制插入方式	验证集初始准确率	验证集最高准确率
方案1	41.2	68.6
方案2	34.4	56.2
方案3	81.2	95.5
方案4	78.3	91.6
方案5	36.9	66.6
方案6	35.4	63.2

图6 学习率对准确率的影响

Fig.6 Impact of learning rate on accuracy

图7 学习率对损失值的影响

Fig. 7 Impact of learning rate on loss value

表3 各神经网络模型的性能评估对比

Tab.3 Performance evaluation comparison of various neural network models

性能评估对比方式	模型	验证集初始准确率/%	验证集最高准确率/%	参数量/ $106$	浮点运算量/ $109$
（a）引入不同注意力机制模块的 ResNet50模型性能评估对比	ResNet50	78.2	93.9	25.55	4.12
	ResNet50+SPAM	81.6	93.9	26.61	4.94
	ResNet50+ECAM	80.8	94.1	25.55	4.12
	ResNet50+ESPAM	81.2	95.5	29.75	4.94
（b）添加与未添加ESPAM的网络模型性能评估对比	AlexNet	31.8	90.4	16.63	3.12
	AlexNet + ESPAM	62.4	93.2	20.78	3.67
	GoogleNet	36.5	90.6	6.99	1.59
	GoogleNet +ESPAM	67.3	93.7	29.75	4.94
	YOLOv5s	68.7	91.2	8.37	16.57
	YOLOv5s +ESPAM	80.1	95.1	8.92	17.02
（c）不同CNN模型性能评估对比	AlexNet	31.8	90.4	16.63	3.12
	GoogleNet	36.5	90.6	6.99	1.59
	ResNet34	53.5	92.9	21.79	3.67
	ResNet50	78.2	93.9	25.55	4.12
	ResNet50_CBAM	79.1	94.1	26.08	4.12
	ResNet50_ESPAM	81.2	95.5	29.75	4.94

表3 各神经网络模型的性能评估对比

Tab.3 Performance evaluation comparison of various neural network models

性能评估对比方式	模型	验证集初始准确率/%	验证集最高准确率/%	参数量/ $106$	浮点运算量/ $109$
（a）引入不同注意力机制模块的 ResNet50模型性能评估对比	ResNet50	78.2	93.9	25.55	4.12
	ResNet50+SPAM	81.6	93.9	26.61	4.94
	ResNet50+ECAM	80.8	94.1	25.55	4.12
	ResNet50+ESPAM	81.2	95.5	29.75	4.94
（b）添加与未添加ESPAM的网络模型性能评估对比	AlexNet	31.8	90.4	16.63	3.12
	AlexNet + ESPAM	62.4	93.2	20.78	3.67
	GoogleNet	36.5	90.6	6.99	1.59
	GoogleNet +ESPAM	67.3	93.7	29.75	4.94
	YOLOv5s	68.7	91.2	8.37	16.57
	YOLOv5s +ESPAM	80.1	95.1	8.92	17.02
（c）不同CNN模型性能评估对比	AlexNet	31.8	90.4	16.63	3.12
	GoogleNet	36.5	90.6	6.99	1.59
	ResNet34	53.5	92.9	21.79	3.67
	ResNet50	78.2	93.9	25.55	4.12
	ResNet50_CBAM	79.1	94.1	26.08	4.12
	ResNet50_ESPAM	81.2	95.5	29.75	4.94

图8 不同CNN模型验证集准确率对比

Fig.8 Accuracy comparison on validation set by different CNN models

图9 ResNet_ESPAM模型各模块提取特征可视化

Fig.9 Visualization of feature extraction by each module of ResNet_ESPAM model

参考文献 19

1	SUN C Z， LI X， ZOU W， et al. Chinese marine economy development： dynamic evolution and spatial difference［J］. Chinese Geographical Science， 2018， 28（1）： 111-126.
2	YANG G， LI B， JI S， et al. Ship detection from optical satellite images based on sea surface analysis［J］. IEEE Geoscience and Remote Sensing Letters， 2014， 11（3），641-645.
3	GUO W， XIA X， XIAO F， et al. A remote sensing ship recognition method based on dynamic probability generative model ［J］. Expert Systems with Applications，2014， 41（14）： 6446-6458.
4	周旗开，张伟，李东锦，等.基于改进YOLOv5s的光学遥感图像舰船分类检测方法［J］.激光与光电子学展，2022，59（16）： 1628008.
	ZHOU Q K， ZHANG W， LI D J， et al. Ship classification detection method for optical remote sensing images based on improved YOLOv5s［J］.Laser & Optoelectronics Progress，2022， 59（16）： 1628008.
5	王燕妮，孙雪松，余丽仙.增强感受野的轻量化合成孔径雷达船舶检测算法［J］.光子学报，2022，51（2）： 0210008.
	WANG Y N， SUN X S， YU L X. Lightweight synthetic aperture radar ship detection algorithm with enhanced receptive field ［J］. Acta Optica Sinica， 2022，51（2）：0210008.
6	姚婷婷，张波，李鹏飞，等.基于鲁棒背景估计的船舶显著性检测［J］.激光与光电子学进展，2022，59（8）： 0810008.
	YAO T T， ZHANG B， LI P F， et al. Ship significance detection based on robust background estimation ［J］. Laser & Optoelectronics Progress， 2022，59（8）：0810008.
7	HONG F， LIU C， GUO L，et al. Underwater acoustic target recognition with ResNet18 on ShipsEar dataset［C］// Proceedings of the 2021 IEEE 4th International Conference on Electronics Technology. Piscataway：IEEE， 2021：1204-1244.
8	SHAO Z， WU W， WANG Z， et al. SeaShips： a largescale precisely annotated dataset for ship detection［J］. IEEE Transactions on Multimedia， 2018， 20（10）： 2593-2604.
9	周飞燕，金林鹏，董军.卷积神经网络研究综述［J］.计算机学报，2017，40（6）：1229-1251.
	ZHOU F Y， JIN L P， DONG J. Review of convolutional neural networks ［J］. Chinese Journal of Computers， 2017， 40（6）： 1229-1251.
10	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778.
11	HE K， ZHANG X， REN S， et al. Spatial pyramid pooling in deep convolutional networks for visual recognition［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015， 37（9）： 1904-1916.
12	WOO S， PARK J， LEE J-Y， et al. CBAM： convolutional block attention module［C］// Proceedings of the 15th European Conference on Computer Vision. Cham： Springer， 2018： 3-19.
13	HU J， SHEN L， SUN G. Squeeze-and-excitation networks ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7132-7141.
14	WANG Q， WU B， ZHU P， et al. ECA-Net： efficient channel attention for deep convolutional neural networks［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 11531-11539.
15	鲁一冰，刘文清，张玉钧，等.一种自适应层进式Savitzky-Golay光谱滤波算法及其应用［J］. 光谱学与光谱分析，2019，39（9）：2657-2663.
	LU Y B， LIU W Q， ZHANG Y J， et al. An adaptive hierarchical Savitzky-Golay spectral filtering algorithm and its application［J］. Spectroscopy and Spectral Analysis， 2019， 39（9）： 2657-2663.
16	PAN S J， YANG Q. A survey on transfer learning［J］. IEEE Transactions on Knowledge and Data Engineering， 2010， 22（10）：1345-1359.
17	葛芸，马琳，叶发茂，等.基于多尺度池化和范数注意力机制的遥感图像检索［J］. 电子与信息学报，2022，44（2）：543-551.
	GE Y， MA L， YE F M，et al. Remote sensing image retrieval based on multi-scale pooling and norm attention mechanism［J］. Journal of Electronics and Information Technology， 2022，44（2）：543-551.
18	黄冬梅，王玥琦，胡安铎，等.融合多维度特征的绝缘子状态边缘识别方法［J］.中国电力，2022，55（1）：133-141.
	HUANG D M， WANG Y Q， HU A D， et al. An edge recognition method for insulator state based on multi-dimension feature fusion［J］. Electric Power， 2022，55（1）：133-141.
19	汪传建，赵庆展，马永建，等.基于卷积神经网络的无人机遥感农作物分类［J］.农业机械学报，2019，50（11）：161-168.
	WANG C J， ZHAO Q Z， MA Y J， et al. Crop identification of drone remote sensing based on convolutional neural network ［J］. Transactions of the Chinese Society for Agricultural Machinery，2019， 50（11）： 161-168.

[1]	李顺勇, 李师毅, 胥瑞, 赵兴旺. 基于自注意力融合的不完整多视图聚类算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2696-2703.
[2]	黄云川, 江永全, 黄骏涛, 杨燕. 基于元图同构网络的分子毒性预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2964-2969.
[3]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[4]	赵志强, 马培红, 黑新宏. 基于双重注意力机制的人群计数方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2886-2892.
[5]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[6]	王熙源, 张战成, 徐少康, 张宝成, 罗晓清, 胡伏原. 面向手术导航3D/2D配准的无监督跨域迁移网络[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2911-2918.
[7]	李力铤, 华蓓, 贺若舟, 徐况. 基于解耦注意力机制的多变量时序预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2732-2738.
[8]	薛凯鹏, 徐涛, 廖春节. 融合自监督和多层交叉注意力的多模态情感分析网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2387-2392.
[9]	汪雨晴, 朱广丽, 段文杰, 李书羽, 周若彤. 基于交互注意力机制的心理咨询文本情感分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2393-2399.
[10]	高鹏淇, 黄鹤鸣, 樊永红. 融合坐标与多头注意力机制的交互语音情感识别[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2400-2406.
[11]	刘禹含, 吉根林, 张红苹. 基于骨架图与混合注意力的视频行人异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2551-2557.
[12]	李钟华, 白云起, 王雪津, 黄雷雷, 林初俊, 廖诗宇. 基于图像增强的低照度人脸检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2588-2594.
[13]	莫尚斌, 王文君, 董凌, 高盛祥, 余正涛. 基于多路信息聚合协同解码的单通道语音增强[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2611-2617.
[14]	顾焰杰, 张英俊, 刘晓倩, 周围, 孙威. 基于时空多图融合的交通流量预测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2618-2625.
[15]	石乾宏, 杨燕, 江永全, 欧阳小草, 范武波, 陈强, 姜涛, 李媛. 面向空气质量预测的多粒度突变拟合网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2643-2650.

基于ResNet50和改进注意力机制的船舶识别模型

Ship identification model based on ResNet50 and improved attention mechanism

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 12

参考文献 19

相关文章 15

编辑推荐

Metrics