基于深度学习的无人机引导线识别模型

doi:10.11772/j.issn.1001-9081.2024010056

《计算机应用》唯一官方网站 ›› 0, Vol. ›› Issue (): 262-266.DOI: 10.11772/j.issn.1001-9081.2024010056

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于深度学习的无人机引导线识别模型

崔多(), 王秋生

北京航空航天大学自动化科学与电气工程学院，北京 100191

收稿日期:2024-01-19 修回日期:2024-04-02 接受日期:2024-04-07 发布日期:2024-05-09 出版日期:2024-12-31
通讯作者: 崔多
作者简介:崔多（2000—），女，辽宁大连人，硕士研究生，主要研究方向：图像处理、机器视觉、机器学习、数据挖掘
王秋生（1990—），男，北京人，副教授，博士，主要研究方向：图像处理、机器视觉、机器学习、模式识别、现代数字信号处理。
基金资助:
教育部高等学校产学研创新基金资助项目(2022XF027)

Drone guide line recognition model based on deep learning

Duo CUI(), Qiusheng WANG

School of Automation Science and Electrical Engineering，Beihang University，Beijing 100191，China

Received:2024-01-19 Revised:2024-04-02 Accepted:2024-04-07 Online:2024-05-09 Published:2024-12-31
Contact: Duo CUI

摘要/Abstract

摘要：

无人机引导线识别是一种无人机基于地面引导线进行自动寻径的方法。针对地面引导线识别速度慢、识别准确率低等问题，提出一种多任务的基于U型网络（U-Net）的轻量化数据融合模型——Mobile-FuUnet。首先，在U-Net的结构上引入MobileNet-V3进行特征提取，并引入深度可分卷积（DSC）减少模型参数量，从而建立多任务轻量化模型；其次，引入前置图像的多项式特征矩阵，并基于注意力机制进行数据融合，从而解决引导线边缘部分大面积缺失所带来的计算问题，进而提高模型的识别准确率。在Tusimple数据集与无人机引导线数据集上展开多次对比验证，实验结果表明，在引导线数据集上，Mobile-FuUnet模型可以实现帧率为109 frame/s，平均交并比（MIoU）为98.71%，F1得分为99.64%，曲线模型R2评分95.03%的引导线识别任务，相较于U-Net、ENet、DeepLab v3等模型在运行速率与计算精度上均有提升。

关键词: 引导线识别, 深度学习, 语义分割, 注意力机制, 数据融合

Abstract:

Drone guide line recognition is an automatic path finding method based on ground guide lines. To address the issues of slow recognition speed and low recognition accuracy of ground guide lines， a multi-task lightweight model with data fusion called Mobile-FuUnet based on U-shaped Network （U-Net） was proposed. Firstly， on the structure of U-Net， MobileNet-V3 was introduced for feature extraction， and Depthwise Separable Convolution （DSC） was introduced to reduce the number of model parameters， so as to establish a multi-task lightweight model. Finally， based on attention mechanism for data fusion， the polynomial feature matrix of the pre-image was introduced to solve the computational problem caused by the large area missing at the edge of the guide line， in order to improve the operational accuracy of the model. Multiple comparisons were carried out on Tusimple dataset and the drone guide line dataset. Experimental results show that on the drone guide line dataset， Mobile-FuUnet model can achieve guide line recognition task with the frame rate of 109 frame/s， the Mean Intersection over Union （MIoU） of 98.71%， the F1 score of 99.64 %， and the curve model R2 score of 95.03%. Compared with models such as U-Net， ENet， and DeepLab v3， the proposed model improves both running speed and computational accuracy.

Key words: guide line recognition, deep learning, semantic segmentation, self-attention, data fusion

中图分类号:

TP391

崔多, 王秋生. 基于深度学习的无人机引导线识别模型[J]. 计算机应用, 0, (): 262-266.

Duo CUI, Qiusheng WANG. Drone guide line recognition model based on deep learning[J]. Journal of Computer Applications, 0, (): 262-266.

图/表 10

参考文献 20

1	OTSU N. A threshold selection method from gray-level histograms ［J］. IEEE Transactions on Systems， Man， and Cybernetics， 1979， 9（1）： 62-66.
2	RAMÍREZ D， VÍA J， SANTAMARÍA I， et al. Entropy and Kullback-Leibler divergence estimation based on Szegö's theorem［C］// Proceedings of the 17th European Signal Processing Conference. Piscataway： IEEE， 2009： 2470-2474.
3	LONG J， ZHANG J， XIANG N， et al. An iterative maximum entropy thresholding algorithm ［C］// Proceedings of the 2016 International Conference on Cyberworlds. Piscataway： IEEE， 2016： 171-174.
4	DUDA R O， HART P E. Use of the Hough transformation to detect lines and curves in pictures ［J］. Communications of the ACM， 1972， 15（1）： 11-15.
5	胡斌，何克忠.基于分段直线模型和ATN的车道识别方法［J］.清华大学学报（自然科学版）， 2006， 46（10）： 1762-1766.
6	周发华，陈继清，杨蓉.基于改进Hough变换和斜率特征的车道线识别［J］.现代电子技术， 2023， 46（7）： 180-186.
7	LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation ［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 3431-3440.
8	RONNEBERGER O， FISCHER P， BROX T， et al. U-Net： convolutional networks for biomedical image segmentation ［C］// Proceedings of the 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Cham： Springer， 2015： 234-241.
9	LIU D， ZHANG H， ZHAO M， et al. Brain tumor segmentation based on dilated convolution refine networks ［C］// Proceedings of the IEEE 16th International Conference on Software Engineering Research， Management and Applications. Piscataway： IEEE， 2018： 113-120.
10	PASZKE A， CHAURASIA A， KIM S， et al. ENet： a deep neural network architecture for real-time semantic segmentation ［EB/OL］. ［2024-03-23］. .
11	PAN X， SHI J， LUO P， et al. Spatial as deep： spatial CNN for traffic scene understanding ［C］// Proceedings of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2018： 7276-7283.
12	HOWARD A G， ZHU M， CHEN B， et al. MobileNets： efficient convolutional neural networks for mobile vision applications ［EB/OL］. ［2024-03-23］. .
13	SANDLER M， HOWARD A， ZHU M， et al. MobileNetV2： inverted residuals and linear bottlenecks ［C］// Proceedings of the 2018 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 4510-4520.
14	NEVEN D， DE BRABANDERE B， GEORGOULIS S， et al. Towards end-to-end lane detection： an instance segmentation approach ［C］// Proceedings of the 2018 IEEE Intelligent Vehicles Symposium. Piscataway： IEEE， 2018： 286-291.
15	HOWARD A， SANDLER M， CHEN B， et al. Searching for MobileNetV3 ［C］// Proceedings of the2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 1314-1324.
16	MNIH V， HEESS N， GRAVES A， et al. Recurrent models of visual attention ［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems — Volume 2. Cambridge： MIT Press， 2014： 2204-2212.
17	徐泽，帅仁俊，刘开凯，等.基于特征融合的文本到图像的生成［J］.计算机科学， 2021， 48（6）： 125-130.
18	CHEN L C， PAPANDREOU G， SCHROFF F， et al. Rethinking atrous convolution for semantic image segmentation ［EB/OL］. ［2024-03-23］. .
19	SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition ［EB/OL］. ［2024-03-23］. .
20	QIN Z， ZHANG P， LI X. Ultra fast deep lane detection with hybrid anchor driven ordinal classification ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2024， 46（5）： 2555-2568.

模型	F1 Score/%	MIoU/%	帧率/（frame·s^-1）
U-Net^［8］	99.20	97.64	12
ENet^［10］	91.02	90.05	112
LaneNet^［14］	97.85	96.71	53
DeepLab v3^［18］	98.82	98.03	11
Mobile-Unet	98.95	96.52	117

模型	F1 Score/%	MIoU/%	帧率/（frame·s^-1）
U-Net^［8］	99.20	97.64	12
ENet^［10］	91.02	90.05	112
LaneNet^［14］	97.85	96.71	53
DeepLab v3^［18］	98.82	98.03	11
Mobile-Unet	98.95	96.52	117

模型	F1 Score/%	MIoU/%	帧率/（frame·s^-1）	R2 Score/%
U-Net^［8］	99.70	98.51	12	—
ENet^［10］	91.02	90.05	113	—
LaneNet^［14］	97.85	96.71	53	—
DeepLab v3^［18］	99.32	98.77	9	—
LaneNetATT （ResNet-18）^［19］	97.32	95.33	146	—
SCNN^［20］	99.79	99.32	7	—
Mobile-Unet	99.76	98.72	115	89.52
Mobile-FuUnet	99.64	98.71	109	95.03

模型	F1 Score/%	MIoU/%	帧率/（frame·s^-1）	R2 Score/%
U-Net^［8］	99.70	98.51	12	—
ENet^［10］	91.02	90.05	113	—
LaneNet^［14］	97.85	96.71	53	—
DeepLab v3^［18］	99.32	98.77	9	—
LaneNetATT （ResNet-18）^［19］	97.32	95.33	146	—
SCNN^［20］	99.79	99.32	7	—
Mobile-Unet	99.76	98.72	115	89.52
Mobile-FuUnet	99.64	98.71	109	95.03

[1]	徐春, 吉双焱, 马欢, 孙恩威, 王萌萌, 苏明钰. 基于知识图谱和对话结构的问诊推荐方法[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1157-1168.
[2]	胡婕, 郑启扬, 孙军, 张龑. 基于多标签关系图和局部动态重构学习的多标签分类模型[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1104-1112.
[3]	张李伟, 梁泉, 胡禹涛, 朱乔乐. 基于分组卷积的通道重洗注意力机制[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1069-1076.
[4]	姜坤元, 李小霞, 王利, 曹耀丹, 张晓强, 丁楠, 周颖玥. 引入解耦残差自注意力的边界交叉监督语义分割网络[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1120-1129.
[5]	王利琴, 耿智雷, 李英双, 董永峰, 边萌. 基于路径和增强三元组文本的开放世界知识推理模型[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1177-1183.
[6]	周阳, 李辉. 基于语义和细节特征双促进的遥感影像建筑物提取网络[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1310-1316.
[7]	郭诗月, 党建武, 王阳萍, 雍玖. 结合注意力机制和多尺度特征融合的三维手部姿态估计[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1293-1299.
[8]	潘理虎, 彭守信, 张睿, 薛之洋, 毛旭珍. 面向运动前景区域的视频异常检测[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1300-1309.
[9]	王一丁, 王泽浩, 李耀利, 蔡少青, 袁媛. 多尺度2D-Adaboost的中药材粉末显微图像识别算法[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1325-1332.
[10]	陈瑞龙, 胡涛, 卜佑军, 伊鹏, 胡先君, 乔伟. 面向加密恶意流量检测模型的堆叠集成对抗防御方法[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 864-871.
[11]	陈维, 施昌勇, 马传香. 基于多模态数据融合的农作物病害识别方法[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 840-848.
[12]	薛振华, 李强, 黄超. 视觉基础模型驱动的像素级图像异常检测方法[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 823-831.
[13]	耿海军, 董赟, 胡治国, 池浩田, 杨静, 尹霞. 基于Attention-1DCNN-CE的加密流量分类方法[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 872-882.
[14]	邓淼磊, 阚雨培, 孙川川, 徐海航, 樊少珺, 周鑫. 基于深度学习的网络入侵检测系统综述[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 453-466.
[15]	余松森, 林智凡, 薛国鹏, 徐建宇. 基于改进YOLOv8的轻量级大幅面瓷砖缺陷检测算法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 647-654.

基于深度学习的无人机引导线识别模型

Drone guide line recognition model based on deep learning

RichHTML

PDF

PDF (Mobile)

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 20

相关文章 15

编辑推荐

Metrics