《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (5): 1694-1702.DOI: 10.11772/j.issn.1001-9081.2024050632
• 多媒体计算与计算机仿真 • 上一篇
收稿日期:
2024-05-17
修回日期:
2024-08-20
接受日期:
2024-08-22
发布日期:
2024-08-29
出版日期:
2025-05-10
通讯作者:
韩军
作者简介:
王文帅(1996—),男,河南商丘人,硕士研究生,CCF会员,主要研究方向:无人机巡检、深度估计基金资助:
Wenshuai WANG, Jun HAN(), Guangyi HU, Keyu CHEN
Received:
2024-05-17
Revised:
2024-08-20
Accepted:
2024-08-22
Online:
2024-08-29
Published:
2025-05-10
Contact:
Jun HAN
About author:
WANG Wenshuai, born in 1996, M. S. candidate. His research interests include UAV inspection, depth estimation.Supported by:
摘要:
针对当前输电线路等空中人造目标的无人机(UAV)精细化巡检轨迹生成方法繁琐、精度不高以及未能以最佳角度拍摄人造目标局部细节等问题,提出一种可以用于输电线路的UAV精细化巡检的实时深度感知与实时线路部件分割定位算法,并构建输电线路单目视觉感知定位导航的最优巡检点路径。通过实时量化调整巡检过程中UAV位置与云台相机拍摄角度,该方法既保证UAV巡检时始终保持安全巡检距离,又使得云台相机能够清晰准确地拍摄包含待巡检目标的图像。采用大疆UAV采集的真实输电线路图像数据和Unreal Engine 4(虚幻引擎)场景下的输电线路图像数据进行实验仿真验证。结果表明,优化的深度感知算法与线路部件分割定位算法能够满足实时性要求。在深度感知与分割定位输出信息的指导下,这些算法能够将UAV位置和云台相机姿态调整为最佳,进而获得高质量的输电线路UAV巡检图像,且最终生成的输电线路精细化巡检轨迹能显著提高运维人员的巡检效率。
中图分类号:
王文帅, 韩军, 胡广怡, 陈炣燏. 基于单目视觉输电线路精细化巡检方法[J]. 计算机应用, 2025, 45(5): 1694-1702.
Wenshuai WANG, Jun HAN, Guangyi HU, Keyu CHEN. Refined inspection method for power transmission lines based on monocular vision[J]. Journal of Computer Applications, 2025, 45(5): 1694-1702.
名称 | 标签 | 值 |
---|---|---|
航点 | <coordinates> | 经度、纬度、高度 |
<data name="yaw"> | 无人机偏航角 | |
<data name="pitch"> | 无人机俯仰角 | |
<data name="roll"> | 无人机横滚角 | |
<actions label="takePhoto"> | 是否拍照(True or False) | |
<data name="cameraYaw"> | 云台相机偏航角 | |
<data name="cameraPitch"> | 云台相机俯仰角 | |
<data name="cameraRoll"> | 云台相机横滚角 | |
航线 | <coordinates> | 所有航点的经度、纬度、高度 |
<flightSpeed> | 航线无人机飞行速度 | |
<actionOnFinish> | 航线任务完成后无人机操作 |
表1 KML文件相关设置信息
Tab. 1 Information of KML file related settings
名称 | 标签 | 值 |
---|---|---|
航点 | <coordinates> | 经度、纬度、高度 |
<data name="yaw"> | 无人机偏航角 | |
<data name="pitch"> | 无人机俯仰角 | |
<data name="roll"> | 无人机横滚角 | |
<actions label="takePhoto"> | 是否拍照(True or False) | |
<data name="cameraYaw"> | 云台相机偏航角 | |
<data name="cameraPitch"> | 云台相机俯仰角 | |
<data name="cameraRoll"> | 云台相机横滚角 | |
航线 | <coordinates> | 所有航点的经度、纬度、高度 |
<flightSpeed> | 航线无人机飞行速度 | |
<actionOnFinish> | 航线任务完成后无人机操作 |
样本序号 | 实际距离/m | 感知距离/m | 绝对误差/m | 相对误差/% |
---|---|---|---|---|
1 | 3 | 3.15 | 0.15 | 5.0 |
2 | 5 | 5.18 | 0.18 | 3.6 |
3 | 8 | 7.80 | 0.20 | 2.5 |
4 | 10 | 10.21 | 0.21 | 2.1 |
5 | 13 | 12.81 | 0.19 | 1.5 |
6 | 15 | 15.32 | 0.32 | 2.1 |
表2 深度感知算法输出的绝缘子的深度信息与真实深度
Tab. 2 Insulator depth output by depth perception algorithm and true depth
样本序号 | 实际距离/m | 感知距离/m | 绝对误差/m | 相对误差/% |
---|---|---|---|---|
1 | 3 | 3.15 | 0.15 | 5.0 |
2 | 5 | 5.18 | 0.18 | 3.6 |
3 | 8 | 7.80 | 0.20 | 2.5 |
4 | 10 | 10.21 | 0.21 | 2.1 |
5 | 13 | 12.81 | 0.19 | 1.5 |
6 | 15 | 15.32 | 0.32 | 2.1 |
算法 | 图像分辨率 | 设备 | 推理时间/ms | FPS |
---|---|---|---|---|
Monodepth2 | 512×512 | 3080ti | 11.1 | 90.1 |
512×512 | TX2 | 74.1 | 13.5 | |
Fast-Monodepth2 | 512×512 | 3080ti | 5.8 | 172.4 |
512×512 | TX2 | 41.2 | 24.3 |
表3 深度感知算法在服务器与边缘计算设备上的推理速度对比
Tab. 3 Inference speed comparison of depth perception algorithm on servers and edge computing devices
算法 | 图像分辨率 | 设备 | 推理时间/ms | FPS |
---|---|---|---|---|
Monodepth2 | 512×512 | 3080ti | 11.1 | 90.1 |
512×512 | TX2 | 74.1 | 13.5 | |
Fast-Monodepth2 | 512×512 | 3080ti | 5.8 | 172.4 |
512×512 | TX2 | 41.2 | 24.3 |
算法 | 参数量/106 | AbsRel | RMSE | |
---|---|---|---|---|
基线(Monodepth2) | 14.40 | 0.125 | 6.109 | 0.861 |
+倒置残差块 | 6.00 | 0.125 | 6.189 | 0.856 |
+解码端上采样块 | 3.01 | 0.127 | 6.192 | 0.853 |
+跳跃连接 | 3.07 | 0.124 | 6.156 | 0.857 |
表4 Fast-Monodepth2的消融实验结果
Tab. 4 Ablation experimental results of Fast-Monodepth2
算法 | 参数量/106 | AbsRel | RMSE | |
---|---|---|---|---|
基线(Monodepth2) | 14.40 | 0.125 | 6.109 | 0.861 |
+倒置残差块 | 6.00 | 0.125 | 6.189 | 0.856 |
+解码端上采样块 | 3.01 | 0.127 | 6.192 | 0.853 |
+跳跃连接 | 3.07 | 0.124 | 6.156 | 0.857 |
算法 | 参数量/106 | AbsRel | RMSE | |
---|---|---|---|---|
MonoViT[ | 81.20 | 0.123 | 6.059 | 0.866 |
MonoFormer[ | 138.00 | 0.114 | 5.896 | 0.872 |
Fast-Monodepth2 | 3.07 | 0.124 | 6.156 | 0.857 |
表5 不同单目深度感知算法的性能对比
Tab. 5 Performance comparison of different monocular depth perception algorithms
算法 | 参数量/106 | AbsRel | RMSE | |
---|---|---|---|---|
MonoViT[ | 81.20 | 0.123 | 6.059 | 0.866 |
MonoFormer[ | 138.00 | 0.114 | 5.896 | 0.872 |
Fast-Monodepth2 | 3.07 | 0.124 | 6.156 | 0.857 |
算法 | MIoU | MPA | MRecall |
---|---|---|---|
Fast-SCNN[ | 76.02 | 91.06 | 91.06 |
Lightweight-DeepLabV3+[ | 77.81 | 91.24 | 91.24 |
DeepLabv3+ | 80.38 | 91.59 | 91.59 |
Fast-DeepLabv3+ | 78.38 | 91.32 | 91.32 |
表6 不同算法的分割定位性能对比 ( %)
Tab. 6 Performance comparison of segmentation and localization of different algorithms
算法 | MIoU | MPA | MRecall |
---|---|---|---|
Fast-SCNN[ | 76.02 | 91.06 | 91.06 |
Lightweight-DeepLabV3+[ | 77.81 | 91.24 | 91.24 |
DeepLabv3+ | 80.38 | 91.59 | 91.59 |
Fast-DeepLabv3+ | 78.38 | 91.32 | 91.32 |
网络 | 图像分辨率 | 设备 | 推理时间/ms | FPS |
---|---|---|---|---|
DeepLabv3+ | 512×512 | 3080ti | 35.9 | 27.8 |
512×512 | TX2 | 322.6 | 3.1 | |
Fast-DeepLabv3+ | 512×512 | 3080ti | 19.0 | 52.6 |
512×512 | TX2 | 121.9 | 8.2 |
表7 不同网络的推理速度对比
Tab. 7 Comparison of inference speeds of different networks
网络 | 图像分辨率 | 设备 | 推理时间/ms | FPS |
---|---|---|---|---|
DeepLabv3+ | 512×512 | 3080ti | 35.9 | 27.8 |
512×512 | TX2 | 322.6 | 3.1 | |
Fast-DeepLabv3+ | 512×512 | 3080ti | 19.0 | 52.6 |
512×512 | TX2 | 121.9 | 8.2 |
网络 | MIoU | MPA | MRecall |
---|---|---|---|
基线(DeepLabv3+) | 80.38 | 91.59 | 91.59 |
+MobileNetv3 | 77.06 | 91.18 | 91.18 |
+NAM | 78.21 | 91.30 | 91.30 |
+CE_Loss-Dice_Loss | 78.38 | 91.32 | 91.32 |
表8 Fast-DeepLabv3+的消融实验结果 ( %)
Tab. 8 Ablation experimental results of Fast-DeepLabv3+
网络 | MIoU | MPA | MRecall |
---|---|---|---|
基线(DeepLabv3+) | 80.38 | 91.59 | 91.59 |
+MobileNetv3 | 77.06 | 91.18 | 91.18 |
+NAM | 78.21 | 91.30 | 91.30 |
+CE_Loss-Dice_Loss | 78.38 | 91.32 | 91.32 |
姿态 | 调整前 | 调整后(最优巡检点) | 余弦相似度 |
---|---|---|---|
1 | 经度:-122.140 777°,纬度:47.640 658°,高度:45 m | 经度:-122.142 318°,纬度:47.640 704°,高度:45 m 无人机姿态: | 0.989 |
2 | 经度:-122.140 745°,纬度:47.641 468°,高度:45 m 无人机姿态: 云台相机姿态: | 经度:-122.141 922°,纬度:47.641 461°,高度:45 m 无人机姿态: 云台相机姿态: | 0.999 |
3 | 经度:-122.139 102°,纬度:47.641 619°,高度:45 m 无人机姿态: 云台相机姿态: | 经度:-122.139 549°,纬度:47.641 470°,高度:45 m 无人机姿态: 云台相机姿态: | 0.979 |
表9 无人机位置与云台相机姿态调整前后的信息
Tab. 9 Information of UAV position and gimbal camera posture before and after adjustment
姿态 | 调整前 | 调整后(最优巡检点) | 余弦相似度 |
---|---|---|---|
1 | 经度:-122.140 777°,纬度:47.640 658°,高度:45 m | 经度:-122.142 318°,纬度:47.640 704°,高度:45 m 无人机姿态: | 0.989 |
2 | 经度:-122.140 745°,纬度:47.641 468°,高度:45 m 无人机姿态: 云台相机姿态: | 经度:-122.141 922°,纬度:47.641 461°,高度:45 m 无人机姿态: 云台相机姿态: | 0.999 |
3 | 经度:-122.139 102°,纬度:47.641 619°,高度:45 m 无人机姿态: 云台相机姿态: | 经度:-122.139 549°,纬度:47.641 470°,高度:45 m 无人机姿态: 云台相机姿态: | 0.979 |
1 | 甘鹏,方博,李博,等. 基于改进RRT的输电线路无人机自动巡检方法[J]. 电子设计工程, 2022, 30(21):39-42, 47. |
GAN P, FANG B, LI B, et al. Automatic inspection method of transmission line by UAV based on improved RRT[J]. Electronic Design Engineering, 2022, 30(21): 39-42, 47. | |
2 | 徐其春,郭晨晨,刘志明,等. 无人机线路自主巡检的动态轨迹规划方法[J]. 电力系统及其自动化学报, 2022, 34(10):24-31. |
XU Q C, GUO C C, LIU Z M, et al. Drone autonomous inspection method for transmission line based on dynamic trajectory planning[J]. Journal of the CSU-EPSA, 2022, 34(10): 24-31. | |
3 | 邓荣军,王斌,熊典,等. 基于遗传算法的输电线路无人机巡检路径规划[J]. 计算机测量与控制, 2015, 23(4):1299-1301. |
DENG R J, WANG B, XIONG D, et al. A path planning for power transmission lines inspection with unmanned aerial vehicle based on genetic-pattern searching algorithm[J]. Computer Measurement and Control, 2015, 23(4): 1299-1301. | |
4 | CUI J, ZHANG Y, MA S, et al. Path planning algorithms for power transmission line inspection using unmanned aerial vehicles[C]// Proceedings of the 29th Chinese Control and Decision Conference. Piscataway: IEEE, 2017: 2304-2309. |
5 | 俞玉瑾,韩军,赵庆喜,等. 基于IHDR的自主学习巡检技术研究[J]. 计算机工程, 2019, 45(4):311-315, 320. |
YU Y J, HAN J, ZHAO Q X, et al. Research on autonomous learning inspection technology based on IHDR[J]. Computer Engineering, 2019, 45(4): 311-315, 320. | |
6 | 戴永东,王永强,高超,等. 电力输电线路无人机巡检航线智能规划方法[J]. 重庆理工大学学报(自然科学), 2023, 37(9):253-260. |
DAI Y D, WANG Y Q, GAO C, et al. Intelligent path planning method for unmanned serial vehicle inspection of power transmission lines[J]. Journal of Chongqing University of Technology (Natural Science), 2023, 37(9): 253-260. | |
7 | 金韬,王祎,杨洲. 基于高精度输电通道地图的无人机线路巡检航线规划方法研究[J]. 自动化与仪表, 2022, 37(4):1-5. |
JIN T, WANG Y, YANG Z. Research on UAV line inspection route planning method based on high-precision transmission channel map[J]. Automation and Instrumentation, 2022, 37(4): 1-5. | |
8 | 彭炽刚.基于激光雷达点云数据的输电线路巡检航线自动规划方法[J].电子设计工程,2021,29(3):22-26. |
PENG C G. Automatic planning method of transmission line inspection route based on lidar point cloud data[J]. Electronic Design Engineering, 2021, 29(3): 22-26. | |
9 | ALEXIOU D, TSIAKAS K, ZAMPOKAS G, et al. Cognitive fusion-based path planning for UAV inspection of power towers[C]// Proceedings of the 2023 IEEE International Conference on Imaging Systems and Techniques. Piscataway: IEEE, 2023: 1-6. |
10 | 梁文勇,吴大伟,谷山强,等. 输电线路多旋翼无人机精细化自主巡检航迹优化方法[J]. 高电压技术, 2020, 46(9):3054-3061. |
LIANG W Y, WU D W, GU S Q, et al. Optimization method for fine autonomous inspection route of transmission lines by multi-rotor unmanned aerial vehicle[J]. High Voltage Engineering, 2020, 46(9): 3054-3061. | |
11 | HE T, ZENG Y, HU Z. Research of multi-rotor UAVs detailed autonomous inspection technology of transmission lines based on route planning[J]. IEEE Access, 2019, 7: 114955-114965. |
12 | GODARD C, AODHA O MAC, FIRMAN M, et al. Digging into self-supervised monocular depth estimation[C]// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway: IEEE, 2019: 3827-3837. |
13 | CHEN L C, ZHU Y, PAPANDREOU G, et al. Encoder-decoder with atrous separable convolution for semantic image segmentation[C]// Proceedings of the 2018 European Conference on Computer Vision, LNCS 11211. Cham: Springer, 2018: 833-851. |
14 | HOWARD A, SANDLER M, CHEN B, et al. Searching for MobileNetV3[C]// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway: IEEE, 2019: 1314-1324. |
15 | LIU Y, SHAO Z, TENG Y, et al. NAM: normalization-based attention module[EB/OL]. [2024-03-26].. |
16 | SHAH S, DEY D, LOVETT C, et al. AirSim: high-fidelity visual and physical simulation for autonomous vehicles[C]// Proceedings of 2017 International Conference on Field and Service Robotics, SPAR 5. Cham: Springer, 2018: 621-635. |
17 | ZHAO C, ZHANG Y, POGGI M, et al. MonoViT: self-supervised monocular depth estimation with a Vision Transformer[C]// Proceedings of the 2022 International Conference on 3D Vision. Piscataway: IEEE, 2022: 668-678. |
18 | BAE J, MOON S, IM S. Deep digging into the generalization of self-supervised monocular depth estimation[C]// Proceedings of the 37th AAAI Conference on Artificial Intelligence. Palo Alto: AAAI Press, 2023: 187-196. |
19 | POUDEL R P K, LIWICKI S, CIPOLLA R. Fast-SCNN: fast semantic segmentation network[EB/OL]. [2024-03-26].. |
20 | 武锦龙,吴虹麒,李浩,等. 基于改进DeepLabV3+的荞麦苗期无人机遥感图像分割识别方法研究[J]. 农业机械学报, 2024, 55(5):186-195. |
WU J L, WU H Q, LI H, et al. Segmentation of buckwheat by UAV based on improved lightweight DeepLabV3+ at seedling stage[J]. Transactions of the Chinese Society for Agricultural Machinery, 2024, 55(5): 186-195. |
[1] | 陈路, 王怀瑶, 刘京阳, 闫涛, 陈斌. 融合空间-傅里叶域信息的机器人低光环境抓取检测[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1686-1693. |
[2] | 陈子和, 陈斌. 基于多表征融合的无监督点云异常检测[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1677-1685. |
[3] | 陈凯, 叶海良, 曹飞龙. 基于局部-全局交互与结构Transformer的点云分类算法[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1671-1676. |
[4] | 王文鹏, 秦寅畅, 师文轩. 工业缺陷检测无监督深度学习方法综述[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1658-1670. |
[5] | 张大权, 董家瑞, 雷洋, 李世康, 石响宇, 李宗辉, 邓仰东, 吴为民. 光线追踪硬件加速方案综述[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1632-1644. |
[6] | 谭瑛, 任新宇, 孙超利, 王思思. 两阶段填充采样的半监督昂贵多目标优化算法[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1605-1612. |
[7] | 张军燕, 赵一鸣, 林兵, 吴允平. 基于多级视觉与图文动态交互的图像中文描述方法[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1520-1527. |
[8] | 李慧, 贾炳志, 王晨曦, 董子宇, 李纪龙, 仲兆满, 陈艳艳. 基于Swin Transformer的生成对抗网络水下图像增强模型[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1439-1446. |
[9] | 陈鹏宇, 聂秀山, 李南君, 李拓. 基于时空解耦和区域鲁棒性增强的半监督视频目标分割方法[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1379-1386. |
[10] | 龙雨菲, 牟宇辰, 刘晔. 基于张量化图卷积网络和对比学习的多源数据表示学习模型[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1372-1378. |
[11] | 刘晓霞 况立群 王松 焦世超 韩慧妍 熊风光. 多尺度时空解耦的骨架行为识别对比学习[J]. 《计算机应用》唯一官方网站, 0, (): 0-0. |
[12] | 尹春勇 张不凡. 基于多尺度的多变量时间序列异常检测模型[J]. 《计算机应用》唯一官方网站, 0, (): 0-0. |
[13] | 陈晓雷 郑芷薇 黄雪 曲振彬. 联合球面对齐与自适应几何校正的全景视频超分辨率网络[J]. 《计算机应用》唯一官方网站, 0, (): 0-0. |
[14] | 崔家礼 刘永基 李子贺 郑瀚. 轻量且高精度的姿态检测改进网络HG-YOLO[J]. 《计算机应用》唯一官方网站, 0, (): 0-0. |
[15] | 赵子杰 王毅 唐瑞卿 杨晨 李娟. 基于改进YOLOv11的无人机目标检测算法[J]. 《计算机应用》唯一官方网站, 0, (): 0-0. |
阅读次数 | ||||||
全文 |
|
|||||
摘要 |
|
|||||