Refined inspection method for power transmission lines based on monocular vision

doi:10.11772/j.issn.1001-9081.2024050632

Journal of Computer Applications ›› 2025, Vol. 45 ›› Issue (5): 1694-1702.DOI: 10.11772/j.issn.1001-9081.2024050632

• Multimedia computing and computer simulation • Previous Articles

Refined inspection method for power transmission lines based on monocular vision

Wenshuai WANG, Jun HAN(), Guangyi HU, Keyu CHEN

School of Communication and Information Engineering，Shanghai University，Shanghai 200444，China

Received:2024-05-17 Revised:2024-08-20 Accepted:2024-08-22 Online:2024-08-29 Published:2025-05-10
Contact: Jun HAN
About author:WANG Wenshuai， born in 1996， M. S. candidate. His research interests include UAV inspection， depth estimation.
HAN Jun， born in 1965， Ph. D.， associate professor. His research interests include UAV inspection， computer vision.
HU Guangyi， born in 2001， M. S. candidate. Her research interests include depth estimation.
CHEN Keyu， born in 2000， M. S. candidate. Her research interests include UAV visual positioning.
Supported by:
National Natural Science Foundation of China(62371278)

基于单目视觉输电线路精细化巡检方法

王文帅, 韩军(), 胡广怡, 陈炣燏

上海大学通信与信息工程学院，上海 200444

通讯作者: 韩军
作者简介:王文帅（1996—），男，河南商丘人，硕士研究生，CCF会员，主要研究方向：无人机巡检、深度估计
韩军（1965—），男，河南三门峡人，副教授，博士，主要研究方向：无人机巡检、计算机视觉
胡广怡（2001—），女，湖北黄冈人，硕士研究生，主要研究方向：深度估计
陈炣燏（2000—），女，广西南宁人，硕士研究生，主要研究方向：无人机视觉定位。
基金资助:
国家自然科学基金资助项目(62371278)

Abstract

Abstract:

Aiming at the current challenges of the complexity， low accuracy， and inability to capture detailed local features of artificial targets from optimal angles in generating refined inspection trajectories for Unmanned Aerial Vehicles （UAVs） inspecting aerial artificial targets such as power transmission lines， a real-time depth perception and line component segmentation and localization algorithm for refined UAV inspection of power transmission lines was proposed， and an optimal inspection point path for monocular vision perception， positioning， and navigation of power transmission lines was constructed. In the method， by adjusting the UAV position and gimbal camera shooting angle quantitatively during the inspection process in real time， a safe inspection distance was maintained while allowing the gimbal camera to shoot images containing the targets to be inspected clearly and accurately. Experimental simulations were carried out by using real data collected by DJI UAV and the data under Unreal Engine 4 scenario. The results demonstrate that the optimized depth perception algorithm as well as the line component segmentation and localization algorithm meets real-time requirements. Under the guidance of the output information from depth perception as well as segmentation and localization， these algorithms can adjust the UAV position and gimbal camera posture optimally， resulting in high-quality UAV inspection images of power transmission lines， and the finally generated refined inspection trajectories can improve the efficiency of inspections of operation and maintenance personnel significantly.

Key words: power transmission line component, depth perception, segmentation and localization, refined inspection trajectory, artificial target

摘要：

针对当前输电线路等空中人造目标的无人机（UAV）精细化巡检轨迹生成方法繁琐、精度不高以及未能以最佳角度拍摄人造目标局部细节等问题，提出一种可以用于输电线路的UAV精细化巡检的实时深度感知与实时线路部件分割定位算法，并构建输电线路单目视觉感知定位导航的最优巡检点路径。通过实时量化调整巡检过程中UAV位置与云台相机拍摄角度，该方法既保证UAV巡检时始终保持安全巡检距离，又使得云台相机能够清晰准确地拍摄包含待巡检目标的图像。采用大疆UAV采集的真实输电线路图像数据和Unreal Engine 4（虚幻引擎）场景下的输电线路图像数据进行实验仿真验证。结果表明，优化的深度感知算法与线路部件分割定位算法能够满足实时性要求。在深度感知与分割定位输出信息的指导下，这些算法能够将UAV位置和云台相机姿态调整为最佳，进而获得高质量的输电线路UAV巡检图像，且最终生成的输电线路精细化巡检轨迹能显著提高运维人员的巡检效率。

关键词: 输电线路部件, 深度感知, 分割定位, 精细化巡检轨迹, 人造目标

CLC Number:

TP391.4

Wenshuai WANG, Jun HAN, Guangyi HU, Keyu CHEN. Refined inspection method for power transmission lines based on monocular vision[J]. Journal of Computer Applications, 2025, 45(5): 1694-1702.

王文帅, 韩军, 胡广怡, 陈炣燏. 基于单目视觉输电线路精细化巡检方法[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1694-1702.

Figures/Tables 27

Fig. 1 Depth distance and azimuth perception phase of target for inspection

Fig. 2 Schematic diagram of UAV inspection for tower

Fig. 3 Schematic diagram of UAV inspection for conductors

Fig. 4 Refined repetitive inspection trajectory generation phase for power transmission lines

Fig. 5 Principle of monocular depth estimation algorithm

Fig. 6 Model of improved DepthNet

Fig. 7 Overall structure of Fast-DeepLabv3+

Fig. 8 Output results of Fast-DeepLabv3+

Fig. 9 Schematic diagram of overall adjustment process of UAV position and gimbal camera posture

Fig. 10 Schematic diagram of UAV safe inspection

Fig. 11 Imaging principle of gimbal camera

Fig. 12 Conductor inspection method

Fig. 13 Schematic diagram of conductor inspection points

Tab. 1 Information of KML file related settings

名称	标签	值
航点	<coordinates>	经度、纬度、高度
	<data name="yaw">	无人机偏航角
	<data name="pitch">	无人机俯仰角
	<data name="roll">	无人机横滚角
	<actions label="takePhoto">	是否拍照（True or False）
	<data name="cameraYaw">	云台相机偏航角
	<data name="cameraPitch">	云台相机俯仰角
	<data name="cameraRoll">	云台相机横滚角
航线	<coordinates>	所有航点的经度、纬度、高度
	<flightSpeed>	航线无人机飞行速度
	<actionOnFinish>	航线任务完成后无人机操作

Fig. 14 Schematic diagram of refined inspection trajectory for power transmission lines

Fig. 15 Depth maps output by depth perception algorithm at different distances

Tab. 2 Insulator depth output by depth perception algorithm and true depth

样本序号	实际距离/m	感知距离/m	绝对误差/m	相对误差/%
1	3	3.15	0.15	5.0
2	5	5.18	0.18	3.6
3	8	7.80	0.20	2.5
4	10	10.21	0.21	2.1
5	13	12.81	0.19	1.5
6	15	15.32	0.32	2.1

Tab. 3 Inference speed comparison of depth perception algorithm on servers and edge computing devices

算法	图像分辨率	设备	推理时间/ms	FPS
Monodepth2	512×512	3080ti	11.1	90.1
Monodepth2	512×512	TX2	74.1	13.5
Fast-Monodepth2	512×512	3080ti	5.8	172.4
Fast-Monodepth2	512×512	TX2	41.2	24.3

Tab. 4 Ablation experimental results of Fast-Monodepth2

算法	参数量/10⁶	AbsRel	RMSE	$δ 1 < 1.25$
基线（Monodepth2）	14.40	0.125	6.109	0.861
+倒置残差块	6.00	0.125	6.189	0.856
+解码端上采样块	3.01	0.127	6.192	0.853
+跳跃连接	3.07	0.124	6.156	0.857

Tab. 4 Ablation experimental results of Fast-Monodepth2

算法	参数量/10⁶	AbsRel	RMSE	$δ 1 < 1.25$
基线（Monodepth2）	14.40	0.125	6.109	0.861
+倒置残差块	6.00	0.125	6.189	0.856
+解码端上采样块	3.01	0.127	6.192	0.853
+跳跃连接	3.07	0.124	6.156	0.857

Tab. 5 Performance comparison of different monocular depth perception algorithms

算法	参数量/10⁶	AbsRel	RMSE	$δ 1 < 1.25$
MonoViT^［17］	81.20	0.123	6.059	0.866
MonoFormer^［18］	138.00	0.114	5.896	0.872
Fast-Monodepth2	3.07	0.124	6.156	0.857

Tab. 5 Performance comparison of different monocular depth perception algorithms

算法	参数量/10⁶	AbsRel	RMSE	$δ 1 < 1.25$
MonoViT^［17］	81.20	0.123	6.059	0.866
MonoFormer^［18］	138.00	0.114	5.896	0.872
Fast-Monodepth2	3.07	0.124	6.156	0.857

Tab. 6 Performance comparison of segmentation and localization of different algorithms

算法	MIoU	MPA	MRecall
Fast-SCNN^［19］	76.02	91.06	91.06
Lightweight-DeepLabV3+^［20］	77.81	91.24	91.24
DeepLabv3+	80.38	91.59	91.59
Fast-DeepLabv3+	78.38	91.32	91.32

Tab. 7 Comparison of inference speeds of different networks

网络	图像分辨率	设备	推理时间/ms	FPS
DeepLabv3+	512×512	3080ti	35.9	27.8
DeepLabv3+	512×512	TX2	322.6	3.1
Fast-DeepLabv3+	512×512	3080ti	19.0	52.6
Fast-DeepLabv3+	512×512	TX2	121.9	8.2

Tab. 8 Ablation experimental results of Fast-DeepLabv3+

网络	MIoU	MPA	MRecall
基线（DeepLabv3+）	80.38	91.59	91.59
+MobileNetv3	77.06	91.18	91.18
+NAM	78.21	91.30	91.30
+CE_Loss-Dice_Loss	78.38	91.32	91.32

Fig. 16 Comparison of UAV position and gimbal camera posture before and after adjustment

Tab. 9 Information of UAV position and gimbal camera posture before and after adjustment

经度：-122.140 777°，纬度：47.640 658°，高度：45 m

$无人机姿态 : R o l l$ （0°）、 $P i t c h$ （0°）、 $Y a w$ （-90°）

$云台相机姿态 : R o l l c$ （0°）、 $P i t c h c$ （0°）、 $Y a w c$ （-90°）

经度：-122.142 318°，纬度：47.640 704°，高度：45 m

无人机姿态： $R o l l$ （0°）、 $P i t c h$ （0°）、 $Y a w$ （-90°）

$R o l l c$ （-19.5°）、 $P i t c h c$ （-16°）、 $Y a w c$ （-112.6°）

0.989

经度：-122.140 745°，纬度：47.641 468°，高度：45 m

无人机姿态： $R o l l$ （0°）、 $P i t c h$ （0°）、 $Y a w$ （-90°）

云台相机姿态： $R o l l c$ （0°）、 $P i t c h c$ （0°）、 $Y a w c$ （-90°）

经度：-122.141 922°，纬度：47.641 461°，高度：45 m

无人机姿态： $R o l l$ （0°）、 $P i t c h$ （0°）、 $Y a w$ （-90°）

云台相机姿态： $R o l l c$ （0°）、 $P i t c h c$ （0°）、 $Y a w c$ （-90°）

0.999

经度：-122.139 102°，纬度：47.641 619°，高度：45 m

无人机姿态： $R o l l$ （0°）、 $P i t c h$ （0°）、 $Y a w$ （-90°）

云台相机姿态： $R o l l c$ （0°）、 $P i t c h c$ （0°）、 $Y a w c$ （-90°）

经度：-122.139 549°，纬度：47.641 470°，高度：45 m

无人机姿态： $R o l l$ （0°）、 $P i t c h$ （0°）、 $Y a w$ （-90°）

云台相机姿态： $R o l l c$ （ $31 . 6 ∘$ ）、 $P i t c h c$ （ $28 . 2 ∘$ ）、 $Y a w c$ （ $81 . 8 ∘$ ）

0.979

Tab. 9 Information of UAV position and gimbal camera posture before and after adjustment

姿态

调整前

调整后（最优巡检点）

余弦相似度

经度：-122.140 777°，纬度：47.640 658°，高度：45 m

$无人机姿态 : R o l l$ （0°）、 $P i t c h$ （0°）、 $Y a w$ （-90°）

$云台相机姿态 : R o l l c$ （0°）、 $P i t c h c$ （0°）、 $Y a w c$ （-90°）

经度：-122.142 318°，纬度：47.640 704°，高度：45 m

无人机姿态： $R o l l$ （0°）、 $P i t c h$ （0°）、 $Y a w$ （-90°）

$R o l l c$ （-19.5°）、 $P i t c h c$ （-16°）、 $Y a w c$ （-112.6°）

0.989

经度：-122.140 745°，纬度：47.641 468°，高度：45 m

无人机姿态： $R o l l$ （0°）、 $P i t c h$ （0°）、 $Y a w$ （-90°）

云台相机姿态： $R o l l c$ （0°）、 $P i t c h c$ （0°）、 $Y a w c$ （-90°）

经度：-122.141 922°，纬度：47.641 461°，高度：45 m

无人机姿态： $R o l l$ （0°）、 $P i t c h$ （0°）、 $Y a w$ （-90°）

云台相机姿态： $R o l l c$ （0°）、 $P i t c h c$ （0°）、 $Y a w c$ （-90°）

0.999

经度：-122.139 102°，纬度：47.641 619°，高度：45 m

无人机姿态： $R o l l$ （0°）、 $P i t c h$ （0°）、 $Y a w$ （-90°）

云台相机姿态： $R o l l c$ （0°）、 $P i t c h c$ （0°）、 $Y a w c$ （-90°）

经度：-122.139 549°，纬度：47.641 470°，高度：45 m

无人机姿态： $R o l l$ （0°）、 $P i t c h$ （0°）、 $Y a w$ （-90°）

云台相机姿态： $R o l l c$ （ $31 . 6 ∘$ ）、 $P i t c h c$ （ $28 . 2 ∘$ ）、 $Y a w c$ （ $81 . 8 ∘$ ）

0.979

Fig. 17 Transmission lines with 5-grade towers

Fig. 18 Simulated refined autonomous inspection trajectory

References 20

1	甘鹏，方博，李博，等. 基于改进RRT的输电线路无人机自动巡检方法［J］. 电子设计工程， 2022， 30（21）：39-42， 47.
	GAN P， FANG B， LI B， et al. Automatic inspection method of transmission line by UAV based on improved RRT［J］. Electronic Design Engineering， 2022， 30（21）： 39-42， 47.
2	徐其春，郭晨晨，刘志明，等. 无人机线路自主巡检的动态轨迹规划方法［J］. 电力系统及其自动化学报， 2022， 34（10）：24-31.
	XU Q C， GUO C C， LIU Z M， et al. Drone autonomous inspection method for transmission line based on dynamic trajectory planning［J］. Journal of the CSU-EPSA， 2022， 34（10）： 24-31.
3	邓荣军，王斌，熊典，等. 基于遗传算法的输电线路无人机巡检路径规划［J］. 计算机测量与控制， 2015， 23（4）：1299-1301.
	DENG R J， WANG B， XIONG D， et al. A path planning for power transmission lines inspection with unmanned aerial vehicle based on genetic-pattern searching algorithm［J］. Computer Measurement and Control， 2015， 23（4）： 1299-1301.
4	CUI J， ZHANG Y， MA S， et al. Path planning algorithms for power transmission line inspection using unmanned aerial vehicles［C］// Proceedings of the 29th Chinese Control and Decision Conference. Piscataway： IEEE， 2017： 2304-2309.
5	俞玉瑾，韩军，赵庆喜，等. 基于IHDR的自主学习巡检技术研究［J］. 计算机工程， 2019， 45（4）：311-315， 320.
	YU Y J， HAN J， ZHAO Q X， et al. Research on autonomous learning inspection technology based on IHDR［J］. Computer Engineering， 2019， 45（4）： 311-315， 320.
6	戴永东，王永强，高超，等. 电力输电线路无人机巡检航线智能规划方法［J］. 重庆理工大学学报（自然科学）， 2023， 37（9）：253-260.
	DAI Y D， WANG Y Q， GAO C， et al. Intelligent path planning method for unmanned serial vehicle inspection of power transmission lines［J］. Journal of Chongqing University of Technology （Natural Science）， 2023， 37（9）： 253-260.
7	金韬，王祎，杨洲. 基于高精度输电通道地图的无人机线路巡检航线规划方法研究［J］. 自动化与仪表， 2022， 37（4）：1-5.
	JIN T， WANG Y， YANG Z. Research on UAV line inspection route planning method based on high-precision transmission channel map［J］. Automation and Instrumentation， 2022， 37（4）： 1-5.
8	彭炽刚.基于激光雷达点云数据的输电线路巡检航线自动规划方法［J］.电子设计工程，2021，29（3）：22-26.
	PENG C G. Automatic planning method of transmission line inspection route based on lidar point cloud data［J］. Electronic Design Engineering， 2021， 29（3）： 22-26.
9	ALEXIOU D， TSIAKAS K， ZAMPOKAS G， et al. Cognitive fusion-based path planning for UAV inspection of power towers［C］// Proceedings of the 2023 IEEE International Conference on Imaging Systems and Techniques. Piscataway： IEEE， 2023： 1-6.
10	梁文勇，吴大伟，谷山强，等. 输电线路多旋翼无人机精细化自主巡检航迹优化方法［J］. 高电压技术， 2020， 46（9）：3054-3061.
	LIANG W Y， WU D W， GU S Q， et al. Optimization method for fine autonomous inspection route of transmission lines by multi-rotor unmanned aerial vehicle［J］. High Voltage Engineering， 2020， 46（9）： 3054-3061.
11	HE T， ZENG Y， HU Z. Research of multi-rotor UAVs detailed autonomous inspection technology of transmission lines based on route planning［J］. IEEE Access， 2019， 7： 114955-114965.
12	GODARD C， AODHA O MAC， FIRMAN M， et al. Digging into self-supervised monocular depth estimation［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 3827-3837.
13	CHEN L C， ZHU Y， PAPANDREOU G， et al. Encoder-decoder with atrous separable convolution for semantic image segmentation［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11211. Cham： Springer， 2018： 833-851.
14	HOWARD A， SANDLER M， CHEN B， et al. Searching for MobileNetV3［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 1314-1324.
15	LIU Y， SHAO Z， TENG Y， et al. NAM： normalization-based attention module［EB/OL］. ［2024-03-26］..
16	SHAH S， DEY D， LOVETT C， et al. AirSim： high-fidelity visual and physical simulation for autonomous vehicles［C］// Proceedings of 2017 International Conference on Field and Service Robotics， SPAR 5. Cham： Springer， 2018： 621-635.
17	ZHAO C， ZHANG Y， POGGI M， et al. MonoViT： self-supervised monocular depth estimation with a Vision Transformer［C］// Proceedings of the 2022 International Conference on 3D Vision. Piscataway： IEEE， 2022： 668-678.
18	BAE J， MOON S， IM S. Deep digging into the generalization of self-supervised monocular depth estimation［C］// Proceedings of the 37th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2023： 187-196.
19	POUDEL R P K， LIWICKI S， CIPOLLA R. Fast-SCNN： fast semantic segmentation network［EB/OL］. ［2024-03-26］..
20	武锦龙，吴虹麒，李浩，等. 基于改进DeepLabV3+的荞麦苗期无人机遥感图像分割识别方法研究［J］. 农业机械学报， 2024， 55（5）：186-195.
	WU J L， WU H Q， LI H， et al. Segmentation of buckwheat by UAV based on improved lightweight DeepLabV3+ at seedling stage［J］. Transactions of the Chinese Society for Agricultural Machinery， 2024， 55（5）： 186-195.

Refined inspection method for power transmission lines based on monocular vision

基于单目视觉输电线路精细化巡检方法

RichHTML

PDF

Knowledge

Abstract

Cite this article

share this article

Figures/Tables 27

References 20

Related Articles 1

Recommended Articles

Metrics