基于输电杆塔区域提取的图像匹配算法

doi:10.11772/j.issn.1001-9081.2021050796

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (5): 1591-1597.DOI: 10.11772/j.issn.1001-9081.2021050796

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于输电杆塔区域提取的图像匹配算法

郭可贵¹, 曹瑞², 万能³, 汪晓¹, 尹悦¹, 唐旭明⁴, 熊军林²()

^1.国网安徽省电力有限公司超高压分公司, 合肥 230601
^2.中国科学技术大学信息科学技术学院, 合肥 230026
^3.国网安徽省电力有限公司合肥供电公司, 合肥 230000
^4.国网安徽省电力有限公司淮南供电公司, 安徽淮南 232007

收稿日期:2021-05-17 修回日期:2021-12-22 接受日期:2021-12-23 发布日期:2022-03-08 出版日期:2022-05-10
通讯作者: 熊军林
作者简介:郭可贵（1985—），男，安徽淮南人，工程师，主要研究方向：输电线路无人机巡检
曹瑞（1997—），男，安徽六安人，硕士研究生，主要研究方向：视觉同时定位与建图
万能（1990—），男，江西临川人，工程师，硕士，主要研究方向：输电线路无人机巡检
汪晓（1972—），男，安徽合肥人，高级工程师，硕士，主要研究方向：输电线路运维管理
尹悦（1991—），男，安徽淮南人，工程师，主要研究方向：输电线路无人机巡检
唐旭明（1965—），男，安徽淮南人，高级工程师，主要研究方向：输电线路无人机巡检
熊军林（1977—），男，河南郑州人，教授，博士，主要研究方向：自动控制。 xiong77@ustc.edu.cn
基金资助:
2019—2020年安徽省电力有限公司科技项目(5212F018008S)

Image matching algorithm based on transmission tower area extraction

Kegui GUO¹, Rui CAO², Neng WAN³, Xiao WANG¹, Yue YIN¹, Xuming TANG⁴, Junlin XIONG²()

^1.Ultra High Voltage Company，State Grid Anhui Electric Power Company Limited，Hefei Anhui 230601，China
^2.School of Information Science and Technology，University of Science and Technology of China，Hefei Anhui 230026，China
^3.Hefei Electric Power Supply Company，State Grid Anhui Electric Power Company Limited，Hefei Anhui 230000，China
^4.Huainan Electric Power Supply Company，State Grid Anhui Electric Power Company Limited，Huainan Anhui 232007，China

Received:2021-05-17 Revised:2021-12-22 Accepted:2021-12-23 Online:2022-03-08 Published:2022-05-10
Contact: Junlin XIONG
About author:GUO Kegui， born in 1985， engineer. His research interestsinclude transmission line unmanned aerial vehicle inspection.
CAO Rui， born in 1997，M. S. candidate. His research interestsinclude visual simultaneous localization and mapping.
WAN Neng， born in 1990，M. S.，engineer. His research interestsinclude transmission line unmanned aerial vehicle inspection.
WANG Xiao， born in 1972，M. S.，senior engineer. His researchinterests include transmission line operation and maintenance management.
YIN Yue， born in 1991，engineer. His research interests includetransmission line unmanned aerial vehicle inspection.
TANG Xuming， born in 1965，senior engineer. His researchinterests include transmission line unmanned aerial vehicle inspection.
XIONG Junlin， born in 1977，Ph. D.，professor. His researchinterests include automatic control.
Supported by:
2019—2020 Science and Technology Project of Anhui Electric Power Company Limited(5212F018008S)

摘要/Abstract

摘要：

针对无人机（UAV）视觉定位过程中传统特征提取与匹配算法匹配质量不佳的问题，提出了一种基于输电杆塔区域提取的图像匹配算法。首先，将图像划分为若干相互重叠的网格区域，并对每个区域采用双层金字塔结构提取特征点，从而保证特征点的均匀分布；其次，使用直线分割检测（LSD）算法提取图像中的直线，从而利用输电杆塔的特殊结构得到输电杆塔的支撑区域；最后，在连续图像中对输电杆塔区域与背景区域内的特征点分别进行匹配，以进一步估计相机运动。在旋转和平移估计实验中，与传统的ORB特征提取与匹配算法相比，所提算法的特征匹配准确率提升了10.1个百分点，相对位姿误差的均值降低了0.049；在UAV巡检实验中，采用所提算法进行UAV轨迹估计的相对误差为2.89%，表明该算法可在实时绕塔飞行过程中实现对UAV位姿的鲁棒、精确估计。

关键词: 无人机巡检, 输电杆塔提取, 均匀化特征, 图像匹配, 运动估计

Abstract:

In order to solve the problem of low matching quality of the traditional feature extraction and matching algorithm in Unmanned Aerial Vehicle （UAV） visual localization， a new image matching algorithm based on transmission tower area extraction was proposed. Firstly， the image was divided into several overlapping grid areas， and the feature points were extracted by a two-layer pyramid structure for each area to ensure the uniform distribution of feature points. Then， the Line Segment Detector （LSD） algorithm was used to extract the lines in the images， the transmission tower support areas were extracted on the basis of special structure of transmission tower. Finally， the feature points in the transmission tower areas and the background areas were matched respectively in continuous images to further estimate the camera motion. In the rotation and translation estimation experiment， compared with the traditional Oriented Features from Accelerated Segment Test（FAST） and Rotated Binary Robust Independent Elementary Features （BRIEF）（ORB） feature extraction and matching algorithm， the proposed algorithm has the feature matching accuracy improved by 10.1 percentage points， the mean value of relative pose error reduced by 0.049. In the UAV inspection experiment， the relative error of the UAV trajectory estimation by using the proposed algorithm is 2.89%， which indicates that the proposed algorithm can achieve the robust and accurate estimation of the UAV’s pose during the real-time flying around the tower.

Key words: Unmanned Aerial Vehicle (UAV) inspection, transmission tower extraction, homogenized feature, image matching, motion estimation

中图分类号:

TP391.4

郭可贵, 曹瑞, 万能, 汪晓, 尹悦, 唐旭明, 熊军林. 基于输电杆塔区域提取的图像匹配算法[J]. 计算机应用, 2022, 42(5): 1591-1597.

Kegui GUO, Rui CAO, Neng WAN, Xiao WANG, Yue YIN, Xuming TANG, Junlin XIONG. Image matching algorithm based on transmission tower area extraction[J]. Journal of Computer Applications, 2022, 42(5): 1591-1597.

图/表 8

图1 所提基于输电杆塔区域提取的特征匹配算法流程

Fig. 1 Flow chart of proposed feature matching algorithm based on transmission tower area extraction

图2 不同算法特征点分布情况

Fig. 2 Distribution of feature points of different algorithms

图3 无人机拍摄图像及输电杆塔提取结果

Fig. 3 Image taken by UAV and transmission tower extraction result

图4 基于输电杆塔和背景特征点的分类与匹配结果示意图

Fig. 4 Schematic diagram of classification and matching resultsbased on feature points of transmission tower and background

图5 不同角度下旋转估计的均值随特征点数目的变化情况

Fig. 5 Variation of mean value of rotation estimation with feature points at different angles

图6 不同算法的轨迹对比

Fig. 6 Trajectory comparison of different algorithms

表1 匹配准确率与平移误差对比

Tab. 1 Comparison of matching accuracy and translation error

算法	匹配准确率/%	相对位姿误差的均值
M1	17.1	0.060 9
M2	18.9	0.044 4
M3	27.2	0.011 8

图7 本文算法在输电杆塔巡检环境下的轨迹和真实轨迹

Fig. 7 Trajectory of proposed algorithm and real trajectory in transmission tower inspection environment

参考文献 21

1	隋宇，宁平凡，牛萍娟，等.面向架空输电线路的挂载无人机电力巡检技术研究综述［J］.电网技术，2021，45（9）：3636-3648.
	SUI Y， NING P F， NIU P J， et al. Review on mounted UAV for transmission line inspection ［J］. Power System Technology， 2021， 45（9）： 3636-3648.
2	吴立远，毕建刚，常文治，等.配网架空输电线路无人机综合巡检技术［J］.中国电力，2018，51（1）：97-101，138.
	WU L Y， BI J G， CHANG W Z， et al. Research of unmanned aerial vehicle comprehensive inspection for distribution network overhead transmission lines ［J］. Electric Power， 2018， 51（1）： 97-101， 138.
3	RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： an efficient alternative to SIFT or SURF ［C］// Proceedings of the 2011 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2011： 2564-2571. 10.1109/iccv.2011.6126544
4	ROSTEN E， DRUMMOND T. Machine learning for high-speed corner detection ［C］// Proceedings of the 2006 European Conference on Computer Vision， LNCS 3951. Berlin： Springer， 2006： 430-443.
5	高翔，张涛，刘毅，等.视觉SLAM十四讲从理论到实践［M］.北京：电子工业出版社，2017：132-204.
	GAO X， ZHANG T， LIU Y， et al. Fourteen Chapters of Visual SLAM： from Theory to Practice ［M］. Beijing： Publishing House of Electronics Industry， 2017： 132 -204.
6	王霞，左一凡.视觉SLAM研究进展［J］.智能系统学报，2020，15（5）：825-834. 10.11992/tis.202004023
	WANG X， ZUO Y F. Advances in visual SLAM research ［J］. CAAI Transactions on Intelligent Systems， 2020， 15（5）： 825-834. 10.11992/tis.202004023
7	MUR-ARTAL R， TARDÓS J D. ORB-SLAM2： an open-source SLAM system for monocular， stereo and RGB-D cameras ［J］. IEEE Transactions on Robotics， 2017， 33（5）： 1255-1262. 10.1109/tro.2017.2705103
8	PUMAROLA A， VAKHITOV A， AGUDO A， et al. PL-SLAM： real-time monocular visual SLAM with points and lines ［C］// Proceedings of the 2017 IEEE International Conference on Robotics and Automation. Piscataway： IEEE， 2017： 4503-4508. 10.1109/icra.2017.7989522
9	FORSTER C， PIZZOLI M， SCARAMUZZA D. SVO： fast semi-direct monocular visual odometry ［C］// Proceedings of the 2014 IEEE International Conference on Robotics and Automation. Piscataway： IEEE， 2014： 15-22. 10.1109/icra.2014.6906584
10	ENGEL J， KOLTUN V， CREMERS D. Direct sparse odometry ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018， 40（3）： 611-625. 10.1109/tpami.2017.2658577
11	ENGEL J， SCHÖPS T， CREMERS D. LSD-SLAM： large-scale direct monocular SLAM ［C］// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8690. Cham： Springer， 2014： 834-849.
12	LOWE D G. Distinctive image feature from scale-invariant key points ［J］. International Journal of Computer Vision， 2004， 60（2）： 91-110. 10.1023/b:visi.0000029664.99615.94
13	BAY H， TUYTELAARS T， van GOOL L. SURF： speeded up robust features ［C］// Proceedings of the 2006 European Conference on Computer Vision， LNCS 3951. Berlin： Springer， 2006： 404-417.
14	李振宇，郭锐，赖秋频，等.基于计算机视觉的架空输电线路机器人巡检技术综述［J］.中国电力，2018，51（11）：139-146.
	LI Z Y， GUO R， LAI Q P， et al. Survey of inspection technology of overhead transmission line robot based on computer vision ［J］. Electric Power， 2018， 51（11）： 139-146.
15	TRAGULNUCH P， CHANVIMALUANG T， KASETKASEM T， et al. High voltage transmission tower detection and tracking in aerial video sequence using object-based image classification ［C］// Proceedings of the 2018 International Conference on Embedded Systems and Intelligent Technology and the 2018 International Conference on Information and Communication Technology for Embedded Systems， Piscataway： IEEE， 2018： 1-4. 10.1109/icesit-icictes.2018.8442058
16	王榆夫，韩军，赵庆喜，等.基于无人机图像的电力杆塔倾斜检测［J］.计算机仿真，2017，34（7）：426-431. 10.3969/j.issn.1006-9348.2017.07.095
	WANG Y F， HAN J， ZHAO Q X， et al. The method of power transmission tower inclination detection based on UAV image ［J］. Computer Simulation， 2017， 34（7）： 426-431. 10.3969/j.issn.1006-9348.2017.07.095
17	徐晶，韩军，童志刚，等.一种无人机图像的铁塔上鸟巢检测方法［J］.计算机工程与应用，2017，53（6）：231-235.
	XU J， HAN J， TONG Z G， et al. Method for detecting bird’s nest on tower based on UAV image ［J］. Computer Engineering and Applications， 2017， 53（6）： 231-235.
18	R G von GIOI， JAKUBOWICZ J， MOREL J M， et al. LSD： a line segment detector ［J］. Image Processing on Line， 2012， 2： 35-55. 10.5201/ipol.2012.gjmr-lsd
19	HARTLEY R I. In defense of the eight-point algorithm ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1997， 19（6）： 580-593. 10.1109/34.601246
20	LONGUET-HIGGINS H C. A computer algorithm for reconstructing a scene from two projections ［J］. Nature， 1981， 293（5828）： 133-135. 10.1038/293133a0
21	LEPETIT V， MORENO N F， FUA P. EPnP： an accurate O（n） solution to the PnP problem ［J］. International Journal of Computer Vision， 2009， 81（2）： Article No.155. 10.1007/s11263-008-0152-6

[1]	凌欣, 李民政. 无人机巡检系统中高频效的混合波束赋形方法[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 980-984.
[2]	周金坤, 王先兰, 穆楠, 王晨. 基于多视角多监督网络的无人机图像定位方法[J]. 《计算机应用》唯一官方网站, 2022, 42(10): 3191-3199.
[3]	邱云飞, 刘兴. 具有抗仿射性的局部特征点匹配方法[J]. 计算机应用, 2020, 40(4): 1133-1137.
[4]	朱成德, 李志伟, 王凯, 高燕, 郭亨长. 基于改进网格运动统计特征的图像匹配算法[J]. 计算机应用, 2019, 39(8): 2396-2401.
[5]	王焱, 吕猛, 孟祥福, 李宇浩. 具有光照鲁棒的图像匹配方法[J]. 计算机应用, 2019, 39(1): 262-266.
[6]	李为, 李为相, 张璠, 揭伟. 基于运动平滑约束项的快速误匹配剔除算法[J]. 计算机应用, 2018, 38(9): 2678-2682.
[7]	陈虹, 肖越, 肖成龙, 宋好. 基于SIFT算子融合最大相异系数的自适应图像匹配算法[J]. 计算机应用, 2018, 38(5): 1410-1414.
[8]	张圆圆, 黄宜军, 王跃飞. 基于纹理信息的室内场景语义标注学习方法[J]. 计算机应用, 2018, 38(12): 3409-3413.
[9]	余应淮, 谢仕义, 梅其祥. 基于核回归修正的上采样相位相关精确运动估计算法[J]. 计算机应用, 2016, 36(8): 2316-2321.
[10]	方智文, 曹治国, 朱磊. 基于梯度角度的直方图局部特征描述子的图像匹配算法[J]. 计算机应用, 2015, 35(4): 1079-1083.
[11]	张旭, 高佼, 王万国, 刘俍, 张晶晶. 基于显著图的输电线路杆塔图像拼接方法[J]. 计算机应用, 2015, 35(4): 1133-1136.
[12]	王琳, 赵健康, 夏轩, 龙海辉. 基于双目立体视觉技术的桥梁裂缝测量系统[J]. 计算机应用, 2015, 35(3): 901-904.
[13]	尹俊, 董利达, 迟天阳. 基于特征点分类策略的移动机器人运动估计[J]. 计算机应用, 2015, 35(2): 590-594.
[14]	刘欢朱平肖蓉唐卫东. 基于立体视觉的新组合不变矩腹部体型重建[J]. 计算机应用, 2013, 33(11): 3183-3186.
[15]	庄燕滨桂源肖贤建. 基于运动估计与回溯自适应正交匹配追踪的视频压缩传感[J]. 计算机应用, 2013, 33(09): 2577-2579.

基于输电杆塔区域提取的图像匹配算法

Image matching algorithm based on transmission tower area extraction

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 21

相关文章 15

编辑推荐

Metrics