基于Order-Aware网络内点筛选网络的电力巡线航拍图像拼接

doi:10.11772/j.issn.1001-9081.2021030493

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (5): 1583-1590.DOI: 10.11772/j.issn.1001-9081.2021030493

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于Order-Aware网络内点筛选网络的电力巡线航拍图像拼接

回立川, 李万禹(), 陈艺琳

辽宁工程技术大学电气与控制工程学院，辽宁葫芦岛 125105

收稿日期:2021-04-01 修回日期:2021-05-18 接受日期:2021-05-18 发布日期:2022-06-11 出版日期:2022-05-10
通讯作者: 李万禹
作者简介:回立川（1980—），男，河北邢台人，副教授，博士，主要研究方向：电力系统运行监测
李万禹（1993—），男，辽宁大连人，硕士研究生，主要研究方向：电力系统运行监测 670252229@qq.com
陈艺琳（1994—），女，河北阜城人，硕士研究生，主要研究方向：电力系统运行监测。
基金资助:
辽宁省教育厅科学研究项目(LJ2017QL009)

Power line inspection aerial image stitching based on Order-Aware network internal point screening network

Lichuan HUI, Wanyu LI(), Yilin CHEN

Faculty of Electrical and Control Engineering，Liaoning Technical University，Huludao Liaoning 125105，China

Received:2021-04-01 Revised:2021-05-18 Accepted:2021-05-18 Online:2022-06-11 Published:2022-05-10
Contact: Wanyu LI
About author:HUI Lichuan， born in 1980，Ph. D.，associate professor. Hisresearch interests include power system operation monitoring.
LI Wanyu， born in 1993，M. S. candidate. His research interestsinclude power system operation monitoring.
CHEN Yilin， born in 1994，M. S. candidate. Her research interestsinclude power system operation monitoring.
Supported by:
Scientific Research Project of Educational Department of Liaoning Province(LJ2017QL009)

摘要/Abstract

摘要：

电力巡线图像纹理复杂且具有视差变化，针对传统算法获取成对匹配点数量较少、配准精度较低，严重影响电力巡线无人机图像拼接效果等问题，提出了一种基于改进OANet的图像拼接算法。首先，借助加速“风”（AKAZE）算法对待拼接电力巡线图像进行粗匹配；其次，对OANet中Order-Aware模块添加挤压和激励网络（SENet），从而增强网络对局部和全局上下文信息的抓取能力，得到更精确的成对匹配点；然后，通过MPA算法配准待拼接图像；最后，借助内容压缩感知算法计算重叠区域的最佳缝合线以完成图像拼接。改进OANet相较原OANet的正确匹配点数量增加了10%左右，耗时平均增加了10 ms；与APAP算法、AANAP算法、MPA算法等配准拼接算法相比，所提算法的拼接质量最好，其待拼接图像的重叠区域的均方根误差为0，非重叠区域未发生畸变。实验结果表明，所提算法可快速、稳定地拼接电力巡线航拍图像。

关键词: 电力巡线, 图像拼接, OANet, 挤压和激励网络, MPA算法, 内容压缩感知算法

Abstract:

The texture of power line inspection images with parallax variation is complex， the number of paired matching points obtained by traditional algorithms is less and the registration accuracy is low， which seriously affect the stitching effect of power line inspection unmanned aerial vehicle image. In order to solve the problems， a new image stitching method based on improved Order-Aware Network （OANet） was proposed. Firstly， the Accelerated KAZE （AKAZE） algorithm was adopted to match the power line inspection images to be stitched roughly. Secondly， the Squeeze-and-Excitation Networks （SENet） was added to the Order-Aware module in OANet， which helped to enhance the grasping ability of the network for both the local and global context information， and more accurate paired matching points were obtained. Then， the Mesh-based Photometric Alignment （MPA） algorithm was used to register the images to be stitched. Finally， the optimal suture line in the overlapping area was calculated by the content compressed sensing algorithm to complete image stitching. The number of correct matching points of the improved OANet network is about 10% higher than that of the original OANet network with time consumption increased by 10 ms on average. Compared with the registration stitching algorithms such as As-Projective-As-Possible （APAP） algorithm， Adaptive As-Natural-As-Possible （AANAP） algorithm and MPA algorithm， the proposed algorithm has the highest stitching quality with the root mean square error of the overlapping area of the images to be stitched is 0 and no distortion in the non-overlapping area. Experimental results show that， the proposed algorithm can stitch the aerial images of power line inspection quickly and stably.

Key words: power line, inspection image stitching, Order-Aware Network (OANet), Squeeze-and-Excitation Network (SENet), Mesh-based Photometric Alignment (MPA) algorithm, content compressed sensing algorithm

中图分类号:

TP391

回立川, 李万禹, 陈艺琳. 基于Order-Aware网络内点筛选网络的电力巡线航拍图像拼接[J]. 计算机应用, 2022, 42(5): 1583-1590.

Lichuan HUI, Wanyu LI, Yilin CHEN. Power line inspection aerial image stitching based on Order-Aware network internal point screening network[J]. Journal of Computer Applications, 2022, 42(5): 1583-1590.

图/表 16

图1 OANet结构

Fig. 1 OANet structure

图2 PointCN网络

Fig. 2 PointCN network

图3 Order-Aware滤波器模块

Fig. 3 Order-Aware filter module

图4 网格形变对光流的校准

Fig. 4 Calibration of optical flow by mesh deformation

图5 本文算法流程

Fig. 5 Flow chart of proposed algorithm

图6 具有SENet的Order-Aware网络

Fig. 6 Order-Aware network with SENet

图7 实验图像示例

Fig. 7 Experimental image examples

表1 不同算法的匹配点数量对比

Tab. 1 Comparison of number of matching points of different algorithms

算法	图7（a）	图7（b）	图7（c）	图7（d）
AKAZE	1 269	935	3 607	9 509
VFC	63	0	0	2 945
RANSAC	9	69	30	1 983
GMS	0	69	232	2 482
OANet	66	147	251	3 078
本文算法	78	183	273	3 790

表2 不同算法的角度变化匹配数据对比

Tab. 2 Angle change matching data comparison of different algorithms

算法	旋转15°		旋转30°
算法	匹配点	正确点	匹配点	正确点
AKAZE	1 269	723	1 269	672
VFC	808	218	799	238
RANSAC	4	4	9	9
GMS	0	0	7	7
OANet	70	64	48	41
本文算法	75	69	53	48

表3 不同算法的仿射变化匹配数据对比

Tab. 3 Affine change matching data comparison ofdifferent algorithms

算法	仿射变化第一组		仿射变化第二组
算法	匹配点	正确点	匹配点	正确点
AKAZE	1 269	836	1 269	791
VFC	835	312	0	0
RANSAC	3	3	4	4
GMS	3	3	7	7
OANet	71	65	76	70
本文算法	78	69	83	80

图8 AKAZE+改进OANet算法匹配效果（线条连接同一对匹配点）

Fig. 8 AKAZE+improved OANet algorithm matching effect （lines connecting same pairs of matching points）

表4 不同算法的匹配耗时对比 ( ms)

Tab. 4 Matching time consumption comparison of different algorithms

算法	图7（a）	图7（b）	图7（c）	图7（d）
AKAZE	237.81	339.25	306.00	369.12
VFC	48.73	43.53	53.37	54.70
RANSAC	35.98	34.70	48.49	49.51
GMS	5.33	6.08	7.34	6.77
OANet	2 268.49	2 352.39	2 639.34	2 459.10
本文算法	2 279.04	2 368.62	2 643.10	2 469.27

图9 不同算法对图7（b）的拼接局部放大图比较

Fig. 9 Partial enlarged stitched images comparison of different algorithms on fig. 7（b）

图10 本文算法对图7（a）、（c）和（d）的拼接效果

Fig. 10 Stitching effects of proposed algorithm on fig. 7（a）、（c） and （d）

表5 不同算法的配准均方根误差对比

Tab. 5 Root mean square error comparison of registration of different algorithms

算法	图7（a）	图7（b）	图7（c）	图7（d）
APAP	6.41	7.18	19.93	6.65
AANAP	6.90	34.87	23.28	7.32
MPA	5.45	8.18	17.85	6.84
本文算法	0	0	0	0

表6 不同算法的配准耗时对比 (s)

Tab. 6 Registration time consumption comparison of different algorithms

算法	图7（a）	图7（b）	图7（c）	图7（d）
APAP	3.12	3.94	2.73	3.41
AANAP	28.95	29.20	32.56	34.97
MPA	6.49	6.87	5.20	6.59
本文算法	7.75	7.63	6.80	7.94

参考文献 23

1	郭一江，王卫红，郑洁，等.基于无人机巡线数据的电力走廊可视化研究［J］.西南科技大学学报，2020，35（3）：92-96. 10.3969/j.issn.1671-8755.2020.03.014
	GUO Y J， WANG W H， ZHENG J， et al. Research on power corridor visualization based on UAV line inspection data ［J］. Journal of Southwest University of Science and Technology， 2020， 35（3）： 92-96. 10.3969/j.issn.1671-8755.2020.03.014
2	郑贵林，张丽.自旋翼飞机电力巡线技术研究与应用［J］.中国电力，2014，47（7）：26-31. 10.3969/j.issn.1004-9649.2014.07.006
	ZHENG G L， ZHANG L. Research and application of auto-gyro power line inspection technology ［J］. Electric Power， 2014， 47（7）： 26-31. 10.3969/j.issn.1004-9649.2014.07.006
3	罗昊，苏盛，杨浩，等.基于FPGA的电力巡线无人机硬件加密通信方法［J］.中国电力，2019，52（7）：11-16. 10.11930/j.issn.1004-9649.201903080
	LUO H， SU S， YANG H， et al. FPGA-based hardware encryption of power line patrol drones ［J］. Electric Power， 2019， 52（7）： 11-16. 10.11930/j.issn.1004-9649.201903080
4	朱庆辉，尚媛园，邵珠宏，等.局部特征及视觉一致性的柱面全景拼接算法［J］.中国图象图形学报，2016，21（11）：1523-1529. 10.11834/jig.20161112
	ZHU Q H， SHANG Y Y， SHAO Z H， et al. Cylindrical panorama stitching algorithm based on local features and vision consistence ［J］. Journal of Image and Graphics， 2016， 21（11）： 1523-1529. 10.11834/jig.20161112
5	LOWE D G. Distinctive image features from scale-invariant keypoints ［J］. International Journal of Computer Vision， 2004， 60（2）： 91-110. 10.1023/b:visi.0000029664.99615.94
6	韩敏，闫阔，秦国帅.基于改进KAZE的无人机航拍图像拼接算法［J］.自动化学报，2019，45（2）：305-314. 10.16383/j.aas.2018.c170521
	HAN M， YAN K， QIN G S. A mosaic algorithm for UAV aerial image with improved KAZE ［J］. Acta Automatica Sinica， 2019， 45（2）： 305-314. 10.16383/j.aas.2018.c170521
7	ALCANTARILLA P F， BARTOLI A， DAVISON A J. KAZE features ［C］// Proceedings of the 2012 European Conference Computer Vision， LNCS 7577. Berlin： Springer， 2012： 214-227.
8	闫璠，张莹，高赢，等.基于AKAZE算法的图像拼接研究［J］.电子测量与仪器学报，2017，31（1）：36-44. 10.13382/j.jemi.2017.01.006
	YAN F， ZHANG Y， GAO Y， et al. Research of image stitching based on AKAZE algorithm ［J］. Journal of Electronic Measurement and Instrumentation， 2017， 31（1）： 36-44. 10.13382/j.jemi.2017.01.006
9	ALCANTARILLA P F， NUEVO J， BARTOLI A. Fast explicit diffusion for accelerated features in nonlinear scale spaces ［C］// Proceedings of the 2013 British Machine Vision Conference. Durham： BMVA Press， 2013： Article No.13. 10.5244/c.27.13
10	李振宇，田源，陈方杰，等.基于改进ORB和PROSAC的无人机航拍图像拼接算法［J］.激光与光电子学进展，2019，56（23）：83-91. 10.3788/lop56.231003
	LI Z Y， TIAN Y， CHEN F J，et al. Aerial image stitching algorithm for unmanned aerial vehicles based on improved ORB and PROSAC ［J］. Laser and Optoelectronics Progress， 2019， 56（23）： 83-91. 10.3788/lop56.231003
11	CHUM O， MATAS J. Matching with PROSAC — progressive sample consensus ［C］// Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2005： 220-226.
12	牟琦，唐洋，李占利，等.基于网格运动统计算法和最佳缝合线的密集重复结构图像快速拼接方法［J］.计算机应用，2020，40（1）：239-244. 10.11772/j.issn.1001-9081.2019061045
	MU Q， TANG Y， LI Z L， et al. Fast stitching method for dense repetitive structure images based on grid-based motion statistics algorithm and optimal seam ［J］. Journal of Computer Applications， 2020， 40（1）： 239-244. 10.11772/j.issn.1001-9081.2019061045
13	BIAN J W， LIN W Y， MATSUSHITA Y， et al. GMS： grid-based motion statistics for fast， ultra-robust feature correspondence ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 2828-2837. 10.1109/cvpr.2017.302
14	RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： an efficient alternative to SIFT or SURF ［C］// Proceedings of the 2011 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2011： 2567-2571. 10.1109/iccv.2011.6126544
15	张进，赵相伟，栾吉山，等.改进FAST和对立颜色特征的向量场一致性匹配［J］.测绘通报，2020（11）：50-54.
	ZHANG J， ZHAO X W， LUAN J S， et al. The vector field consistent matching of FAST and opposite color features is improved ［J］. Bulletin of Surveying and Mapping， 2020（11）： 50-54.
16	MA J Y， ZHAO J， TIAN J W， et al. Robust point matching via vector field consensus ［J］. IEEE Transactions on Image Processing， 2014， 23（4）： 1706-1721. 10.1109/tip.2014.2307478
17	ZHANG J H， SUN D W， LUO Z X， et al. Learning two-view correspondences and geometry using Order-Aware Network ［EB/OL］. ［2020-02-10］. . 10.1109/iccv.2019.00594
18	HU J， SHEN L， ALBANIE S， et al. Squeeze-and-excitation networks ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（8）： 2011-2023. 10.1109/tpami.2019.2913372
19	LIN K M， JIANG N J， LIU S C， et al. Direct photometric alignment by mesh deformation ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 2701-2709. 10.1109/cvpr.2017.289
20	胡浩慧，倪蓉蓉，赵耀.图像内容感知缩放的检测方法研究［J］.软件学报，2018，29（4）：1002-1016.
	HU H H， NI R R， ZHAO Y. Research on detection method of content-aware image resizing ［J］. Journal of Software， 2018， 29（4）： 1002-1016.
21	ZHENG Z D， WEI Y C， YANG Y. University-1652： a multi-view multi-source benchmark for drone-based geo-localization ［C］// Proceedings of the 2020 28th ACM International Conference on Multimedia. New York： ACM， 2020： 1395-1403. 10.1145/3394171.3413896
22	ZARAGOZA J， CHIN T J， BROWN M S， et al. As-projective-as-possible image stitching with moving DLT ［C］// Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2013： 2339-2346. 10.1109/cvpr.2013.303
23	LIN C C， PANKANTI S U， RAMAMURTHY K N， et al. Adaptive as-natural-as-possible image stitching ［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 1155-1163. 10.1109/cvpr.2015.7298719

[1]	王怀, 王展青. 非线性约束下的准单应变换图像拼接算法[J]. 计算机应用, 2021, 41(8): 2318-2323.
[2]	牟琦, 唐洋, 李占利, 李洪安. 基于网格运动统计算法和最佳缝合线的密集重复结构图像快速拼接方法[J]. 计算机应用, 2020, 40(1): 239-244.
[3]	修春波, 马云菲, 潘肖楠. 基于距离融合的图像特征点匹配方法[J]. 计算机应用, 2019, 39(11): 3158-3162.
[4]	李加亮, 蒋品群. 结合变形函数和幂函数权重的图像拼接[J]. 计算机应用, 2019, 39(10): 3060-3064.
[5]	韩李涛, 刘海龙, 孔巧丽, 阳凡林. 基于多核计算环境的地貌晕渲并行算法[J]. 计算机应用, 2017, 37(7): 1911-1915.
[6]	郑继明, 苏慧嘉. 基于颜色分量间相关性的图像拼接篡改检测方法[J]. 计算机应用, 2017, 37(10): 2903-2906.
[7]	李鹏俊, 李建增, 宋瑶, 张岩, 杜玉龙. 基于仿真的无人机遥感图像拼接误差分析[J]. 计算机应用, 2015, 35(4): 1116-1119.
[8]	张旭, 高佼, 王万国, 刘俍, 张晶晶. 基于显著图的输电线路杆塔图像拼接方法[J]. 计算机应用, 2015, 35(4): 1133-1136.
[9]	杜丙新. 基于相对定向和小区域融合的视频图像拼接[J]. 计算机应用, 2015, 35(1): 220-223.
[10]	袁全桥苏波赵旭东李生红. 基于高频小波子带马尔可夫特征的图像拼接检测[J]. 计算机应用, 2014, 34(5): 1477-1481.
[11]	王铁建刘艳丽. 基于加速鲁棒特征的广角图像自动拼接校正算法[J]. 计算机应用, 2012, 32(09): 2576-2579.
[12]	吴庆双付仲良. 一种鲁棒的序列图像自动拼接方法[J]. 计算机应用, 2012, 32(02): 499-503.
[13]	狄颖辰陈云坪陈莹莹陈彦. 无人机图像拼接算法综述[J]. 计算机应用, 2011, 31(01): 170-174.
[14]	王成良杨鹏蔡耀泽王振国. 孔壁全景图获取中的图像拼接技术研究[J]. 计算机应用, 2010, 30(2): 344-347.
[15]	李阳林意. 改进的实时图像拼接方法[J]. 计算机应用, 2010, 30(12): 3233-3235.

基于Order-Aware网络内点筛选网络的电力巡线航拍图像拼接

Power line inspection aerial image stitching based on Order-Aware network internal point screening network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 16

参考文献 23

相关文章 15

编辑推荐

Metrics