基于残差注意力机制的点云配准算法

doi:10.11772/j.issn.1001-9081.2021071319

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (7): 2184-2191.DOI: 10.11772/j.issn.1001-9081.2021071319

• 多媒体计算与计算机仿真 • 上一篇

基于残差注意力机制的点云配准算法

秦庭威¹^,², 赵鹏程¹^,², 秦品乐¹^,²(), 曾建朝¹^,², 柴锐¹^,², 黄永琦¹^,²

^1.山西省医学影像人工智能工程技术研究中心（中北大学），太原 030051
^2.中北大学大数据学院，太原 030051

收稿日期:2021-07-22 修回日期:2021-10-13 接受日期:2021-10-18 发布日期:2021-11-01 出版日期:2022-07-10
通讯作者: 秦品乐
作者简介:秦庭威（1997—），男，陕西渭南人，硕士研究生，CCF会员，主要研究方向：点云配准、机器学习
赵鹏程（1995—），男，陕西渭南人，硕士，CCF会员，主要研究方向：三维点云处理、计算机视觉
曾建朝（1963—），男，山西太原人，教授，博士，CCF会员，主要研究方向：复杂系统的维护决策和健康管理
柴锐（1985—），男，山西运城人，讲师，博士，CCF会员，主要研究方向：医学影像处理
黄永琦（1997—），男，山西太原人，硕士研究生，CCF会员，主要研究方向：点云配准、计算机视觉。
基金资助:
山西省重点研发计划项目(201803D31212-1);山西省工程技术研究中心建设项目(201805D121008)

Point cloud registration algorithm based on residual attention mechanism

Tingwei QIN¹^,², Pengcheng ZHAO¹^,², Pinle QIN¹^,²(), Jianchao ZENG¹^,², Rui CHAI¹^,², Yongqi HUANG¹^,²

^1.Shanxi Medical Imaging and Data Analysis Engineering Research Center （North University of China），Taiyuan Shanxi 030051，China
^2.College of Data Science and Technology，North University of China，Taiyuan Shanxi 030051，China

Received:2021-07-22 Revised:2021-10-13 Accepted:2021-10-18 Online:2021-11-01 Published:2022-07-10
Contact: Pinle QIN
About author:QIN Tingwei， born in 1997， M. S. candidate. His research interests include point cloud registration， machine learning.
ZHAO Pengcheng， born in 1995， M. S. His research interests include 3D point cloud processing， computer vision.
ZENG Jianchao， born in 1963， Ph. D.， professor. His research interests include maintenance decision and health management of complex system.
CHAI Rui， born in 1985， Ph. D.， lecturer. His research interests include medical image processing.
HUANG Yongqi， born in 1997， M. S. candidate. His research interests include point cloud registration， computer vision.
Supported by:
Shanxi Provincial Key Research and Development Plan(201803D31212-1);Construction Project of Engineering Technology Research Center of Shanxi Province(201805D121008)

摘要/Abstract

摘要：

针对传统点云配准算法精度低、鲁棒性差以及放疗前后癌症患者无法实现精确放疗的问题，提出一种基于残差注意力机制的点云配准算法（ADGCNNLK）。首先，在动态图深度卷积网络（DGCNN）中添加残差注意力机制来有效地利用点云的空间信息，并减少信息损失；然后，利用添加残差注意力机制的DGCNN提取点云特征，这样做不仅可以在保持点云置换不变性的同时捕捉点云的局部几何特征，也可以在语义上将信息聚合起来，从而提高配准效率；最后，将提取到的特征点映射到高维空间中并使用经典的图像迭代配准算法LK进行配准。实验结果表明，所提算法与迭代最近点算法（ICP）、全局优化的ICP算法（Go-ICP）和PointNetLK相比，在无噪、有噪的情况下配准效果均最好。其中，在无噪情况下，与PointNetLK相比，所提算法的旋转均方误差降低了74.61%，平移均方误差降低了47.50%；在有噪声的情况下，与PointNetLK相比，所提算法的旋转均方误差降低了73.13%，平移均方误差降低了44.18%，说明所提算法与PointNetLK相比鲁棒性更强。将所提算法应用于放疗前后癌症患者人体点云模型的配准，从而辅助医生治疗，并实现了精确放疗。

关键词: 点云配准, 特征提取, 残差注意力机制, 深度学习, 放疗

Abstract:

Aiming at the problems of low accuracy and poor robustness of traditional point cloud registration algorithms and the inability of accurate radiotherapy for cancer patients before and after radiotherapy， an Attention Dynamic Graph Convolutional Neural Network Lucas-Kanade （ADGCNNLK） was proposed. Firstly， residual attention mechanism was added to Dynamic Graph Convolutional Neural Network （DGCNN） to effectively utilize spatial information of point cloud and reduce information loss. Then， the DGCNN added with residual attention mechanism was used to extract point cloud features， this process was not only able to capture the local geometric features of the point cloud while maintaining the invariance of the point cloud replacement， but also able to semantically aggregate the information， thereby improving the registration efficiency. Finally， the extracted feature points were mapped to a high-dimensional space， and the classic image iterative registration algorithm LK （Lucas-Kanade） was used for registration of the nodes. Experimental results show that compared with Iterative Closest Point （ICP）， Globally optimal ICP （Go-ICP） and PointNetLK， the proposed algorithm has the best registration effect with or without noise. Among them， in the case without noise， compared with PointNetLK， the proposed algorithm has the rotation mean squared error reduced by 74.61%， and the translation mean squared error reduced by 47.50%； in the case with noise， compared with PointNetLK， the proposed algorithm has the rotation mean squared error reduced by 73.13%， and the translational mean squared error reduced by 44.18%， indicating that the proposed algorithm is more robust than PointNetLK. And the proposed algorithm is applied to the registration of human point cloud models of cancer patients before and after radiotherapy， assisting doctors in treatment， and realizing precise radiotherapy.

Key words: point cloud registration, feature extraction, residual attention mechanism, deep learning, radiotherapy

中图分类号:

TP391.41

秦庭威, 赵鹏程, 秦品乐, 曾建朝, 柴锐, 黄永琦. 基于残差注意力机制的点云配准算法[J]. 计算机应用, 2022, 42(7): 2184-2191.

Tingwei QIN, Pengcheng ZHAO, Pinle QIN, Jianchao ZENG, Rui CHAI, Yongqi HUANG. Point cloud registration algorithm based on residual attention mechanism[J]. Journal of Computer Applications, 2022, 42(7): 2184-2191.

图/表 14

参考文献 21

1	BESL P J， McKAY N D. A method for registration of 3-D shapes［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1992， 14（2）： 239-256. 10.1109/34.121791
2	RUSINKIEWICZ S， LEVOY M. Efficient variants of the ICP algorithm ［C］// Proceedings of the 3rd International Conference on 3D Digital Imaging and Modeling. Piscataway： IEEE， 2001： 145-152.
3	SEGAL A， HAEHNEL D， THRUN S. Generalized-ICP［EB/OL］. ［2021-05-13］. . 10.15607/rss.2009.v.021
4	BOUAZIZ S， TAGLIASACCHI A， PAULY M. Sparse iterative closest point［J］. Computer Graphics Forum， 2013， 32（5）： 113-123. 10.1111/cgf.12178
5	POMERLEAU F， COLAS F， SIEGWART R. A review of point cloud registration algorithms for mobile robotics［J］. Foundations and Trends in Robotics， 2015， 4（1）： 1-104. 10.1561/2300000035
6	QI C R， SU H， MO K C， et al. PointNet： deep learning on point sets for 3D classification and segmentation［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 77-85. 10.1109/cvpr.2017.16
7	WANG Y， SUN Y B， LIU Z W， et al. Dynamic graph CNN for learning on point clouds［J］. ACM Transactions on Graphics， 2019， 38（5）： No.146. 10.1145/3326362
8	AOKI Y， GOFORTH H， SRIVATSAN R A， et al. PointNetLK： robust & efficient point cloud registration using PointNet［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 7154-7165. 10.1109/cvpr.2019.00733
9	LUCAS D D， KANADE T. An iterative image registration technique with an application to stereo vision［C］// Proceedings of the 1981 International Joint Conference on Artificial Intelligence. San Francisco： Morgan Kaufmann Publishers Inc.， 1981： 674-679.
10	SARODE V， LI X Q， GOFORTH H， et al. PCRNet： point cloud registration network using pointnet encoding［EB/OL］. （2018-11-04）［2021-05-13］..
11	WANG Y， SOLOMON J. Deep closest point： learning representations for point cloud registration［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 3522-3531. 10.1109/iccv.2019.00362
12	WANG Y， SOLOMON J. PRNet： self-supervised learning for partial-to-partial registration［C/OL］// Proceedings of the 33rd Conference on Neural Information Processing Systems. ［2021-05-13］..
13	YEW Z J， LEE G H. RPM-Net： robust point matching using learned features［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 11821-11830. 10.1109/cvpr42600.2020.01184
14	LOPER M， MAHMOOD N， ROMERO J， et al. SMPL： a skinned multi-person linear model［J］. ACM Transactions on Graphics， 2015， 34（6）： No.248. 10.1145/2816795.2818013
15	QI C R， YI L， SU H， et al. PointNet++： deep hierarchical feature learning on point sets in a metric space［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 5105-5114.
16	JADERBERG M， SIMONYAN K， ZISSERMAN A， et al. Spatial transformer networks［C］// Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2015： 2017-2025. 10.1007/s11263-015-0823-z
17	ZHOU B， KHOSLA A， LAPEDRIZA A， et al. Learning deep features for discriminative localization［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2921-2929. 10.1109/cvpr.2016.319
18	WOO S， PARK J， LEE J Y， et al. CBAM： convolutional block attention module［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11211. Cham： Springer， 2018： 3-19.
19	HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
20	林钦壮，何昭水. 基于注意力机制的高效点云识别方法［J］. 计算机与现代化， 2020（8）：51-55. 10.3969/j.issn.1006-2475.2020.08.008
	LIN Q Z， HE Z S. Method of efficient point cloud recognition based on attention mechanism［J］. Computer and Modernization， 2020（8）：51-55. 10.3969/j.issn.1006-2475.2020.08.008
21	ZHOU Q Y， PARK J， KOLTUN V. Open 3D： modern library fora 3D data processing［EB/OL］. （2018-01-30）［2021-05-13］..

算法	旋转			平移
算法	均方误差	均方根误差	绝对平均误差	均方误差	均方根误差	绝对平均误差
ICP	911.478 455	30.190 701	26.454 945	0.096 454	0.310 570	0.279 845
Go-ICP	158.565 457	12.592 278	3.296 845	0.000 892	0.029 866	0.008 194
PointNetLK	240.456 441	15.506 657	4.847 512	0.000 539	0.023 216	0.006 258
本文算法	61.045283	7.813148	2.854556	0.000283	0.016822	0.004146

算法	旋转			平移
算法	均方误差	均方根误差	绝对平均误差	均方误差	均方根误差	绝对平均误差
ICP	911.478 455	30.190 701	26.454 945	0.096 454	0.310 570	0.279 845
Go-ICP	158.565 457	12.592 278	3.296 845	0.000 892	0.029 866	0.008 194
PointNetLK	240.456 441	15.506 657	4.847 512	0.000 539	0.023 216	0.006 258
本文算法	61.045283	7.813148	2.854556	0.000283	0.016822	0.004146

算法	旋转			平移
算法	均方误差	均方根误差	绝对平均误差	均方误差	均方根误差	绝对平均误差
ICP	901.144 123	30.019 062	24.565 215	0.092 549	0.304 218	0.281 916
Go-ICP	194.451 413	13.944 583	3.245 444	0.000 512	0.0226 27	0.007 219
PointNetLK	314.554 104	17.735 671	6.345 844	0.000 849	0.029 138	0.008 106
本文算法	84.145566	9.173089	3.155154	0.000454	0.021307	0.005651

算法	旋转			平移
算法	均方误差	均方根误差	绝对平均误差	均方误差	均方根误差	绝对平均误差
ICP	901.144 123	30.019 062	24.565 215	0.092 549	0.304 218	0.281 916
Go-ICP	194.451 413	13.944 583	3.245 444	0.000 512	0.0226 27	0.007 219
PointNetLK	314.554 104	17.735 671	6.345 844	0.000 849	0.029 138	0.008 106
本文算法	84.145566	9.173089	3.155154	0.000454	0.021307	0.005651

算法	旋转			平移
算法	均方误差	均方根误差	绝对平均误差	均方误差	均方根误差	绝对平均误差
ICP	896.454 135	29.940 843	24.454 120	0.088 652	0.297 745	0.261 245
Go-ICP	132.451 575	11.508 761	2.652 314	0.000 569	0.023 853	0.004 896
PointNetLK	262.451 567	16.200 357	4.784 552	0.000 498	0.022 316	0.006 205
本文算法	70.512 636	8.397 180	2.559 214	0.000 278	0.016 673	0.004 526

基于残差注意力机制的点云配准算法

Point cloud registration algorithm based on residual attention mechanism

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 14

参考文献 21

相关文章 15

编辑推荐

Metrics

算法	误差≤ 0.01的点对个数	误差>0.01的点对个数	准确率/%
ICP	4 824	2 066	70.01
Go-ICP	5 128	1 762	74.43
PointNetLK	5 396	1 494	78.32
本文算法	5 876	1 014	85.28

算法	头（1 045对）准确率	胸（549对）准确率	腹（536对）准确率	胳膊（1 214对）准确率	腿（694对）准确率
ICP	71.29	85.79	75.93	82.37	63.54
Go-ICP	75.41	90.35	81.72	88.63	62.97
PointNetLK	80.77	93.62	85.26	89.95	70.61
本文算法	84.98	95.08	86.57	92.34	71.33

[1]	刘万军, 王佳铭, 曲海成, 董利兵, 曹欣宇. 基于频谱空间域特征注意的音乐流派分类算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2072-2077.
[2]	董宁, 程晓荣, 张铭泉. 基于物联网平台的动态权重损失函数入侵检测系统[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2118-2124.
[3]	仇天昊, 陈淑荣. 基于EfficientNet的双分路多尺度联合学习行人再识别[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2065-2071.
[4]	韩亚茹, 闫连山, 姚涛. 基于元学习的深度哈希检索算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2015-2021.
[5]	王震宇, 张雷, 高文彬, 权威铭. 基于渐进式神经网络架构搜索的人体运动识别[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2058-2064.
[6]	江静, 陈渝, 孙界平, 琚生根. 融合后验概率校准训练的文本分类算法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1789-1795.
[7]	文敏, 王荣存, 姜淑娟. 基于关系图卷积网络的源代码漏洞检测[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1814-1821.
[8]	张杨, 郝江波. 基于注意力机制和残差网络的恶意代码检测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1708-1715.
[9]	苏珊, 张杨, 张冬雯. 基于深度学习的耦合度相关代码坏味检测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1702-1707.
[10]	韩玉民, 郝晓燕. 基于子词嵌入和相对注意力的材料实体识别[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1862-1868.
[11]	于蒙, 何文涛, 周绪川, 崔梦天, 吴克奇, 周文杰. 推荐系统综述[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1898-1913.
[12]	李佳, 郑元林, 廖开阳, 楼豪杰, 李世宇, 陈泽豪. 基于显著性深层特征的无参考图像质量评价算法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1957-1964.
[13]	杨治佩, 丁胜, 张莉, 张新宇. 无锚点的遥感图像任意角度密集目标检测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1965-1971.
[14]	边小勇, 费雄君, 陈春芳, 阚东东, 丁胜. 联合一二阶池化网络学习的遥感场景分类[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1972-1978.
[15]	屈震, 李堃婷, 冯志玺. 基于有效通道注意力的遥感图像场景分类[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1431-1439.