基于自适应邻域特征融合的多阶段点云补全网络

doi:10.11772/j.issn.1001-9081.2024101437

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (10): 3294-3301.DOI: 10.11772/j.issn.1001-9081.2024101437

• 多媒体计算与计算机仿真 • 上一篇

基于自适应邻域特征融合的多阶段点云补全网络

李维刚¹^,², 曹文杰¹(), 李金灵¹

^1.武汉科技大学信息科学与工程学院，武汉 430081
^2.冶金自动化与检测技术教育部工程研究中心（武汉科技大学），武汉 430081

收稿日期:2024-10-12 修回日期:2024-11-28 接受日期:2024-12-02 发布日期:2024-12-05 出版日期:2025-10-10
通讯作者: 曹文杰
作者简介:李维刚（1977—），男，湖北咸宁人，教授，博士，主要研究方向：工业过程控制、人工智能、机器学习
曹文杰（2000—），男，湖北孝感人，硕士研究生，主要研究方向：点云重建、点云分割 Email:wenjccc@163.com
李金灵（1996—），男，湖北咸宁人，博士研究生，主要研究方向：计算机视觉。
基金资助:
湖北省科技人才服务企业项目(202400288)

Multi-stage point cloud completion network based on adaptive neighborhood feature fusion

Weigang LI¹^,², Wenjie CAO¹(), Jinling LI¹

^1.School of Information Science and Engineering，Wuhan University of Science and Technology，Wuhan Hubei 430081，China
^2.Engineering Research Center for Metallurgical Automation and Measurement Technology of Ministry of Education （Wuhan University of Science and Technology），Wuhan Hubei 430081，China

Received:2024-10-12 Revised:2024-11-28 Accepted:2024-12-02 Online:2024-12-05 Published:2025-10-10
Contact: Wenjie CAO
About author:LI Weigang， born in 1977， Ph. D.， professor. His research interests include industrial process control， artificial intelligence， machine learning.
CAO Wenjie， born in 2000， M. S. candidate. His research interests include point cloud reconstruction， point cloud segmentation.
LI Jinling， born in 1996， Ph. D. candidate. His research interests include computer vision.
Supported by:
Hubei Provincial Science and Technology Talent Serving Enterprise Project(202400288)

摘要/Abstract

摘要：

点云补全指利用不完整的点云数据重建高质量的完整点云。然而，现有的大多数点云补全网络在捕捉局部特征和重建细节方面存在不足，导致生成的点云在局部细节和补全精度上表现不佳。为解决上述问题，提出一种基于自适应邻域特征融合的多阶段点云补全网络（ANFF-Net）。首先，特征提取器通过自适应调整关键点的邻域选择适应不同形状的点云，有效捕捉不同语义点之间的空间关系，减少局部细节信息的丢失；其次，特征拓展器利用局部感知Transformer进一步扩展邻近点的局部特征信息，提升网络的细节恢复能力；最后，点云生成器采用交叉注意力机制选择性传递不完整点云的局部特征信息，并使用折叠模块逐步细化点云的局部区域，显著增强补全后点云的细节保留，生成更一致的几何细节。实验结果表明，ANFF-Net在ShapeNet55数据集上的平均补全精度相较于ProxyFormer提升了9.68%，并在PCN和KITTI数据集上取得了较好的补全效果。可视化结果显示，ANFF-Net生成的点云具有更高的细粒度，形状更接近真实值。

关键词: 点云补全, 局部特征, 自适应邻域, 局部感知, 交叉注意力

Abstract:

Point cloud completion aims to reconstruct a high-quality complete point cloud from incomplete point cloud data. However， most existing point cloud completion networks have limitations in capturing local features and reconstructing details， resulting in poor performance of the generated point cloud in terms of local details and completion accuracy. To address these issues， a multi-stage point cloud completion Network based on Adaptive Neighborhood Feature Fusion （ANFF-Net） was proposed. Firstly， the neighborhood selection of key points was adjusted by the feature extractor adaptively to adapt to different shapes of point clouds， so as to capture spatial relationships between points with different semantics effectively， thereby reducing loss of the local details. Then， a local perception Transformer was used by the feature expander to further expand local feature information of the neighboring points， thereby improving the network’s ability to recover details. Finally， a cross-attention mechanism was applied by the point cloud generator to propagate local feature information of the incomplete point cloud selectively， and a folding module was used to refine the local regions gradually， thereby enhancing detail retention of the completed point cloud significantly and generating more consistent geometric details. Experimental results show that ANFF-Net improves the average completion accuracy by 9.68% compared to ProxyFormer on the ShapeNet55 dataset and achieves good completion performance on the PCN and KITTI datasets. Visualization results indicate that the point clouds generated by ANFF-Net have finer granularity and are closer to the ground truth in shape.

Key words: point cloud completion, local feature, adaptive neighborhood, local perception, cross-attention

中图分类号:

TP391.4

李维刚, 曹文杰, 李金灵. 基于自适应邻域特征融合的多阶段点云补全网络[J]. 计算机应用, 2025, 45(10): 3294-3301.

Weigang LI, Wenjie CAO, Jinling LI. Multi-stage point cloud completion network based on adaptive neighborhood feature fusion[J]. Journal of Computer Applications, 2025, 45(10): 3294-3301.

图/表 13

参考文献 26

[1]	陈建文，赵丽丽，任蓝草，等. 深度学习点云质量增强方法综述［J］. 中国图象图形学报， 2023， 28（11）： 3295-3319.
	CHEN J W， ZHAO L L， REN L C， et al. Deep learning-based quality enhancement for 3D point clouds： a survey［J］. Journal of Image and Graphics， 2023， 28（11）： 3295-3319.
[2]	李朝，兰海，魏宪. 基于注意力的毫米波‒激光雷达融合目标检测［J］. 计算机应用， 2021， 41（7）： 2137-2144.
	LI C， LAN H， WEI X. Attention-based object detection with millimeter wave radar-lidar fusion［J］. Journal of Computer Applications， 2021， 41（7）： 2137-2144.
[3]	任柯燕，谷美颖，袁正谦，等. 自动驾驶3D目标检测研究综述［J］. 控制与决策， 2023， 38（4）： 865-889.
	REN K Y， GU M Y， YUAN Z Q， et al. 3D object detection algorithms in autonomous driving： a review［J］. Control and Decision， 2023， 38（4）： 865-889.
[4]	张磊，徐孝彬，曹晨飞，等. 基于动态特征剔除的图像与点云融合的机器人位姿估计方法［J］. 中国激光， 2022， 49（6）： No.0610001.
	ZHANG L， XU X B， CAO C F， et al. Robot pose estimation method based on image and point cloud fusion with dynamic feature elimination［J］. Chinese Journal of Lasers， 2022， 49（6）： No.0610001.
[5]	周静，胡怡宇，胡成玉，等. 基于点云补全和多分辨Transformer的弱感知目标检测方法［J］. 计算机应用， 2023， 43（7）： 2155-2165.
	ZHOU J， HU Y Y， HU C Y， et al. Weakly perceived object detection method based on point cloud completion and multi-resolution Transformer［J］. Journal of Computer Applications， 2023， 43（7）： 2155-2165.
[6]	GRAHAM B， ENGELCKE M， VAN DER MAATEN L. 3D semantic segmentation with submanifold sparse convolutional networks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 9224-9232.
[7]	XIE H， YAO H， ZHOU S， et al. GRNet： gridding residual network for dense point cloud completion［C］// Proceedings of the 2020 European Conference on Computer Vision， LNCS 12354. Cham： Springer， 2020： 365-381.
[8]	QI C R， SU H， MO K， et al. PointNet： deep learning on point sets for 3D classification and segmentation［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 77-85.
[9]	YUAN W， KHOT T， HELD D， et al. PCN： point completion network［C］// Proceedings of the 2018 International Conference on 3D Vision. Piscataway： IEEE， 2018： 728-737.
[10]	YANG Y， FENG C， SHEN Y， et al. FoldingNet： point cloud auto-encoder via deep grid deformation［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 206-215.
[11]	WANG X， ANG M H， LEE G H. Cascaded refinement network for point cloud completion［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 787-796.
[12]	TCHAPMI L P， KOSARAJU V， REZATOFIGHI H， et al. TopNet： structural point cloud decoder［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 383-392.
[13]	HUANG Z， YU Y， XU J， et al. PF-Net： point fractal network for 3D point cloud completion［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 7659-7667.
[14]	WEN X， XIANG P， HAN Z， et al. PMP-Net++： point cloud completion by Transformer-enhanced multi-step point moving paths［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（1）： 852-867.
[15]	XIANG P， WEN X， LIU Y S， et al. SnowflakeNet： point cloud completion by snowflake point deconvolution with skip-transformer［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 5479-5489.
[16]	ZHAO H， JIANG L， JIA J， et al. Point Transformer［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 16239-16248.
[17]	YU X， RAO Y， WANG Z， et al. PoinTr： diverse point cloud completion with geometry-aware Transformers［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 12478-12487.
[18]	WANG Y， SUN Y， LIU Z， et al. Dynamic graph CNN for learning on point clouds［J］. ACM Transactions on Graphics， 2019， 38（5）： No.146.
[19]	WANG J， CUI Y， GUO D， et al. PointAttN： you only need attention for point cloud completion［C］// Proceedings of the 38th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2024： 5472-5480.
[20]	LONG Y， CHEN Z， LU H， et al. GSFormer： geometric-spatial Transformer on point cloud completion［C］// Proceedings of the 2023 IEEE International Conference on Multimedia and Expo. Piscataway： IEEE， 2023： 1175-1180.
[21]	LI S， GAO P， TAN X， et al. ProxyFormer： proxy alignment assisted point cloud completion with missing part sensitive Transformer［C］// Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2023： 9466-9475.
[22]	ZHOU H， FENG Y， FANG M， et al. Adaptive graph convolution for point cloud analysis［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 4945-4954.
[23]	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 6000-6010.
[24]	WU Z， SONG S， KHOSLA A， et al. 3D ShapeNets： a deep representation for volumetric shapes［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 1912-1920.
[25]	LOSHCHILOV I， HUTTER F. Fixing weight decay regularization in Adam［EB/OL］. ［2024-11-24］..
[26]	WEN X， XIANG P， HAN Z， et al. PMP-Net： point cloud completion by learning multi-step point moving paths［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 7439-7448.

网络	类别								平均值
网络	飞机	橱柜	汽车	椅子	台灯	沙发	桌子	船	平均值
FoldingNet^［10］	8.37	13.74	11.23	14.41	14.83	14.57	12.52	11.75	12.68
TopNet^［12］	7.61	13.31	10.90	13.82	14.44	14.78	11.22	11.12	12.15
PCN^［9］	6.86	12.94	10.25	13.17	13.42	14.06	11.07	10.49	11.53
GRNet^［7］	6.45	10.37	9.45	9.41	7.96	10.51	8.44	8.04	8.83
PMP-Net^［26］	5.65	11.24	9.64	9.51	6.95	10.83	8.72	7.25	8.73
CRN^［11］	4.79	9.97	8.41	9.49	8.94	10.69	7.81	8.05	8.51
PoinTr^［17］	4.75	10.47	8.68	9.39	7.75	10.93	7.78	7.29	8.38
PMP-Net++^［14］	4.39	9.96	8.53	8.09	6.06	9.82	7.17	6.52	7.56
SnowflakeNet^［15］	4.29	9.16	8.08	7.89	6.07	9.23	6.55	6.40	7.21
GSFormer^［20］	4.02	9.12	7.93	7.50	5.74	8.83	6.32	6.18	6.96
PointAttN^［19］	3.87	9.01	7.63	7.43	5.90	8.68	6.32	6.09	6.86
ProxyFormer^［21］	4.01	9.01	7.88	7.11	5.35	8.77	6.03	5.98	6.77
ANFF-Net	3.65	9.04	7.46	6.85	5.32	8.23	6.02	5.76	6.53

网络	类别								平均值
网络	飞机	橱柜	汽车	椅子	台灯	沙发	桌子	船	平均值
FoldingNet^［10］	8.37	13.74	11.23	14.41	14.83	14.57	12.52	11.75	12.68
TopNet^［12］	7.61	13.31	10.90	13.82	14.44	14.78	11.22	11.12	12.15
PCN^［9］	6.86	12.94	10.25	13.17	13.42	14.06	11.07	10.49	11.53
GRNet^［7］	6.45	10.37	9.45	9.41	7.96	10.51	8.44	8.04	8.83
PMP-Net^［26］	5.65	11.24	9.64	9.51	6.95	10.83	8.72	7.25	8.73
CRN^［11］	4.79	9.97	8.41	9.49	8.94	10.69	7.81	8.05	8.51
PoinTr^［17］	4.75	10.47	8.68	9.39	7.75	10.93	7.78	7.29	8.38
PMP-Net++^［14］	4.39	9.96	8.53	8.09	6.06	9.82	7.17	6.52	7.56
SnowflakeNet^［15］	4.29	9.16	8.08	7.89	6.07	9.23	6.55	6.40	7.21
GSFormer^［20］	4.02	9.12	7.93	7.50	5.74	8.83	6.32	6.18	6.96
PointAttN^［19］	3.87	9.01	7.63	7.43	5.90	8.68	6.32	6.09	6.86
ProxyFormer^［21］	4.01	9.01	7.88	7.11	5.35	8.77	6.03	5.98	6.77
ANFF-Net	3.65	9.04	7.46	6.85	5.32	8.23	6.02	5.76	6.53

网络	类别					难度			平均值
网络	桌子	椅子	飞机	汽车	沙发	简单	中等	困难	平均值
PF-Net^［13］	3.95	4.24	1.81	2.53	3.34	3.83	3.87	7.97	5.22
TopNet^［12］	2.21	2.53	1.14	2.18	2.36	2.26	2.16	4.3	2.91
PCN^［9］	2.13	2.29	1.02	1.85	2.06	1.94	1.96	4.08	2.66
GRNet^［7］	1.63	1.88	1.01	1.64	1.72	1.35	1.71	2.85	1.97
SnowflakeNet^［15］	0.98	1.12	0.54	0.98	1.02	0.70	1.06	1.96	1.24
PoinTr^［17］	0.81	0.95	0.44	0.91	0.79	0.58	0.88	1.79	1.09
ProxyFormer^［21］	0.70	0.83	0.34	0.78	0.69	0.49	0.75	1.55	0.93
ANFF-Net	0.65	0.71	0.33	0.75	0.66	0.49	0.70	1.33	0.84

网络	类别					难度			平均值
网络	桌子	椅子	飞机	汽车	沙发	简单	中等	困难	平均值
PF-Net^［13］	3.95	4.24	1.81	2.53	3.34	3.83	3.87	7.97	5.22
TopNet^［12］	2.21	2.53	1.14	2.18	2.36	2.26	2.16	4.3	2.91
PCN^［9］	2.13	2.29	1.02	1.85	2.06	1.94	1.96	4.08	2.66
GRNet^［7］	1.63	1.88	1.01	1.64	1.72	1.35	1.71	2.85	1.97
SnowflakeNet^［15］	0.98	1.12	0.54	0.98	1.02	0.70	1.06	1.96	1.24
PoinTr^［17］	0.81	0.95	0.44	0.91	0.79	0.58	0.88	1.79	1.09
ProxyFormer^［21］	0.70	0.83	0.34	0.78	0.69	0.49	0.75	1.55	0.93
ANFF-Net	0.65	0.71	0.33	0.75	0.66	0.49	0.70	1.33	0.84

网络	Fidelity	MMD
PCN^［9］	2.235	1.366
TopNet^［12］	5.354	0.636
GRNet^［7］	0.816	0.568
CRN^［11］	1.023	0.872
PointAttN^［19］	0.672	0.504
PoinTr^［17］	0.000	0.526
ProxyFormer^［21］	0.000	0.508
ANFF-Net	0.000	0.504

基于自适应邻域特征融合的多阶段点云补全网络

Multi-stage point cloud completion network based on adaptive neighborhood feature fusion

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 26

相关文章 15

编辑推荐

Metrics

分组	消融设置	CD-L1
A	将ANEC替换为PointNet	7.16
B	将ANEC替换为DGCNN	6.88
C	w/o Cross-attention	6.80
D	w/o EdgeConv	6.72
E	将折叠模块替换为SPD模块	6.64
F	完整ANFF-Net	6.53

网络	Params/10⁶	浮点运算次数/GFLOPs	CD-L1
FoldingNet^［10］	2.41	27.65	12.68
PCN^［9］	6.84	14.69	11.53
GRNet^［7］	76.71	25.88	8.83
PoinTr^［17］	30.90	10.41	8.38
ANFF-Net	32.49	15.09	6.53

[1]	梁一鸣, 范菁, 柴汶泽. 基于双向交叉注意力的多尺度特征融合情感分类[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2773-2782.
[2]	王艺涵, 路翀, 陈忠源. 跨模态文本信息增强的多模态情感分析模型[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2237-2244.
[3]	丁宇伟, 石洪波, 李杰, 梁敏. 基于局部和全局特征解耦的图像去噪网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2571-2579.
[4]	陈丽安, 过弋. 融合个体偏差信息的文本情感分析模型[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 145-151.
[5]	周静, 胡怡宇, 胡成玉, 王天江. 基于点云补全和多分辨Transformer的弱感知目标检测方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2155-2165.
[6]	郑智雄, 刘建华, 孙水华, 徐戈, 林鸿辉. 融合多窗口局部信息的方面级情感分析模型[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1796-1802.
[7]	郭玉彬, 文向, 刘攀, 李西明. 基于双流结构的跨模态行人重识别关系网络[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1803-1810.
[8]	廉飞宇, 张良, 王杰栋, 靳于康, 柴玉. 基于图模型与注意力机制的室外场景点云分割模型[J]. 《计算机应用》唯一官方网站, 2023, 43(12): 3911-3917.
[9]	仇天昊, 陈淑荣. 基于EfficientNet的双分路多尺度联合学习行人再识别[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2065-2071.
[10]	李杏峰, 黄玉清, 任珍文, 李毅红. 基于自适应邻域的鲁棒多视图聚类算法[J]. 计算机应用, 2021, 41(4): 1093-1099.
[11]	李华峰, 黄樟灿, 张蔷, 湛航, 谈庆. 求解需求可拆分车辆路径问题的改进的金字塔演化策略[J]. 计算机应用, 2021, 41(1): 300-306.
[12]	石志良, 蔡旺月, 汪国强, 熊林杰. 基于自适应邻域的固有形状特征算法[J]. 计算机应用, 2020, 40(4): 1151-1156.
[13]	武婷, 曹春萍. 融合位置权重的基于注意力交叉注意力的长短期记忆方面情感分析模型[J]. 计算机应用, 2019, 39(8): 2198-2203.
[14]	叶双, 杨晓敏, 严斌宇. 基于自适应锚定邻域回归的图像超分辨率算法[J]. 计算机应用, 2019, 39(10): 3040-3045.
[15]	邹承明, 罗莹, 徐晓龙. 基于多特征组合的细粒度图像分类方法[J]. 计算机应用, 2018, 38(7): 1853-1856.