基于节点结构的点云分类网络

doi:10.11772/j.issn.1001-9081.2023050802

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (5): 1471-1478.DOI: 10.11772/j.issn.1001-9081.2023050802

• 第十九届中国机器学习会议(CCML 2023) • 上一篇

基于节点结构的点云分类网络

高文烁, 陈晓云()

福州大学数学与统计学院，福州 350108

收稿日期:2023-06-25 修回日期:2023-07-21 接受日期:2023-08-02 发布日期:2023-08-07 出版日期:2024-05-10
通讯作者: 陈晓云
作者简介:高文烁（1999—），男，山东济南人，硕士研究生，CCF会员，主要研究方向：机器学习、点云分类
第一联系人：陈晓云（1970—），女，福建晋江人，教授，博士，主要研究方向：机器学习、模式识别。
基金资助:
福建省自然科学基金资助项目(2022J01102)

Point cloud classification network based on node structure

Wenshuo GAO, Xiaoyun CHEN()

School of Mathematics and Statistics，Fuzhou University，Fuzhou Fujian 350108，China

Received:2023-06-25 Revised:2023-07-21 Accepted:2023-08-02 Online:2023-08-07 Published:2024-05-10
Contact: Xiaoyun CHEN
About author:GAO Wenshuo， born in 1999， M. S. candidate. His research interests include machine learning， point cloud classification.
Supported by:
Natural Science Foundation of Fujian Province(2022J01102)

摘要/Abstract

摘要：

点云数据的非结构化和不均匀分布给点云物体特征表示和分类任务带来极大挑战。为了提取点云物体的三维结构特征，现有方法多采用复杂的局部特征提取结构组建分层网络，导致特征提取网络复杂且主要关注点云物体的局部结构。为更好地提取不均匀分布的点云物体特征，提出采样点卷积密度自适应加权的节点结构网络（NsNet）。该卷积网络通过高斯密度对采样点自适应加权以区分采样点的密度差异，从而更好地刻画物体的整体结构；其次，通过加入球形坐标简化网络结构以降低模型复杂度。在3个公开数据集上与PointNet++和PointMLP等方法进行比较，实验结果表明：基于自适应密度加权的NsNet比PointNet++和PointMLP的总准确率（OA）分别提高了9.1和1.3个百分点；与PointMLP相比减少了4.6×10⁶的参数量。NsNet可有效解决点云分布不均导致的边缘点信息损失问题，提高分类精度，降低模型复杂度。

关键词: 三维点云, 点云分类, 卷积神经网络, 密度权重, 整体结构, 局部结构

Abstract:

The non-structured and non-uniform distribution of point cloud data poses significant challenges for feature representation and classification tasks. To extract the three-dimensional structural features of point cloud objects， existing methods often employ complex local feature extraction structures to construct hierarchical networks， resulting in a complex feature extraction network that mainly focuses on the local structures of the point cloud objects. To better extract features from unevenly distributed point cloud objects， a Node structure Network （NsNet） with sample point convolution density adaptive weighting was proposed. The convolutional network adaptively weighted sample points based on Gaussian density to differentiate the density differences among sampling points， thereby better characterizing the overall structure of objects. Additionally， the network structure was simplified by incorporating spherical coordinates to reduce model complexity. Experimental results on three public datasets demonstrate that， NsNet based on adaptive density weighting improves the Overall Accuracy （OA） by 9.1 and 1.3 percentage points respectively compared with PointNet++ and PointMLP， andreduces the number of parameters by 4.6×10⁶ compared to PointMLP. NsNet can effectively address the problem of information loss caused by uneven distribution of point clouds， improve the classification accuracy and reduce the model complexity.

Key words: 3D point cloud, point cloud classification, Convolutional Neural Network (CNN), density weight, over-all structure, local structure

中图分类号:

TP391.4

高文烁, 陈晓云. 基于节点结构的点云分类网络[J]. 计算机应用, 2024, 44(5): 1471-1478.

Wenshuo GAO, Xiaoyun CHEN. Point cloud classification network based on node structure[J]. Journal of Computer Applications, 2024, 44(5): 1471-1478.

图/表 14

图1 原始点云及最远点采样后的点云

Fig. 1 Original point cloud and point clouds after using FPS

图2 节点密度权重学习

Fig. 2 Node density weight learning

图3 不同密度权重加权方法对比

Fig. 3 Comparison of different density weighting methods

图4 局部特征学习

Fig. 4 Local feature learning

图5 单层NsNet结构

Fig. 5 Structure of single-layer NsNet

图6 多层NsNet结构

Fig. 6 Structure of multi-layer NsNet

表1 ScanObjectNN数据集上不同方法的分类准确率和参数量对比

Tab. 1 Classification accuracy and parameter quantity comparison of different methods on ScanObjectNN dataset

方法	输入	mAcc/%	OA/%	参数量/10⁶
PointNet^［13］	1 024 ps	63.4	68.2	3.47
PointNet++^［14］	1 024 ps	75.4	77.9	1.74
SpiderCNN^［26］	1 024 ps	69.8	73.7	—
DGCNN^［10］	1 024 ps	73.6	78.1	1.81
MVTN^［17］	12 vs	—	82.8	4.24
PRA-Net^［24］	1 024 ps	79.1	82.1	2.3
Point-BERT^［18］	1 024 ps	—	83.1	—
Point-TnT^［23］	1 024 ps	81.0	83.5	3.9
SageMix^［22］	1 024 ps	—	83.6	—
Point-MAE^［33］	1 024 ps	—	85.2	—
PointMLP^［21］	1 024 ps	84.4	85.7	12.6
RepSurf-U^［26］	1 024 ps	—	86.0	6.8
NsNet-3-1	1 024 ps	83.7	85.5	2.4
NsNet-4-1	1 024 ps	85.0	87.0	8.0

图7 准确率与参数量对比

Fig. 7 Comparison of accuracy and parameter quantity

表2 ModelNet40数据集上不同方法的OA对比

Tab. 2 OA comparison of different methods on ModelNet40 dataset

方法	数据输入	OA/%	方法	数据输入	OA/%
PointNet^［13］	1 024 ps	89.2	DensePoint^［31］	1 024 ps	93.2
PointNet++^［14］	1 024 ps	90.7	PointASNL^［11］	1 024 ps	92.9
PointNet++^［14］	5 000 ps+n	91.9	PCT^［25］	1 024 ps	93.2
PointConv^［15］	1 024 ps+n	92.5	MLMSPT^［28］	1 024 ps	92.9
KPConv^［20］	6 800 ps	92.9	PointStack^［29］	1 024 ps	93.3
DGCNN^［10］	1 024 ps	92.9	Point-TnT^［23］	1 024 ps	92.6
RS-CNN^［27］	1 024 ps	92.9	NsNet-4-1	1 024 ps	93.6

表3 ShapeNet-Part数据集上不同方法的分类平均交并比与实例级别的平均交并比对比 ( %)

Tab. 3 Cls.mIoU and Inst.mIoU comparison of different methods on ShapeNet-Part dataset

方法	Inst.mIoU	Cls.mIoU
PointNet^［13］	83.7	80.4
PointNet++^［14］	85.1	81.9
SpiderCNN^［16］	85.3	82.4
DGCNN^［10］	85.2	82.3
SynSpec^［3］	84.7	82.0
SPLATNet^［35］	85.4	83.7
NsNet-4-1	85.8	83.6

表4 ShapeNet-Part数据集上不同方法每类分类交并比

Tab. 4 Class mean IoU of segmentation results of different methods for ShapeNet-Part dataset

方法	分类交并比/%
方法	air.	bag	cap	car	cha.	ear.	gui.	kni.	lam.	lap.	mot.	mug.	pis.	roc.	sta.	tab.
PointNet^［13］	83.4	78.7	82.5	74.9	89.6	73.0	91.5	85.9	80.8	95.3	65.2	93.0	81.2	57.9	72.8	80.6
PointNet++^［14］	82.4	79.0	87.7	77.3	90.8	71.8	91.0	85.9	83.7	95.3	71.6	94.1	81.3	58.7	76.4	82.6
SpiderCNN^［16］	83.5	81.0	87.2	77.5	90.7	76.8	91.1	87.3	83.3	95.8	70.2	93.5	82.7	59.7	75.8	82.8
DGCNN^［10］	84.0	83.4	86.7	77.8	90.6	74.7	91.2	87.5	82.8	95.7	66.3	94.9	81.1	63.5	74.5	82.6
SynSpec^［3］	81.6	81.7	81.9	75.2	90.2	74.9	93.0	86.1	84.7	95.6	66.7	92.7	81.6	60.6	82.9	82.1
SPLATNet^［35］	83.2	84.3	89.1	80.3	90.7	75.5	92.1	87.1	83.9	96.3	75.6	95.8	83.8	64.0	75.5	81.8
NsNet-4-1	84.3	80.9	86.1	80.0	90.4	73.4	91.7	86.8	81.6	96.2	77.7	94.7	84.0	64.5	81.6	83.9

图8 ShapeNet-Part数据集分割结果

Fig. 8 Segmentation results of ShapeNet-Part dataset

表5 ScanbObjectNN数据集上NsNet层数变化对比实验结果

Tab.5 Comparison experiment results about NsNet layer change on ScanbObjectNN dataset

网络	m	n	TrainOA/%	TestmAcc/%	TestOA/%
NsNet-1-1	1	1	91.778	74.8	77.7
NsNet-2-1	2	1	99.798	82.0	83.7
NsNet-3-1	3	1	100.000	83.7	85.5
NsNet-4-1	4	1	100.000	85.0	87.0
NsNet-5-1	5	1	100.000	85.2	86.5
NsNet-6-1	6	1	99.912	83.0	85.1
NsNet-1-2	1	2	92.796	76.1	78.3
NsNet-2-2	2	2	99.867	81.8	83.5
NsNet-3-2	3	2	99.908	84.1	85.4
NsNet-4-2	4	2	99.930	85.2	86.2
NsNet-5-2	5	2	99.700	84.5	86.0

表6 ScanbObjectNN数据集上消融实验结果 ( %)

Tab.6 Ablation experimental results on ScanbObjectNN dataset

密度加权	球形坐标	平滑交叉熵	mAcc	OA
卷积密度	$√$	$√$	85.0	87.0
—	$√$	$√$	78.1	81.1
高斯密度	$√$	$√$	83.2	86.0
卷积密度	—	$√$	84.9	86.7
卷积密度	卷积网络^*	$√$	84.8	86.7
卷积密度	$√$	交叉熵^*	83.2	85.6

表6 ScanbObjectNN数据集上消融实验结果 ( %)

Tab.6 Ablation experimental results on ScanbObjectNN dataset

密度加权	球形坐标	平滑交叉熵	mAcc	OA
卷积密度	$√$	$√$	85.0	87.0
—	$√$	$√$	78.1	81.1
高斯密度	$√$	$√$	83.2	86.0
卷积密度	—	$√$	84.9	86.7
卷积密度	卷积网络^*	$√$	84.8	86.7
卷积密度	$√$	交叉熵^*	83.2	85.6

参考文献 35

1	WU Z， SONG S， KHOSLA A， et al. 3D ShapeNets： a deep representation for volumetric shapes［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 1912-1920. 10.1109/cvpr.2015.7298801
2	FENG Y， ZHANG Z， ZHAO X，et al. GVCNN：group-view convolutional neural networks for 3D shape recognition［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 264-272. 10.1109/cvpr.2018.00035
3	YI L， SU H， GUO X， et al. SyncSpecCNN： synchronized spectral cnn for 3D shape segmentation［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 6584-6592. 10.1109/cvpr.2017.697
4	SIMONOVSKY M， KOMODAKIS N. Dynamic edge-conditioned filters in convolutional neural networks on graphs［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 29-38. 10.1109/cvpr.2017.11
5	RIEGLER G， ULUSOY A O， GEIGER A. OctNet： learning deep 3D representations at high resolutions［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 6620-6629. 10.1109/cvpr.2017.701
6	MATURANA D， SCHERER S. VoxNet： a 3D convolutional neural network for real-time object recognition［C］// Proceedings of the 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway： IEEE， 2015： 922-928. 10.1109/iros.2015.7353481
7	WU J， ZHANG C， XUE T， et al. Learning a probabilistic latent space of object shapes via 3D generative-adversarial modeling［C］// Proceedings of the 30th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2016： 82-90.
8	VOSSLMAN G， GORTE B G H， SITHOLE G， et al. Recognising structure in laser scanner point clouds［C］// Proceedings of the 2004 International Archives of Photogrammetry Remote Sensing and Spatial Information Sciences. Amsterdam： Elsevier， 2004： 33-38.
9	CHEN C， LI G， XU R， et al. ClusterNet： deep hierarchical cluster network with rigorously rotation-invariant representation for point cloud analysis［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 4989-4997. 10.1109/cvpr.2019.00513
10	LIANG Z， YANG M， DENG L， et al. Hierarchical depthwise graph convolutional neural network for 3D semantic segmentation of point clouds［C］// Proceedings of the 2019 International Conference on Robotics and Automation. Piscataway： IEEE， 2019： 8152-8158. 10.1109/icra.2019.8794052
11	YAN X， ZHENG C， LI Z， et al. PointASNL： robust point clouds processing using nonlocal neural networks with adaptive sampling［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 5588-5597. 10.1109/cvpr42600.2020.00563
12	ZHAO H， JIANG L， JIA J， et al. Point transformer［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 16239-16248. 10.1109/iccv48922.2021.01595
13	QI C R， SU H， MO K， et al. PointNet： deep learning on point sets for 3D classification and segmentation［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 77-85. 10.1109/cvpr.2017.16
14	QI C R， YI L， SU H， et al. PointNet++： deep hierarchical feature learning on point sets in a metric space［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 5105-5114.
15	WU W， QI Z， LI F. PointConv： deep convolutional networks on 3D point clouds［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 9621-9630. 10.1109/cvpr.2019.00985
16	XU Y， FAN T， XU M， et al. SpiderCNN： deep learning on point sets with parameterized convolutional filters［C］// Proceedings of the 15th European Conference on Computer Vision. Berlin： Springer， 2018： 90-105. 10.1007/978-3-030-01237-3_6
17	HAMDI A， GIANCOLA S， LI B， et al. MVTN： multi-view transformation network for 3D shape recognition［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 1-11. 10.1109/iccv48922.2021.00007
18	YU X， TANG L， RAO Y， et al. Point-BERT： pre-training 3D point cloud transformers with masked point modeling［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 19291-19300. 10.1109/cvpr52688.2022.01871
19	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 6000-6010.
20	THOMAS H， QI C R， J-E DESCHAUD， et al. KPConv： flexible and deformable convolution for point clouds［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 6410-6419. 10.1109/iccv.2019.00651
21	MA X， QIN C， YOU H， et al. Rethinking network design and local geometry in point cloud： a simple residual MLP framework ［C/OL］// Proceedings of the 10th International Conference on Learning Representations. ［S.l.］： ICLR， 2022 ［2023-05-01］. .
22	LEE S， JEON M， KIM I， et al. SageMix： saliency-guided mixup for point clouds ［C/OL］// Proceedings of the 36th Annual Conference on Neural Information Processing Systems. ［S.l.］： NeurIPS， 2022 ［2023-05-01］. .
23	BERG A， OSKARSSON M， O’CONNOR M. Points to patches： enabling the use of self-attention for 3D shape recognition［C］// Proceedings of the 2022 26th International Conference on Pattern Recognition. Piscataway： IEEE， 2022： 528-534. 10.1109/icpr56361.2022.9956172
24	CHENG S， CHEN X， HE X， et al. PRA-Net： point relation-aware network for 3D point cloud analysis［J］. IEEE Transactions on Image Processing， 2021， 30： 4436-4448. 10.1109/tip.2021.3072214
25	GUO M-H， CAI J-X， LIU Z-N， et al. PCT： point cloud Transformer［J］. Computational Visual Media， 2021， 7： 187-199. 10.1007/s41095-021-0229-5
26	RAN H， LIU J， WANG C. Surface representation for point clouds［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 18920-18930. 10.1109/cvpr52688.2022.01837
27	LIU Y， FAN B， XIANG S， et al. Relation-shape convolutional neural network for point cloud analysis［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 8895-8904. 10.1109/cvpr.2019.00910
28	HAN X-F， KUANG Y-J， XIAO G-Q. Point cloud learning with transformer ［EB/OL］. （2021-04-28）［2022-08-25］. . 10.21203/rs.3.rs-2200447/v1
29	WIJAYA K T， D-H PAEK， KONG S-H. Advanced feature learning on point clouds using multi-resolution features and learnable pooling ［EB/OL］. （2022-05-20）［2023-05-20］. .
30	UY M A， Q-G PHAM， HUA B-S， et al. Revisiting point cloud classification： a new benchmark dataset and classification model on real-world data［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 1588-1597. 10.1109/iccv.2019.00167
31	LIU Y， FAN B， MENG G， et al. DensePoint： learning densely contextual representation for efficient point cloud processing［C］// Proceedings of the 2019 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2019： 5239-5248. 10.1109/iccv.2019.00534
32	FAN S， DONG Q， ZHU Y， et al. SCF-Net： learning spatial contextual features for large-scale point cloud segmentation［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 14504-14513. 10.1109/cvpr46437.2021.01427
33	PANG Y， WANG W， TAY F E H， et al. Masked autoencoders for point cloud self-supervised learning［C］// Proceedings of the 17th European Conference on Computer Vision. Cham： Springer， 2022： 604-621. 10.1007/978-3-031-20086-1_35
34	MÜLLER R， KORNBLITH S， HINTON G. When does label smoothing help？［C］// Proceedings of the 33rd International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2019： 4694-4703. 10.48550/arXiv.1906.02629
35	SU H， JAMPANI V， SUN D， et al. SPLATNet： sparse lattice networks for point cloud processing［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway： IEEE， 2018： 2530-2539. 10.1109/cvpr.2018.00268

[1]	张鹏飞, 韩李涛, 冯恒健, 李洪梅. 基于注意力机制和全局特征优化的点云语义分割[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1086-1092.
[2]	王杰, 孟华. 基于点云整体拓扑结构的图像分类算法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1107-1113.
[3]	陈天华, 朱家煊, 印杰. 基于注意力机制的鸟类识别算法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1114-1120.
[4]	许立君, 黎辉, 刘祖阳, 陈侃松, 马为駽. 基于3D‑Ghost卷积神经网络的脑胶质瘤MRI图像分割算法3D‑GA‑Unet[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1294-1302.
[5]	周景贤, 李希娜. 基于改进卷积神经网络和射频指纹的无人机检测与识别[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 876-882.
[6]	董永峰, 白佳明, 王利琴, 王旭. 融合先验知识和字形特征的中文命名实体识别[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 702-708.
[7]	侯瑞峰, 张鹏程, 张丽媛, 桂志国, 刘祎, 张浩文, 王书斌. 基于全变分正则项展开的迭代去噪网络[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 916-921.
[8]	张家伟, 高冠东, 肖珂, 宋胜尊. 基于改进分层注意网络和TextCNN联合建模的暴力犯罪分级算法[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 403-410.
[9]	荆智文, 张屿佳, 孙伯廷, 郭浩. 二阶段孪生图卷积神经网络推荐算法[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 469-476.
[10]	张睿, 宋思琪, 胡静, 张永梅, 柴艳峰. 基于统计和自适应ParNet的产学研绩效评价[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 628-637.
[11]	王星, 刘贵娟, 陈志豪. 高斯混合模型与文本图卷积网络结合的虚假评论识别算法[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 360-368.
[12]	高芸芸, 赵腊生, 张强. 基于双向长短时记忆和卷积Transformer的声学词嵌入模型[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 123-128.
[13]	陈豪, 夏振平, 程成, 林李兴, 张博文. 基于Transformer-CNN的轻量级图像超分辨率重建网络[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 292-299.
[14]	杨国威, 陈绮帆, 刘新月, 王校阳. 基于三维点云处理的髋臼锉锉齿尺寸分析[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 285-291.
[15]	郭晓, 陈艳平, 唐瑞雪, 黄瑞章, 秦永彬. 融合行为词的罪名预测多任务学习模型[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 159-166.

基于节点结构的点云分类网络

Point cloud classification network based on node structure

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 14

参考文献 35

相关文章 15

编辑推荐

Metrics