基于节点结构的点云分类网络

doi:10.11772/j.issn.1001-9081.2023050802

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (5): 1471-1478.DOI: 10.11772/j.issn.1001-9081.2023050802

所属专题：第十九届中国机器学习会议(CCML 2023)

• 第十九届中国机器学习会议(CCML 2023) • 上一篇下一篇

基于节点结构的点云分类网络

高文烁, 陈晓云()

福州大学数学与统计学院，福州 350108

收稿日期:2023-06-25 修回日期:2023-07-21 接受日期:2023-08-02 发布日期:2023-08-07 出版日期:2024-05-10
通讯作者: 陈晓云
作者简介:高文烁（1999—），男，山东济南人，硕士研究生，CCF会员，主要研究方向：机器学习、点云分类
第一联系人：陈晓云（1970—），女，福建晋江人，教授，博士，主要研究方向：机器学习、模式识别。
基金资助:
福建省自然科学基金资助项目(2022J01102)

Point cloud classification network based on node structure

Wenshuo GAO, Xiaoyun CHEN()

School of Mathematics and Statistics，Fuzhou University，Fuzhou Fujian 350108，China

Received:2023-06-25 Revised:2023-07-21 Accepted:2023-08-02 Online:2023-08-07 Published:2024-05-10
Contact: Xiaoyun CHEN
About author:GAO Wenshuo， born in 1999， M. S. candidate. His research interests include machine learning， point cloud classification.
Supported by:
Natural Science Foundation of Fujian Province(2022J01102)

摘要/Abstract

摘要：

点云数据的非结构化和不均匀分布给点云物体特征表示和分类任务带来极大挑战。为了提取点云物体的三维结构特征，现有方法多采用复杂的局部特征提取结构组建分层网络，导致特征提取网络复杂且主要关注点云物体的局部结构。为更好地提取不均匀分布的点云物体特征，提出采样点卷积密度自适应加权的节点结构网络（NsNet）。该卷积网络通过高斯密度对采样点自适应加权以区分采样点的密度差异，从而更好地刻画物体的整体结构；其次，通过加入球形坐标简化网络结构以降低模型复杂度。在3个公开数据集上与PointNet++和PointMLP等方法进行比较，实验结果表明：基于自适应密度加权的NsNet比PointNet++和PointMLP的总准确率（OA）分别提高了9.1和1.3个百分点；与PointMLP相比减少了4.6×10⁶的参数量。NsNet可有效解决点云分布不均导致的边缘点信息损失问题，提高分类精度，降低模型复杂度。

关键词: 三维点云, 点云分类, 卷积神经网络, 密度权重, 整体结构, 局部结构

Abstract:

The non-structured and non-uniform distribution of point cloud data poses significant challenges for feature representation and classification tasks. To extract the three-dimensional structural features of point cloud objects， existing methods often employ complex local feature extraction structures to construct hierarchical networks， resulting in a complex feature extraction network that mainly focuses on the local structures of the point cloud objects. To better extract features from unevenly distributed point cloud objects， a Node structure Network （NsNet） with sample point convolution density adaptive weighting was proposed. The convolutional network adaptively weighted sample points based on Gaussian density to differentiate the density differences among sampling points， thereby better characterizing the overall structure of objects. Additionally， the network structure was simplified by incorporating spherical coordinates to reduce model complexity. Experimental results on three public datasets demonstrate that， NsNet based on adaptive density weighting improves the Overall Accuracy （OA） by 9.1 and 1.3 percentage points respectively compared with PointNet++ and PointMLP， andreduces the number of parameters by 4.6×10⁶ compared to PointMLP. NsNet can effectively address the problem of information loss caused by uneven distribution of point clouds， improve the classification accuracy and reduce the model complexity.

Key words: 3D point cloud, point cloud classification, Convolutional Neural Network (CNN), density weight, over-all structure, local structure

中图分类号:

TP391.4

高文烁, 陈晓云. 基于节点结构的点云分类网络[J]. 计算机应用, 2024, 44(5): 1471-1478.

Wenshuo GAO, Xiaoyun CHEN. Point cloud classification network based on node structure[J]. Journal of Computer Applications, 2024, 44(5): 1471-1478.

图/表 14

图1 原始点云及最远点采样后的点云

Fig. 1 Original point cloud and point clouds after using FPS

图2 节点密度权重学习

Fig. 2 Node density weight learning

图3 不同密度权重加权方法对比

Fig. 3 Comparison of different density weighting methods

图4 局部特征学习

Fig. 4 Local feature learning

图5 单层NsNet结构

Fig. 5 Structure of single-layer NsNet

图6 多层NsNet结构

Fig. 6 Structure of multi-layer NsNet

表1 ScanObjectNN数据集上不同方法的分类准确率和参数量对比

Tab. 1 Classification accuracy and parameter quantity comparison of different methods on ScanObjectNN dataset

方法	输入	mAcc/%	OA/%	参数量/10⁶
PointNet^［13］	1 024 ps	63.4	68.2	3.47
PointNet++^［14］	1 024 ps	75.4	77.9	1.74
SpiderCNN^［26］	1 024 ps	69.8	73.7	—
DGCNN^［10］	1 024 ps	73.6	78.1	1.81
MVTN^［17］	12 vs	—	82.8	4.24
PRA-Net^［24］	1 024 ps	79.1	82.1	2.3
Point-BERT^［18］	1 024 ps	—	83.1	—
Point-TnT^［23］	1 024 ps	81.0	83.5	3.9
SageMix^［22］	1 024 ps	—	83.6	—
Point-MAE^［33］	1 024 ps	—	85.2	—
PointMLP^［21］	1 024 ps	84.4	85.7	12.6
RepSurf-U^［26］	1 024 ps	—	86.0	6.8
NsNet-3-1	1 024 ps	83.7	85.5	2.4
NsNet-4-1	1 024 ps	85.0	87.0	8.0

图7 准确率与参数量对比

Fig. 7 Comparison of accuracy and parameter quantity

表2 ModelNet40数据集上不同方法的OA对比

Tab. 2 OA comparison of different methods on ModelNet40 dataset

方法	数据输入	OA/%	方法	数据输入	OA/%
PointNet^［13］	1 024 ps	89.2	DensePoint^［31］	1 024 ps	93.2
PointNet++^［14］	1 024 ps	90.7	PointASNL^［11］	1 024 ps	92.9
PointNet++^［14］	5 000 ps+n	91.9	PCT^［25］	1 024 ps	93.2
PointConv^［15］	1 024 ps+n	92.5	MLMSPT^［28］	1 024 ps	92.9
KPConv^［20］	6 800 ps	92.9	PointStack^［29］	1 024 ps	93.3
DGCNN^［10］	1 024 ps	92.9	Point-TnT^［23］	1 024 ps	92.6
RS-CNN^［27］	1 024 ps	92.9	NsNet-4-1	1 024 ps	93.6

表3 ShapeNet-Part数据集上不同方法的分类平均交并比与实例级别的平均交并比对比 ( %)

Tab. 3 Cls.mIoU and Inst.mIoU comparison of different methods on ShapeNet-Part dataset

方法	Inst.mIoU	Cls.mIoU
PointNet^［13］	83.7	80.4
PointNet++^［14］	85.1	81.9
SpiderCNN^［16］	85.3	82.4
DGCNN^［10］	85.2	82.3
SynSpec^［3］	84.7	82.0
SPLATNet^［35］	85.4	83.7
NsNet-4-1	85.8	83.6

表4 ShapeNet-Part数据集上不同方法每类分类交并比

Tab. 4 Class mean IoU of segmentation results of different methods for ShapeNet-Part dataset

方法	分类交并比/%
方法	air.	bag	cap	car	cha.	ear.	gui.	kni.	lam.	lap.	mot.	mug.	pis.	roc.	sta.	tab.
PointNet^［13］	83.4	78.7	82.5	74.9	89.6	73.0	91.5	85.9	80.8	95.3	65.2	93.0	81.2	57.9	72.8	80.6
PointNet++^［14］	82.4	79.0	87.7	77.3	90.8	71.8	91.0	85.9	83.7	95.3	71.6	94.1	81.3	58.7	76.4	82.6
SpiderCNN^［16］	83.5	81.0	87.2	77.5	90.7	76.8	91.1	87.3	83.3	95.8	70.2	93.5	82.7	59.7	75.8	82.8
DGCNN^［10］	84.0	83.4	86.7	77.8	90.6	74.7	91.2	87.5	82.8	95.7	66.3	94.9	81.1	63.5	74.5	82.6
SynSpec^［3］	81.6	81.7	81.9	75.2	90.2	74.9	93.0	86.1	84.7	95.6	66.7	92.7	81.6	60.6	82.9	82.1
SPLATNet^［35］	83.2	84.3	89.1	80.3	90.7	75.5	92.1	87.1	83.9	96.3	75.6	95.8	83.8	64.0	75.5	81.8
NsNet-4-1	84.3	80.9	86.1	80.0	90.4	73.4	91.7	86.8	81.6	96.2	77.7	94.7	84.0	64.5	81.6	83.9

图8 ShapeNet-Part数据集分割结果

Fig. 8 Segmentation results of ShapeNet-Part dataset

表5 ScanbObjectNN数据集上NsNet层数变化对比实验结果

Tab.5 Comparison experiment results about NsNet layer change on ScanbObjectNN dataset

网络	m	n	TrainOA/%	TestmAcc/%	TestOA/%
NsNet-1-1	1	1	91.778	74.8	77.7
NsNet-2-1	2	1	99.798	82.0	83.7
NsNet-3-1	3	1	100.000	83.7	85.5
NsNet-4-1	4	1	100.000	85.0	87.0
NsNet-5-1	5	1	100.000	85.2	86.5
NsNet-6-1	6	1	99.912	83.0	85.1
NsNet-1-2	1	2	92.796	76.1	78.3
NsNet-2-2	2	2	99.867	81.8	83.5
NsNet-3-2	3	2	99.908	84.1	85.4
NsNet-4-2	4	2	99.930	85.2	86.2
NsNet-5-2	5	2	99.700	84.5	86.0

表6 ScanbObjectNN数据集上消融实验结果 ( %)

Tab.6 Ablation experimental results on ScanbObjectNN dataset

密度加权	球形坐标	平滑交叉熵	mAcc	OA
卷积密度	$√$	$√$	85.0	87.0
—	$√$	$√$	78.1	81.1
高斯密度	$√$	$√$	83.2	86.0
卷积密度	—	$√$	84.9	86.7
卷积密度	卷积网络^*	$√$	84.8	86.7
卷积密度	$√$	交叉熵^*	83.2	85.6

表6 ScanbObjectNN数据集上消融实验结果 ( %)

Tab.6 Ablation experimental results on ScanbObjectNN dataset

密度加权	球形坐标	平滑交叉熵	mAcc	OA
卷积密度	$√$	$√$	85.0	87.0
—	$√$	$√$	78.1	81.1
高斯密度	$√$	$√$	83.2	86.0
卷积密度	—	$√$	84.9	86.7
卷积密度	卷积网络^*	$√$	84.8	86.7
卷积密度	$√$	交叉熵^*	83.2	85.6

参考文献 35

1	WU Z， SONG S， KHOSLA A， et al. 3D ShapeNets： a deep representation for volumetric shapes［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 1912-1920. 10.1109/cvpr.2015.7298801
2	FENG Y， ZHANG Z， ZHAO X，et al. GVCNN：group-view convolutional neural networks for 3D shape recognition［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 264-272. 10.1109/cvpr.2018.00035
3	YI L， SU H， GUO X， et al. SyncSpecCNN： synchronized spectral cnn for 3D shape segmentation［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 6584-6592. 10.1109/cvpr.2017.697
4	SIMONOVSKY M， KOMODAKIS N. Dynamic edge-conditioned filters in convolutional neural networks on graphs［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 29-38. 10.1109/cvpr.2017.11
5	RIEGLER G， ULUSOY A O， GEIGER A. OctNet： learning deep 3D representations at high resolutions［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 6620-6629. 10.1109/cvpr.2017.701
6	MATURANA D， SCHERER S. VoxNet： a 3D convolutional neural network for real-time object recognition［C］// Proceedings of the 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway： IEEE， 2015： 922-928. 10.1109/iros.2015.7353481
7	WU J， ZHANG C， XUE T， et al. Learning a probabilistic latent space of object shapes via 3D generative-adversarial modeling［C］// Proceedings of the 30th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2016： 82-90.
8	VOSSLMAN G， GORTE B G H， SITHOLE G， et al. Recognising structure in laser scanner point clouds［C］// Proceedings of the 2004 International Archives of Photogrammetry Remote Sensing and Spatial Information Sciences. Amsterdam： Elsevier， 2004： 33-38.
9	CHEN C， LI G， XU R， et al. ClusterNet： deep hierarchical cluster network with rigorously rotation-invariant representation for point cloud analysis［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 4989-4997. 10.1109/cvpr.2019.00513
10	LIANG Z， YANG M， DENG L， et al. Hierarchical depthwise graph convolutional neural network for 3D semantic segmentation of point clouds［C］// Proceedings of the 2019 International Conference on Robotics and Automation. Piscataway： IEEE， 2019： 8152-8158. 10.1109/icra.2019.8794052
11	YAN X， ZHENG C， LI Z， et al. PointASNL： robust point clouds processing using nonlocal neural networks with adaptive sampling［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 5588-5597. 10.1109/cvpr42600.2020.00563
12	ZHAO H， JIANG L， JIA J， et al. Point transformer［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 16239-16248. 10.1109/iccv48922.2021.01595
13	QI C R， SU H， MO K， et al. PointNet： deep learning on point sets for 3D classification and segmentation［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 77-85. 10.1109/cvpr.2017.16
14	QI C R， YI L， SU H， et al. PointNet++： deep hierarchical feature learning on point sets in a metric space［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 5105-5114.
15	WU W， QI Z， LI F. PointConv： deep convolutional networks on 3D point clouds［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 9621-9630. 10.1109/cvpr.2019.00985
16	XU Y， FAN T， XU M， et al. SpiderCNN： deep learning on point sets with parameterized convolutional filters［C］// Proceedings of the 15th European Conference on Computer Vision. Berlin： Springer， 2018： 90-105. 10.1007/978-3-030-01237-3_6
17	HAMDI A， GIANCOLA S， LI B， et al. MVTN： multi-view transformation network for 3D shape recognition［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 1-11. 10.1109/iccv48922.2021.00007
18	YU X， TANG L， RAO Y， et al. Point-BERT： pre-training 3D point cloud transformers with masked point modeling［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 19291-19300. 10.1109/cvpr52688.2022.01871
19	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 6000-6010.
20	THOMAS H， QI C R， J-E DESCHAUD， et al. KPConv： flexible and deformable convolution for point clouds［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 6410-6419. 10.1109/iccv.2019.00651
21	MA X， QIN C， YOU H， et al. Rethinking network design and local geometry in point cloud： a simple residual MLP framework ［C/OL］// Proceedings of the 10th International Conference on Learning Representations. ［S.l.］： ICLR， 2022 ［2023-05-01］. .
22	LEE S， JEON M， KIM I， et al. SageMix： saliency-guided mixup for point clouds ［C/OL］// Proceedings of the 36th Annual Conference on Neural Information Processing Systems. ［S.l.］： NeurIPS， 2022 ［2023-05-01］. .
23	BERG A， OSKARSSON M， O’CONNOR M. Points to patches： enabling the use of self-attention for 3D shape recognition［C］// Proceedings of the 2022 26th International Conference on Pattern Recognition. Piscataway： IEEE， 2022： 528-534. 10.1109/icpr56361.2022.9956172
24	CHENG S， CHEN X， HE X， et al. PRA-Net： point relation-aware network for 3D point cloud analysis［J］. IEEE Transactions on Image Processing， 2021， 30： 4436-4448. 10.1109/tip.2021.3072214
25	GUO M-H， CAI J-X， LIU Z-N， et al. PCT： point cloud Transformer［J］. Computational Visual Media， 2021， 7： 187-199. 10.1007/s41095-021-0229-5
26	RAN H， LIU J， WANG C. Surface representation for point clouds［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 18920-18930. 10.1109/cvpr52688.2022.01837
27	LIU Y， FAN B， XIANG S， et al. Relation-shape convolutional neural network for point cloud analysis［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 8895-8904. 10.1109/cvpr.2019.00910
28	HAN X-F， KUANG Y-J， XIAO G-Q. Point cloud learning with transformer ［EB/OL］. （2021-04-28）［2022-08-25］. . 10.21203/rs.3.rs-2200447/v1
29	WIJAYA K T， D-H PAEK， KONG S-H. Advanced feature learning on point clouds using multi-resolution features and learnable pooling ［EB/OL］. （2022-05-20）［2023-05-20］. .
30	UY M A， Q-G PHAM， HUA B-S， et al. Revisiting point cloud classification： a new benchmark dataset and classification model on real-world data［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 1588-1597. 10.1109/iccv.2019.00167
31	LIU Y， FAN B， MENG G， et al. DensePoint： learning densely contextual representation for efficient point cloud processing［C］// Proceedings of the 2019 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2019： 5239-5248. 10.1109/iccv.2019.00534
32	FAN S， DONG Q， ZHU Y， et al. SCF-Net： learning spatial contextual features for large-scale point cloud segmentation［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 14504-14513. 10.1109/cvpr46437.2021.01427
33	PANG Y， WANG W， TAY F E H， et al. Masked autoencoders for point cloud self-supervised learning［C］// Proceedings of the 17th European Conference on Computer Vision. Cham： Springer， 2022： 604-621. 10.1007/978-3-031-20086-1_35
34	MÜLLER R， KORNBLITH S， HINTON G. When does label smoothing help？［C］// Proceedings of the 33rd International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2019： 4694-4703. 10.48550/arXiv.1906.02629
35	SU H， JAMPANI V， SUN D， et al. SPLATNet： sparse lattice networks for point cloud processing［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway： IEEE， 2018： 2530-2539. 10.1109/cvpr.2018.00268

[1]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[2]	李云, 王富铕, 井佩光, 王粟, 肖澳. 基于不确定度感知的帧关联短视频事件检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2903-2910.
[3]	陈虹, 齐兵, 金海波, 武聪, 张立昂. 融合1D-CNN与BiGRU的类不平衡流量异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2493-2499.
[4]	赵宇博, 张丽萍, 闫盛, 侯敏, 高茂. 基于改进分段卷积神经网络和知识蒸馏的学科知识实体间关系抽取[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2421-2429.
[5]	张春雪, 仇丽青, 孙承爱, 荆彩霞. 基于两阶段动态兴趣识别的购买行为预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2365-2371.
[6]	高阳峄, 雷涛, 杜晓刚, 李岁永, 王营博, 闵重丹. 基于像素距离图和四维动态卷积网络的密集人群计数与定位方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2233-2242.
[7]	王东炜, 刘柏辰, 韩志, 王艳美, 唐延东. 基于低秩分解和向量量化的深度网络压缩方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 1987-1994.
[8]	沈君凤, 周星辰, 汤灿. 基于改进的提示学习方法的双通道情感分析模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1796-1806.
[9]	黄梦源, 常侃, 凌铭阳, 韦新杰, 覃团发. 基于层间引导的低光照图像渐进增强算法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1911-1919.
[10]	李健京, 李贯峰, 秦飞舟, 李卫军. 基于不确定知识图谱嵌入的多关系近似推理模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1751-1759.
[11]	姚迅, 秦忠正, 杨捷. 生成式标签对抗的文本分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1781-1785.
[12]	孙敏, 成倩, 丁希宁. 基于CBAM-CGRU-SVM的Android恶意软件检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1539-1545.
[13]	席治远, 唐超, 童安炀, 王文剑. 基于双路时空网络的驾驶员行为识别[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1511-1519.
[14]	陈天华, 朱家煊, 印杰. 基于注意力机制的鸟类识别算法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1114-1120.
[15]	许立君, 黎辉, 刘祖阳, 陈侃松, 马为駽. 基于3D‑Ghost卷积神经网络的脑胶质瘤MRI图像分割算法3D‑GA‑Unet[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1294-1302.

基于节点结构的点云分类网络

Point cloud classification network based on node structure

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 14

参考文献 35

相关文章 15

编辑推荐

Metrics