基于多特征融合的点云场景语义分割

doi:10.11772/j.issn.1001-9081.2023020119

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (10): 3202-3208.DOI: 10.11772/j.issn.1001-9081.2023020119

• 多媒体计算与计算机仿真 • 上一篇

基于多特征融合的点云场景语义分割

郝雯(), 汪洋, 魏海南

西安理工大学计算机科学与工程学院，西安 710048

收稿日期:2023-02-15 修回日期:2023-04-03 接受日期:2023-04-07 发布日期:2023-08-14 出版日期:2023-10-10
通讯作者: 郝雯
作者简介:汪洋（1998—），男，安徽合肥人，硕士研究生，主要研究方向：点云场景分割
魏海南（1998—），女，河北承德人，硕士研究生，主要研究方向：点云场景分割。
基金资助:
国家自然科学基金资助项目(61602373);陕西省自然科学基金资助项目(2021JM-342);西安市碑林区研发项目(GX2242)

Semantic segmentation of point cloud scenes based on multi-feature fusion

Wen HAO(), Yang WANG, Hainan WEI

Faculty of Computer Science and Engineering，Xi’an University of Technology，Xi’an Shaanxi 710048，China

Received:2023-02-15 Revised:2023-04-03 Accepted:2023-04-07 Online:2023-08-14 Published:2023-10-10
Contact: Wen HAO
About author:WANG Yang，born in 1998， M. S. candidate. His research interests include point cloud scene segmentation.
WEI Hainan， born in 1998， M. S. candidate. Her research interests include point cloud scene segmentation.
Supported by:
National Natural Science Foundation of China(61602373);Natural Science Foundation of Shaanxi Province(2021JM-342);Xi’an BeiLin Science Research Plan(GX2242)

摘要/Abstract

摘要：

为挖掘特征间的语义关系以及空间分布信息，并通过多特征增强进一步改善点云语义分割的效果，提出一种基于多特征融合的点云场景语义分割网络（MFF-Net）。所提网络以点的三维坐标和改进后的边特征作为输入，首先，利用K-近邻（KNN）算法搜寻点的近邻点，并在三维坐标和近邻点间坐标差值的基础上计算几何偏移量，从而增强点的局部几何特征表示；其次，将中心点与近邻点间的距离作为权重信息更新边特征，并引入空间注意力机制，获取特征间的语义信息；再次，通过计算近邻特征间的差值，利用均值池化操作进一步提取特征间的空间分布信息；最后，利用注意力池化操作融合三边特征。实验结果表明，所提网络在S3DIS（Stanford 3D large-scale Indoor Spaces）数据集上的平均交并比（mIoU）达到了67.5%，总体准确率（OA）达到了87.2%，相较于PointNet++分别提高10.2和3.4个百分点，可见MFF-Net在大型室内/室外场景均能获得良好的分割效果。

关键词: 点云, 语义分割, 空间注意力, 注意力池化, 特征融合

Abstract:

In order to mine the semantic relationships and spatial distribution among features， and further improve the semantic segmentation results of point cloud through multi-feature enhancement， a Multi-Feature Fusion based point cloud scene semantic segmentation Network （MFF-Net） was proposed. In the proposed network， the 3D coordinates and improved edge features were used as input， firstly， the neighbor points of the point were searched by using K-Nearest Neighbor （KNN） algorithm， and the geometric offsets were calculated based on 3D coordinates and coordinate differences among neighbor points， which enhanced the local geometric feature representation of points. Secondly， the distance between the central point and its neighbor points were used to as weighting information to update the edge features， and the spatial attention mechanism was introduced to obtain the semantic information among features. Thirdly， the spatial distribution information among features was further extracted by calculating the differences among neighbor features and using mean pooling operation. Finally， the trilateral features were fused based on attention pooling. Experimental results demonstrate that on S3DIS （Stanford 3D large-scale Indoor Spaces） dataset， the mean Intersection over Union （mIoU） of the proposed network is 67.5%， and the Overall Accuracy （OA） of the proposed network is 87.2%. These two values are 10.2 and 3.4 percentage points higher than those of PointNet++ respectively. It can be seen that MFF-Net can achieve good segmentation results in both large indoor and outdoor scenes.

Key words: point cloud, semantic segmentation, spatial attention, attention pooling, feature fusion

中图分类号:

P391.41

郝雯, 汪洋, 魏海南. 基于多特征融合的点云场景语义分割[J]. 计算机应用, 2023, 43(10): 3202-3208.

Wen HAO, Yang WANG, Hainan WEI. Semantic segmentation of point cloud scenes based on multi-feature fusion[J]. Journal of Computer Applications, 2023, 43(10): 3202-3208.

图/表 10

参考文献 24

1	GUO Y， WANG H， HU Q， et al. Deep learning for 3D point clouds： a survey［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021， 43（12）： 4338-4364. 10.1109/tpami.2020.3005434
2	QI C R， SU H， MO K， et al. PointNet： deep learning on point sets for 3D classification and segmentation［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 77-85. 10.1109/cvpr.2017.16
3	QI C R， YI L， SU H， et al. PointNet++： deep hierarchical feature learning on point sets in a metric space［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 5105-5114.
4	HU Q， YANG B， XIE L， et al. RandLA-Net： efficient semantic segmentation of large-scale point clouds［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 11105-11114. 10.1109/cvpr42600.2020.01112
5	XU M， DING R， ZHAO H， et al. PAConv： position adaptive convolution with dynamic kernel assembling on point clouds［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 3172-3181. 10.1109/cvpr46437.2021.00319
6	WANG Y， SUN Y， LIU Z， et al. Dynamic graph CNN for learning on point clouds［J］. ACM Transactions on Graphics， 2019， 38（5）： No.146. 10.1145/3326362
7	ZHANG K， HAO M， WANG J， et al. Linked dynamic graph CNN： learning on point cloud via linking hierarchical features［EB/OL］. （2019-08-06）［2022-11-12］.. 10.1109/m2vip49856.2021.9665104
8	CHEN L， ZHANG Q. DDGCN： graph convolution network based on direction and distance for point cloud learning［J］. The Visual Computer， 2023， 39（3）： 863-873. 10.1007/s00371-021-02351-8
9	DU Z， YE H， CAO F. A novel local-global graph convolutional method for point cloud semantic segmentation［J］. IEEE Transactions on Neural Networks and Learning Systems， 2022（Early Access）： 1-15. 10.1109/tnnls.2022.3155282
10	CHEN C， FRAGONARA L Z， TSOURDOS A. GAPNet： graph attention based point neural network for exploiting local feature of point cloud［EB/OL］. （2019-05-21）［2022-11-12］.. 10.1016/j.neucom.2021.01.095
11	CHEN L， CHEN W， XU Z， et al. DAPnet： a double self-attention convolutional network for point cloud semantic labeling［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2021， 14： 9680-9691. 10.1109/jstars.2021.3113047
12	DENG S， DONG Q. GA-NET： global attention network for point cloud semantic segmentation［J］. IEEE Signal Processing Letters， 2021， 28： 1300-1304. 10.1109/lsp.2021.3082851
13	CHEN Q， ZHANG Z， CHEN S， et al. A self-attention based global feature enhancing network for semantic segmentation of large-scale urban street-level point clouds［J］. International Journal of Applied Earth Observation and Geoinformation， 2022， 113： No.102974. 10.1016/j.jag.2022.102974
14	ARMENI I， SENER O， ZAMIR A R， et al. 3D semantic parsing of large-scale indoor spaces［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 1534-1543. 10.1109/cvpr.2016.170
15	HACKEL T， SAVINOV N， LADICKY L， et al. Semantic3D.net： a new large-scale point cloud classification benchmark［J］. ISPRS Annals of the Photogrammetry， Remote Sensing and Spatial Information Sciences， 2017， IV-1/W1： 91-98. 10.5194/isprs-annals-iv-1-w1-91-2017
16	HUANG Q， WANG W， NEUMANN U. Recurrent slice networks for 3D segmentation of point clouds［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 2626-2635. 10.1109/cvpr.2018.00278
17	LANDRIEU L， SIMONOVSKY M. Large-scale point cloud semantic segmentation with superpoint graphs［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 4558-4567. 10.1109/cvpr.2018.00479
18	ZHAO H， JIANG L， FU C W， et al. PointWeb： enhancing local neighborhood features for point cloud processing［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 5560-5568. 10.1109/cvpr.2019.00571
19	HE T， GONG D， TIAN Z， et al. Learning and memorizing representative prototypes for 3D point cloud semantic and instance segmentation［C］// Proceedings of the 2020 European Conference on Computer Vision， LNCS 12363. Cham： Springer， 2020： 564-580.
20	许翔，帅惠，刘青山. 基于卦限卷积神经网络的3D点云分析［J］. 自动化学报， 2021， 47（12）：2791-2800. 10.16383/j.aas.c200080
	XU X， SHUAI H， LIU Q S. Octant convolutional neural network for 3D point cloud analysis［J］. Acta Automatica Sinica， 2021， 47（12）：2791-2800. 10.16383/j.aas.c200080
21	鲁斌，柳杰林. 基于特征增强的三维点云语义分割［J］. 计算机应用， 2023， 43（6）：1818-1825. 10.11772/j.issn.1001-9081.2022050688
	LU B， LIU J L. Semantic segmentation for 3D point clouds based on feature enhancement［J］. Journal of Computer Applications， 2023， 43（6）：1818-1825. 10.11772/j.issn.1001-9081.2022050688
22	郝雯，王红霄，汪洋. 结合空间注意力与形状特征的三维点云语义分割［J］. 激光与光电子学进展， 2022， 59（8）： No.0828004. 10.3788/LOP202259.0828004
	HAO W， WANG H X， WANG Y. Semantic segmentation of three-dimensional point cloud based on spatial attention and shape feature［J］. Laser and Optoelectronics Progress， 2022， 59（8）： No.0828004. 10.3788/LOP202259.0828004
23	QIU S， ANWAR S， BARNES N. Semantic segmentation for real point cloud scenes via bilateral augmentation and adaptive fusion［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 1757-1767. 10.1109/cvpr46437.2021.00180
24	TCHAPMI L， CHOY C， ARMENI I， et al. SEGCloud： semantic segmentation of 3D point clouds［C］// Proceedings of the 2017 International Conference on 3D Vision. Piscataway： IEEE， 2017： 537-547. 10.1109/3dv.2017.00067

网络模型	mAcc	OA	mIoU	不同类别物体的分割准确率
网络模型	mAcc	OA	mIoU	天花板	地板	墙	梁	柱	窗户	门	椅子	桌子	书柜	沙发	黑板	杂物
PointNet^［2］	66.2	78.6	47.6	88.0	88.7	69.3	42.4	23.1	47.5	51.6	42.0	54.1	38.2	9.6	29.4	35.2
PointNet++^［3］	—	83.8	57.3	91.5	92.8	74.6	41.3	28.1	54.5	59.6	64.6	58.9	27.1	52.0	52.3	48.0
RSNet^［16］	66.5	—	56.5	92.5	92.8	78.6	32.8	34.4	51.6	68.1	59.7	60.1	16.4	50.2	44.9	52.0
SPG^［17］	73.0	86.4	62.1	89.9	95.1	76.4	62.8	47.1	55.3	68.4	73.5	69.2	63.2	45.9	8.7	52.9
DGCNN^［6］	—	84.3	56.9	92.8	93.7	76.4	53.1	35.6	56.5	61.2	64.2	51.4	15.9	48.3	43.1	47.0
PointWeb^［18］	76.2	87.3	66.7	93.5	94.2	80.8	52.4	41.3	64.9	68.1	71.4	67.1	50.3	62.7	62.2	58.5
MPNet^［19］	—	86.8	61.3	94.0	94.1	76.6	53.4	33.6	54.2	62.7	70.2	60.2	36.6	53.4	54.3	53.5
Octant-CNN^［20］	—	84.6	58.3	92.1	94.5	76.3	48.9	30.8	56.9	62.9	65.8	55.5	28	48.1	50.3	48.4
GFSOP-Net^［21］	71.0	84.1	58.5	—	—	—	—	—	—	—	—	—	—	—	—	—
AMFF-DGCNN^［22］	—	85.6	59.9	92.9	94.7	78.2	54.0	43.3	59.1	62.6	67.4	59.1	18.3	51.3	47.4	50.5
BAAFNet^［23］	79.4	87.1	66.6	93.7	96.9	78.7	41.0	40.2	61.1	69.0	66.0	78.3	63.4	59.9	59.1	59.2
MFF-Net	80.0	87.2	67.5	93.5	96.9	78.3	37.0	48.0	61.8	67.8	67.4	79.2	65.5	60.2	62.2	60.1

网络模型	mAcc	OA	mIoU	不同类别物体的分割准确率
网络模型	mAcc	OA	mIoU	天花板	地板	墙	梁	柱	窗户	门	椅子	桌子	书柜	沙发	黑板	杂物
PointNet^［2］	66.2	78.6	47.6	88.0	88.7	69.3	42.4	23.1	47.5	51.6	42.0	54.1	38.2	9.6	29.4	35.2
PointNet++^［3］	—	83.8	57.3	91.5	92.8	74.6	41.3	28.1	54.5	59.6	64.6	58.9	27.1	52.0	52.3	48.0
RSNet^［16］	66.5	—	56.5	92.5	92.8	78.6	32.8	34.4	51.6	68.1	59.7	60.1	16.4	50.2	44.9	52.0
SPG^［17］	73.0	86.4	62.1	89.9	95.1	76.4	62.8	47.1	55.3	68.4	73.5	69.2	63.2	45.9	8.7	52.9
DGCNN^［6］	—	84.3	56.9	92.8	93.7	76.4	53.1	35.6	56.5	61.2	64.2	51.4	15.9	48.3	43.1	47.0
PointWeb^［18］	76.2	87.3	66.7	93.5	94.2	80.8	52.4	41.3	64.9	68.1	71.4	67.1	50.3	62.7	62.2	58.5
MPNet^［19］	—	86.8	61.3	94.0	94.1	76.6	53.4	33.6	54.2	62.7	70.2	60.2	36.6	53.4	54.3	53.5
Octant-CNN^［20］	—	84.6	58.3	92.1	94.5	76.3	48.9	30.8	56.9	62.9	65.8	55.5	28	48.1	50.3	48.4
GFSOP-Net^［21］	71.0	84.1	58.5	—	—	—	—	—	—	—	—	—	—	—	—	—
AMFF-DGCNN^［22］	—	85.6	59.9	92.9	94.7	78.2	54.0	43.3	59.1	62.6	67.4	59.1	18.3	51.3	47.4	50.5
BAAFNet^［23］	79.4	87.1	66.6	93.7	96.9	78.7	41.0	40.2	61.1	69.0	66.0	78.3	63.4	59.9	59.1	59.2
MFF-Net	80.0	87.2	67.5	93.5	96.9	78.3	37.0	48.0	61.8	67.8	67.4	79.2	65.5	60.2	62.2	60.1

网络模型	mAcc	OA	mIoU	不同类别物体的分割准确率
网络模型	mAcc	OA	mIoU	天花板	地板	墙	梁	柱	窗户	门	椅子	桌子	书柜	沙发	黑板	杂物
PointNet^［2］	—	—	41.09	88.8	97.3	69.8	0.05	3.9	46.3	10.8	52.6	58.9	40.3	5.9	26.4	33.2
PointNet++^［3］	—	—	50.00	90.8	96.5	74.1	0.00	5.8	43.6	25.4	69.2	76.9	21.5	55.6	49.3	41.9
SegCloud^［24］	—	—	48.90	90.1	96.1	69.9	0.00	18.4	38.4	23.1	75.9	70.4	58.4	40.9	13.0	41.6
DGCNN^［6］	—	83.3	47.60	92.8	97.5	74.9	0.00	11.8	50.7	23.7	66.4	69.6	8.6	48.7	31.6	42.1
PointWeb^［18］	66.6	87.0	60.30	92.0	98.5	79.4	0.00	21.1	60.0	34.8	76.3	88.3	46.9	69.3	64.9	52.5
AMFF-DGCNN^［22］	—	84.6	51.60	92.8	97.8	78.1	0.00	24.9	51.9	31.1	69.1	73.9	16.2	52.7	39.5	42.2
BAAFNet^［23］	71.2	87.0	62.30	92.0	97.9	80.9	0.00	30.9	58.2	47.6	78.1	87.2	52.4	67.0	67.3	51.0
MFF-Net	72.4	87.1	63.00	93.0	98.0	81.4	0.00	26.4	59.9	46.2	78.9	87.1	65.8	65.8	64.9	51.1

网络模型	mAcc	OA	mIoU	不同类别物体的分割准确率
网络模型	mAcc	OA	mIoU	天花板	地板	墙	梁	柱	窗户	门	椅子	桌子	书柜	沙发	黑板	杂物
PointNet^［2］	—	—	41.09	88.8	97.3	69.8	0.05	3.9	46.3	10.8	52.6	58.9	40.3	5.9	26.4	33.2
PointNet++^［3］	—	—	50.00	90.8	96.5	74.1	0.00	5.8	43.6	25.4	69.2	76.9	21.5	55.6	49.3	41.9
SegCloud^［24］	—	—	48.90	90.1	96.1	69.9	0.00	18.4	38.4	23.1	75.9	70.4	58.4	40.9	13.0	41.6
DGCNN^［6］	—	83.3	47.60	92.8	97.5	74.9	0.00	11.8	50.7	23.7	66.4	69.6	8.6	48.7	31.6	42.1
PointWeb^［18］	66.6	87.0	60.30	92.0	98.5	79.4	0.00	21.1	60.0	34.8	76.3	88.3	46.9	69.3	64.9	52.5
AMFF-DGCNN^［22］	—	84.6	51.60	92.8	97.8	78.1	0.00	24.9	51.9	31.1	69.1	73.9	16.2	52.7	39.5	42.2
BAAFNet^［23］	71.2	87.0	62.30	92.0	97.9	80.9	0.00	30.9	58.2	47.6	78.1	87.2	52.4	67.0	67.3	51.0
MFF-Net	72.4	87.1	63.00	93.0	98.0	81.4	0.00	26.4	59.9	46.2	78.9	87.1	65.8	65.8	64.9	51.1

模型	OA	mIoU	不同类别物体的分割准确率
模型	OA	mIoU	人造地形	自然地形	高植被	低植被	建筑物	人造景观	扫描伪影	汽车
BAAFNet	64.6	43.8	72.6	21.0	34.5	37.2	52.0	30.3	38.4	63.9
MFF-Net	73.9	57.0	74.4	29.9	56.1	42.9	64.9	53.5	72.9	61.2

基于多特征融合的点云场景语义分割

Semantic segmentation of point cloud scenes based on multi-feature fusion

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 24

相关文章 15

编辑推荐

Metrics

[1]	周迪, 张自力, 陈佳, 胡新荣, 何儒汉, 张俊. 基于EfficientNetV2和物体上下文表示的胃癌图像分割方法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2955-2962.
[2]	杨昊, 张轶. 基于上下文信息和多尺度融合重要性感知的特征金字塔网络算法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2727-2734.
[3]	徐则林, 杨敏, 陈勐. 融合空间和文本信息的兴趣点类别表征模型[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2456-2461.
[4]	李豆豆, 李汪根, 夏义春, 束阳, 高坤. 基于特征交互与自适应融合的骨骼动作识别[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2581-2587.
[5]	梁美佳, 刘昕武, 胡晓鹏. 基于改进YOLOv3的列车运行环境图像小目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2611-2618.
[6]	刘欢, 吴亮红, 张侣, 陈亮, 周博文, 张红强. 基于特征双融合CenterNet的白细胞检测方法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2602-2610.
[7]	郑帅, 张晓龙, 邓鹤, 任宏伟. 基于多尺度特征融合和网格注意力机制的三维肝脏影像分割方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2303-2310.
[8]	周静, 胡怡宇, 胡成玉, 王天江. 基于点云补全和多分辨Transformer的弱感知目标检测方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2155-2165.
[9]	王辉, 李建红. 基于Transformer的三维模型小样本识别方法[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1750-1758.
[10]	鲁斌, 柳杰林. 基于特征增强的三维点云语义分割[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1818-1825.
[11]	肖田邹子, 周小博, 罗欣, 唐其鹏. 动态环境下结合实例分割与聚类的鲁棒RGB-D SLAM系统[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1220-1225.
[12]	袁泉, 徐雲鹏, 唐成亮. 基于路径标签的文档级关系抽取方法[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1029-1035.
[13]	吕学强, 张煜楠, 韩晶, 崔运鹏, 李欢. 融合边特征与注意力的表格结构识别模型[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 752-758.
[14]	顾勇翔, 蓝鑫, 伏博毅, 秦小林. 基于几何适应与全局感知的遥感图像目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 916-922.
[15]	何雪东, 宣士斌, 王款, 陈梦楠. 融合累积分布函数和通道注意力机制的DeepLabV3+图像分割算法[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 936-942.

改进后的边特征	权重计算	空间注意力	空间语义分布特征	mAcc/%
				71.2
√				71.3
√	√			71.6
√	√	√		72.2
√	√	√	√	72.4

改进后的边特征	权重计算	空间注意力	空间语义分布特征	mAcc/%
				71.2
√				71.3
√	√			71.6
√	√	√		72.2
√	√	√	√	72.4