基于多特征融合的点云场景语义分割

doi:10.11772/j.issn.1001-9081.2023020119

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (10): 3202-3208.DOI: 10.11772/j.issn.1001-9081.2023020119

所属专题：多媒体计算与计算机仿真

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于多特征融合的点云场景语义分割

郝雯(), 汪洋, 魏海南

西安理工大学计算机科学与工程学院，西安 710048

收稿日期:2023-02-15 修回日期:2023-04-03 接受日期:2023-04-07 发布日期:2023-08-14 出版日期:2023-10-10
通讯作者: 郝雯
作者简介:汪洋（1998—），男，安徽合肥人，硕士研究生，主要研究方向：点云场景分割
魏海南（1998—），女，河北承德人，硕士研究生，主要研究方向：点云场景分割。
基金资助:
国家自然科学基金资助项目(61602373);陕西省自然科学基金资助项目(2021JM-342);西安市碑林区研发项目(GX2242)

Semantic segmentation of point cloud scenes based on multi-feature fusion

Wen HAO(), Yang WANG, Hainan WEI

Faculty of Computer Science and Engineering，Xi’an University of Technology，Xi’an Shaanxi 710048，China

Received:2023-02-15 Revised:2023-04-03 Accepted:2023-04-07 Online:2023-08-14 Published:2023-10-10
Contact: Wen HAO
About author:WANG Yang，born in 1998， M. S. candidate. His research interests include point cloud scene segmentation.
WEI Hainan， born in 1998， M. S. candidate. Her research interests include point cloud scene segmentation.
Supported by:
National Natural Science Foundation of China(61602373);Natural Science Foundation of Shaanxi Province(2021JM-342);Xi’an BeiLin Science Research Plan(GX2242)

摘要/Abstract

摘要：

为挖掘特征间的语义关系以及空间分布信息，并通过多特征增强进一步改善点云语义分割的效果，提出一种基于多特征融合的点云场景语义分割网络（MFF-Net）。所提网络以点的三维坐标和改进后的边特征作为输入，首先，利用K-近邻（KNN）算法搜寻点的近邻点，并在三维坐标和近邻点间坐标差值的基础上计算几何偏移量，从而增强点的局部几何特征表示；其次，将中心点与近邻点间的距离作为权重信息更新边特征，并引入空间注意力机制，获取特征间的语义信息；再次，通过计算近邻特征间的差值，利用均值池化操作进一步提取特征间的空间分布信息；最后，利用注意力池化操作融合三边特征。实验结果表明，所提网络在S3DIS（Stanford 3D large-scale Indoor Spaces）数据集上的平均交并比（mIoU）达到了67.5%，总体准确率（OA）达到了87.2%，相较于PointNet++分别提高10.2和3.4个百分点，可见MFF-Net在大型室内/室外场景均能获得良好的分割效果。

关键词: 点云, 语义分割, 空间注意力, 注意力池化, 特征融合

Abstract:

In order to mine the semantic relationships and spatial distribution among features， and further improve the semantic segmentation results of point cloud through multi-feature enhancement， a Multi-Feature Fusion based point cloud scene semantic segmentation Network （MFF-Net） was proposed. In the proposed network， the 3D coordinates and improved edge features were used as input， firstly， the neighbor points of the point were searched by using K-Nearest Neighbor （KNN） algorithm， and the geometric offsets were calculated based on 3D coordinates and coordinate differences among neighbor points， which enhanced the local geometric feature representation of points. Secondly， the distance between the central point and its neighbor points were used to as weighting information to update the edge features， and the spatial attention mechanism was introduced to obtain the semantic information among features. Thirdly， the spatial distribution information among features was further extracted by calculating the differences among neighbor features and using mean pooling operation. Finally， the trilateral features were fused based on attention pooling. Experimental results demonstrate that on S3DIS （Stanford 3D large-scale Indoor Spaces） dataset， the mean Intersection over Union （mIoU） of the proposed network is 67.5%， and the Overall Accuracy （OA） of the proposed network is 87.2%. These two values are 10.2 and 3.4 percentage points higher than those of PointNet++ respectively. It can be seen that MFF-Net can achieve good segmentation results in both large indoor and outdoor scenes.

Key words: point cloud, semantic segmentation, spatial attention, attention pooling, feature fusion

中图分类号:

P391.41

郝雯, 汪洋, 魏海南. 基于多特征融合的点云场景语义分割[J]. 计算机应用, 2023, 43(10): 3202-3208.

Wen HAO, Yang WANG, Hainan WEI. Semantic segmentation of point cloud scenes based on multi-feature fusion[J]. Journal of Computer Applications, 2023, 43(10): 3202-3208.

图/表 10

参考文献 24

1	GUO Y， WANG H， HU Q， et al. Deep learning for 3D point clouds： a survey［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021， 43（12）： 4338-4364. 10.1109/tpami.2020.3005434
2	QI C R， SU H， MO K， et al. PointNet： deep learning on point sets for 3D classification and segmentation［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 77-85. 10.1109/cvpr.2017.16
3	QI C R， YI L， SU H， et al. PointNet++： deep hierarchical feature learning on point sets in a metric space［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 5105-5114.
4	HU Q， YANG B， XIE L， et al. RandLA-Net： efficient semantic segmentation of large-scale point clouds［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 11105-11114. 10.1109/cvpr42600.2020.01112
5	XU M， DING R， ZHAO H， et al. PAConv： position adaptive convolution with dynamic kernel assembling on point clouds［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 3172-3181. 10.1109/cvpr46437.2021.00319
6	WANG Y， SUN Y， LIU Z， et al. Dynamic graph CNN for learning on point clouds［J］. ACM Transactions on Graphics， 2019， 38（5）： No.146. 10.1145/3326362
7	ZHANG K， HAO M， WANG J， et al. Linked dynamic graph CNN： learning on point cloud via linking hierarchical features［EB/OL］. （2019-08-06）［2022-11-12］.. 10.1109/m2vip49856.2021.9665104
8	CHEN L， ZHANG Q. DDGCN： graph convolution network based on direction and distance for point cloud learning［J］. The Visual Computer， 2023， 39（3）： 863-873. 10.1007/s00371-021-02351-8
9	DU Z， YE H， CAO F. A novel local-global graph convolutional method for point cloud semantic segmentation［J］. IEEE Transactions on Neural Networks and Learning Systems， 2022（Early Access）： 1-15. 10.1109/tnnls.2022.3155282
10	CHEN C， FRAGONARA L Z， TSOURDOS A. GAPNet： graph attention based point neural network for exploiting local feature of point cloud［EB/OL］. （2019-05-21）［2022-11-12］.. 10.1016/j.neucom.2021.01.095
11	CHEN L， CHEN W， XU Z， et al. DAPnet： a double self-attention convolutional network for point cloud semantic labeling［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2021， 14： 9680-9691. 10.1109/jstars.2021.3113047
12	DENG S， DONG Q. GA-NET： global attention network for point cloud semantic segmentation［J］. IEEE Signal Processing Letters， 2021， 28： 1300-1304. 10.1109/lsp.2021.3082851
13	CHEN Q， ZHANG Z， CHEN S， et al. A self-attention based global feature enhancing network for semantic segmentation of large-scale urban street-level point clouds［J］. International Journal of Applied Earth Observation and Geoinformation， 2022， 113： No.102974. 10.1016/j.jag.2022.102974
14	ARMENI I， SENER O， ZAMIR A R， et al. 3D semantic parsing of large-scale indoor spaces［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 1534-1543. 10.1109/cvpr.2016.170
15	HACKEL T， SAVINOV N， LADICKY L， et al. Semantic3D.net： a new large-scale point cloud classification benchmark［J］. ISPRS Annals of the Photogrammetry， Remote Sensing and Spatial Information Sciences， 2017， IV-1/W1： 91-98. 10.5194/isprs-annals-iv-1-w1-91-2017
16	HUANG Q， WANG W， NEUMANN U. Recurrent slice networks for 3D segmentation of point clouds［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 2626-2635. 10.1109/cvpr.2018.00278
17	LANDRIEU L， SIMONOVSKY M. Large-scale point cloud semantic segmentation with superpoint graphs［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 4558-4567. 10.1109/cvpr.2018.00479
18	ZHAO H， JIANG L， FU C W， et al. PointWeb： enhancing local neighborhood features for point cloud processing［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 5560-5568. 10.1109/cvpr.2019.00571
19	HE T， GONG D， TIAN Z， et al. Learning and memorizing representative prototypes for 3D point cloud semantic and instance segmentation［C］// Proceedings of the 2020 European Conference on Computer Vision， LNCS 12363. Cham： Springer， 2020： 564-580.
20	许翔，帅惠，刘青山. 基于卦限卷积神经网络的3D点云分析［J］. 自动化学报， 2021， 47（12）：2791-2800. 10.16383/j.aas.c200080
	XU X， SHUAI H， LIU Q S. Octant convolutional neural network for 3D point cloud analysis［J］. Acta Automatica Sinica， 2021， 47（12）：2791-2800. 10.16383/j.aas.c200080
21	鲁斌，柳杰林. 基于特征增强的三维点云语义分割［J］. 计算机应用， 2023， 43（6）：1818-1825. 10.11772/j.issn.1001-9081.2022050688
	LU B， LIU J L. Semantic segmentation for 3D point clouds based on feature enhancement［J］. Journal of Computer Applications， 2023， 43（6）：1818-1825. 10.11772/j.issn.1001-9081.2022050688
22	郝雯，王红霄，汪洋. 结合空间注意力与形状特征的三维点云语义分割［J］. 激光与光电子学进展， 2022， 59（8）： No.0828004. 10.3788/LOP202259.0828004
	HAO W， WANG H X， WANG Y. Semantic segmentation of three-dimensional point cloud based on spatial attention and shape feature［J］. Laser and Optoelectronics Progress， 2022， 59（8）： No.0828004. 10.3788/LOP202259.0828004
23	QIU S， ANWAR S， BARNES N. Semantic segmentation for real point cloud scenes via bilateral augmentation and adaptive fusion［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 1757-1767. 10.1109/cvpr46437.2021.00180
24	TCHAPMI L， CHOY C， ARMENI I， et al. SEGCloud： semantic segmentation of 3D point clouds［C］// Proceedings of the 2017 International Conference on 3D Vision. Piscataway： IEEE， 2017： 537-547. 10.1109/3dv.2017.00067

网络模型	mAcc	OA	mIoU	不同类别物体的分割准确率
网络模型	mAcc	OA	mIoU	天花板	地板	墙	梁	柱	窗户	门	椅子	桌子	书柜	沙发	黑板	杂物
PointNet^［2］	66.2	78.6	47.6	88.0	88.7	69.3	42.4	23.1	47.5	51.6	42.0	54.1	38.2	9.6	29.4	35.2
PointNet++^［3］	—	83.8	57.3	91.5	92.8	74.6	41.3	28.1	54.5	59.6	64.6	58.9	27.1	52.0	52.3	48.0
RSNet^［16］	66.5	—	56.5	92.5	92.8	78.6	32.8	34.4	51.6	68.1	59.7	60.1	16.4	50.2	44.9	52.0
SPG^［17］	73.0	86.4	62.1	89.9	95.1	76.4	62.8	47.1	55.3	68.4	73.5	69.2	63.2	45.9	8.7	52.9
DGCNN^［6］	—	84.3	56.9	92.8	93.7	76.4	53.1	35.6	56.5	61.2	64.2	51.4	15.9	48.3	43.1	47.0
PointWeb^［18］	76.2	87.3	66.7	93.5	94.2	80.8	52.4	41.3	64.9	68.1	71.4	67.1	50.3	62.7	62.2	58.5
MPNet^［19］	—	86.8	61.3	94.0	94.1	76.6	53.4	33.6	54.2	62.7	70.2	60.2	36.6	53.4	54.3	53.5
Octant-CNN^［20］	—	84.6	58.3	92.1	94.5	76.3	48.9	30.8	56.9	62.9	65.8	55.5	28	48.1	50.3	48.4
GFSOP-Net^［21］	71.0	84.1	58.5	—	—	—	—	—	—	—	—	—	—	—	—	—
AMFF-DGCNN^［22］	—	85.6	59.9	92.9	94.7	78.2	54.0	43.3	59.1	62.6	67.4	59.1	18.3	51.3	47.4	50.5
BAAFNet^［23］	79.4	87.1	66.6	93.7	96.9	78.7	41.0	40.2	61.1	69.0	66.0	78.3	63.4	59.9	59.1	59.2
MFF-Net	80.0	87.2	67.5	93.5	96.9	78.3	37.0	48.0	61.8	67.8	67.4	79.2	65.5	60.2	62.2	60.1

网络模型	mAcc	OA	mIoU	不同类别物体的分割准确率
网络模型	mAcc	OA	mIoU	天花板	地板	墙	梁	柱	窗户	门	椅子	桌子	书柜	沙发	黑板	杂物
PointNet^［2］	66.2	78.6	47.6	88.0	88.7	69.3	42.4	23.1	47.5	51.6	42.0	54.1	38.2	9.6	29.4	35.2
PointNet++^［3］	—	83.8	57.3	91.5	92.8	74.6	41.3	28.1	54.5	59.6	64.6	58.9	27.1	52.0	52.3	48.0
RSNet^［16］	66.5	—	56.5	92.5	92.8	78.6	32.8	34.4	51.6	68.1	59.7	60.1	16.4	50.2	44.9	52.0
SPG^［17］	73.0	86.4	62.1	89.9	95.1	76.4	62.8	47.1	55.3	68.4	73.5	69.2	63.2	45.9	8.7	52.9
DGCNN^［6］	—	84.3	56.9	92.8	93.7	76.4	53.1	35.6	56.5	61.2	64.2	51.4	15.9	48.3	43.1	47.0
PointWeb^［18］	76.2	87.3	66.7	93.5	94.2	80.8	52.4	41.3	64.9	68.1	71.4	67.1	50.3	62.7	62.2	58.5
MPNet^［19］	—	86.8	61.3	94.0	94.1	76.6	53.4	33.6	54.2	62.7	70.2	60.2	36.6	53.4	54.3	53.5
Octant-CNN^［20］	—	84.6	58.3	92.1	94.5	76.3	48.9	30.8	56.9	62.9	65.8	55.5	28	48.1	50.3	48.4
GFSOP-Net^［21］	71.0	84.1	58.5	—	—	—	—	—	—	—	—	—	—	—	—	—
AMFF-DGCNN^［22］	—	85.6	59.9	92.9	94.7	78.2	54.0	43.3	59.1	62.6	67.4	59.1	18.3	51.3	47.4	50.5
BAAFNet^［23］	79.4	87.1	66.6	93.7	96.9	78.7	41.0	40.2	61.1	69.0	66.0	78.3	63.4	59.9	59.1	59.2
MFF-Net	80.0	87.2	67.5	93.5	96.9	78.3	37.0	48.0	61.8	67.8	67.4	79.2	65.5	60.2	62.2	60.1

网络模型	mAcc	OA	mIoU	不同类别物体的分割准确率
网络模型	mAcc	OA	mIoU	天花板	地板	墙	梁	柱	窗户	门	椅子	桌子	书柜	沙发	黑板	杂物
PointNet^［2］	—	—	41.09	88.8	97.3	69.8	0.05	3.9	46.3	10.8	52.6	58.9	40.3	5.9	26.4	33.2
PointNet++^［3］	—	—	50.00	90.8	96.5	74.1	0.00	5.8	43.6	25.4	69.2	76.9	21.5	55.6	49.3	41.9
SegCloud^［24］	—	—	48.90	90.1	96.1	69.9	0.00	18.4	38.4	23.1	75.9	70.4	58.4	40.9	13.0	41.6
DGCNN^［6］	—	83.3	47.60	92.8	97.5	74.9	0.00	11.8	50.7	23.7	66.4	69.6	8.6	48.7	31.6	42.1
PointWeb^［18］	66.6	87.0	60.30	92.0	98.5	79.4	0.00	21.1	60.0	34.8	76.3	88.3	46.9	69.3	64.9	52.5
AMFF-DGCNN^［22］	—	84.6	51.60	92.8	97.8	78.1	0.00	24.9	51.9	31.1	69.1	73.9	16.2	52.7	39.5	42.2
BAAFNet^［23］	71.2	87.0	62.30	92.0	97.9	80.9	0.00	30.9	58.2	47.6	78.1	87.2	52.4	67.0	67.3	51.0
MFF-Net	72.4	87.1	63.00	93.0	98.0	81.4	0.00	26.4	59.9	46.2	78.9	87.1	65.8	65.8	64.9	51.1

网络模型	mAcc	OA	mIoU	不同类别物体的分割准确率
网络模型	mAcc	OA	mIoU	天花板	地板	墙	梁	柱	窗户	门	椅子	桌子	书柜	沙发	黑板	杂物
PointNet^［2］	—	—	41.09	88.8	97.3	69.8	0.05	3.9	46.3	10.8	52.6	58.9	40.3	5.9	26.4	33.2
PointNet++^［3］	—	—	50.00	90.8	96.5	74.1	0.00	5.8	43.6	25.4	69.2	76.9	21.5	55.6	49.3	41.9
SegCloud^［24］	—	—	48.90	90.1	96.1	69.9	0.00	18.4	38.4	23.1	75.9	70.4	58.4	40.9	13.0	41.6
DGCNN^［6］	—	83.3	47.60	92.8	97.5	74.9	0.00	11.8	50.7	23.7	66.4	69.6	8.6	48.7	31.6	42.1
PointWeb^［18］	66.6	87.0	60.30	92.0	98.5	79.4	0.00	21.1	60.0	34.8	76.3	88.3	46.9	69.3	64.9	52.5
AMFF-DGCNN^［22］	—	84.6	51.60	92.8	97.8	78.1	0.00	24.9	51.9	31.1	69.1	73.9	16.2	52.7	39.5	42.2
BAAFNet^［23］	71.2	87.0	62.30	92.0	97.9	80.9	0.00	30.9	58.2	47.6	78.1	87.2	52.4	67.0	67.3	51.0
MFF-Net	72.4	87.1	63.00	93.0	98.0	81.4	0.00	26.4	59.9	46.2	78.9	87.1	65.8	65.8	64.9	51.1

模型	OA	mIoU	不同类别物体的分割准确率
模型	OA	mIoU	人造地形	自然地形	高植被	低植被	建筑物	人造景观	扫描伪影	汽车
BAAFNet	64.6	43.8	72.6	21.0	34.5	37.2	52.0	30.3	38.4	63.9
MFF-Net	73.9	57.0	74.4	29.9	56.1	42.9	64.9	53.5	72.9	61.2

基于多特征融合的点云场景语义分割

Semantic segmentation of point cloud scenes based on multi-feature fusion

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 24

相关文章 15

编辑推荐

Metrics

[1]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[2]	李晨倩, 刘俊. 基于半监督和多尺度级联注意力的超声颈动脉斑块分割方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2604-2610.
[3]	顾焰杰, 张英俊, 刘晓倩, 周围, 孙威. 基于时空多图融合的交通流量预测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2618-2625.
[4]	刘瑞华, 郝子赫, 邹洋杨. 基于多层级精细特征融合的步态识别算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2250-2257.
[5]	唐媛, 陈艳平, 扈应, 黄瑞章, 秦永彬. 基于多尺度混合注意力卷积神经网络的关系抽取模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2011-2017.
[6]	黄梦源, 常侃, 凌铭阳, 韦新杰, 覃团发. 基于层间引导的低光照图像渐进增强算法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1911-1919.
[7]	刘越, 刘芳, 武奥运, 柴秋月, 王天笑. 基于自注意力机制与图卷积的3D目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1972-1977.
[8]	李鑫, 孟乔, 皇甫俊逸, 孟令辰. 基于分离式标签协同学习的YOLOv5多属性分类[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1619-1628.
[9]	韩贵金, 张馨渊, 张文涛, 黄娅. 基于多特征融合的自监督图像配准算法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1597-1604.
[10]	高文烁, 陈晓云. 基于节点结构的点云分类网络[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1471-1478.
[11]	李鸿天, 史鑫昊, 潘卫国, 徐成, 徐冰心, 袁家政. 融合多尺度和注意力机制的小样本目标检测[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1437-1444.
[12]	张鹏飞, 韩李涛, 冯恒健, 李洪梅. 基于注意力机制和全局特征优化的点云语义分割[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1086-1092.
[13]	李威, 陈玲, 徐修远, 朱敏, 郭际香, 周凯, 牛颢, 张煜宸, 易珊烨, 章毅, 罗凤鸣. 基于多任务学习的间质性肺病分割算法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1285-1293.
[14]	肖斌, 甘昀, 汪敏, 张兴鹏, 王照星. 基于端口注意力与通道空间注意力的网络异常流量检测[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1027-1034.
[15]	王铂越, 李英祥, 钟剑丹. 基于改进Res-UNet的昼夜地基云图分割网络[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1310-1316.

改进后的边特征	权重计算	空间注意力	空间语义分布特征	mAcc/%
				71.2
√				71.3
√	√			71.6
√	√	√		72.2
√	√	√	√	72.4

改进后的边特征	权重计算	空间注意力	空间语义分布特征	mAcc/%
				71.2
√				71.3
√	√			71.6
√	√	√		72.2
√	√	√	√	72.4