基于自注意力机制与图卷积的3D目标检测网络

doi:10.11772/j.issn.1001-9081.2023060767

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (6): 1972-1977.DOI: 10.11772/j.issn.1001-9081.2023060767

所属专题：前沿与综合应用

基于自注意力机制与图卷积的3D目标检测网络

刘越(), 刘芳, 武奥运, 柴秋月, 王天笑

长春工业大学电气与电子工程学院，长春 130012

收稿日期:2023-06-19 修回日期:2023-08-09 接受日期:2023-08-15 发布日期:2023-09-11 出版日期:2024-06-10
通讯作者: 刘越
作者简介:刘芳（1998—），女，山东济宁人，硕士研究生，主要研究方向：计算机视觉、目标检测
武奥运（1996—），男，安徽阜阳人，硕士研究生，主要研究方向：计算机视觉、目标检测
柴秋月（1998—），女，河北衡水人，硕士研究生，主要研究方向：深度学习、图像处理
王天笑（1997—），男，安徽宿州人，硕士研究生，主要研究方向：深度学习、图像处理。
基金资助:
吉林省科技发展计划项目(20220204090YY)

3D object detection network based on self-attention mechanism and graph convolution

Yue LIU(), Fang LIU, Aoyun WU, Qiuyue CHAI, Tianxiao WANG

School of Electrical and Electronic Engineering，Changchun University of Technology，Changchun Jilin 130012，China

Received:2023-06-19 Revised:2023-08-09 Accepted:2023-08-15 Online:2023-09-11 Published:2024-06-10
Contact: Yue LIU
About author:LIU Fang， born in 1998， M. S. candidate. Her research interests include computer vision， object detection.
WU Aoyun， born in 1996， M. S. candidate. His research interests include computer vision， object detection.
CHAI Qiuyue， born in 1998， M. S. candidate. Her research interests include deep learning， image processing.
WANG Tianxiao， born in 1997， M. S. candidate. His research interests include deep learning， image processing.
Supported by:
Scientific and Technological Developing Plan of Jilin Province(20220204090YY)

摘要/Abstract

摘要：

针对三维（3D）目标检测过程中对骑行者、行人等小目标检测的准确性较低，难以适应城市复杂路况的问题，提出一种基于自注意力机制与图卷积的3D目标检测网络。首先，为获取更具有判别性的小目标特征，在主干网络中引入自注意力机制，使网络对小目标特征更敏感，增强网络特征的提取能力；其次，在自注意力机制的基础上构建特征融合模块，进一步丰富浅层网络特征，增强深层网络的特征表达能力；最后，引用动态图卷积预测目标的边界框，提高目标预测的准确性。在KITTI数据集上进行实验，将所提网络与TANet（Triple Attention Network）、IA-SSD（Instance-Aware Single-Stage Detector）等8种主流网络对比。实验结果表明，所提网络对行人的检测精度在简单、中等和困难这3个难度下比行人检测精度次优的TANet提高了12.12、13.82和11.03个百分点，对骑行者的检测精度在中等和困难上比IA-SSD提高了3.06和5.34个百分点。综上所述，所提网络可以更好地应用于小目标检测任务。

关键词: 三维目标检测, 自注意力机制, 特征融合, 动态图卷积, 小目标检测

Abstract:

Aiming at the problems that the detection accuracy of small objects such as cyclists and pedestrians in Three-Dimensional （3D） object detection is low， and it is difficult to adapt to complex urban road conditions， a 3D object detection network based on self-attention mechanism and graph convolution was proposed. Firstly， in order to obtain more discriminative small object features， self-attention mechanism was introduced into the backbone network to make the network more sensitive to small object features and improve the ability to extract network features. Secondly， a feature fusion module was constructed based on the self-attention mechanism to further enrich the information of shallow network and enhance the feature expression ability of deep network. Finally， dynamic graph convolution was used to predict the boundary box of the object， improving the accuracy of object prediction. The proposed network was tested on KITTI dataset， and compared to eight major networks such as TANet （Triple Attention Network） and IA-SSD （Instance-Aware Single-Stage Detector）. The experimental results show that the pedestrian detection accuracy of the proposed network is increased by 12.12， 13.82 and 11.03 percentage points compared with TANet， which has the suboptimal pedestrian detection accuracy， under three difficulty levels of simple， medium，and difficult degrees； the cyclist detection accuracy of the proposed network is 3.06 and 5.34 percentage points higher than that of IA-SSD under medium and difficult degrees. In summary， the network proposed in this paper can be better applied to small object detection tasks.

Key words: Three-Dimensional (3D) object detection, self-attention mechanism, feature fusion, dynamic graph convolution, small object detection

中图分类号:

TP391.41

刘越, 刘芳, 武奥运, 柴秋月, 王天笑. 基于自注意力机制与图卷积的3D目标检测网络[J]. 计算机应用, 2024, 44(6): 1972-1977.

Yue LIU, Fang LIU, Aoyun WU, Qiuyue CHAI, Tianxiao WANG. 3D object detection network based on self-attention mechanism and graph convolution[J]. Journal of Computer Applications, 2024, 44(6): 1972-1977.

图/表 10

图1 本文网络的总体网络架构

Fig.1 Overall network architecture of proposed network

图2 坐标系转换示意图

Fig.2 Schematic diagram of coordinate system transformation

图3 自注意力机制模块的结构

Fig.3 Structure of self-attention mechanism module

图4 目标框预测网络结构

Fig.4 Structure of object box prediction network

图5 边缘特征eij计算示意图

Fig.5 Schematic diagram of edge features eij calculation

图6 Edge Conv操作示意图

Fig.6 Schematic diagram of Edge Conv operation

表1 本文网络模型与其他3D目标检测网络AP对比 (%)

Tab.1 Comparison of AP between proposed network model and other 3D object detection networks

网络	骑行者			行人			汽车
网络	简单	中等	困难	简单	中等	困难	简单	中等	困难
F-PointNet^［12］	69.36	53.50	52.88	50.88	41.55	38.04	80.62	64.70	56.07
PointFusion^［13］	49.34	29.42	26.98	33.36	28.04	23.38	77.92	63.00	53.27
AVOD^［10］	44.06	37.11	32.74	37.53	30.46	28.30	85.51	77.57	69.65
VoxelNet^［8］	61.22	48.36	44.37	39.48	33.69	31.50	77.47	65.11	57.73
TANet^［14］	73.84	59.86	53.46	54.92	46.67	42.42	83.81	75.38	67.66
SVGA-Net^［9］	78.58	62.28	54.88	48.48	40.39	37.92	87.33	80.47	75.91
IA-SSD^［7］	80.78	66.01	58.12	49.01	41.42	38.03	88.87	80.32	75.10
SAT-GCN^［15］							86.55	78.12	73.12
本文网络	74.11	69.07	63.46	67.04	60.49	53.45	81.14	69.43	62.43

图7 损失函数收敛曲线

Fig.7 Convergence curve ofloss function

图8 KITTI数据集检测结果可视化

Fig. 8 Visualization of KITTI dataset detection results

表2 各部分处理对3D目标检测AP值及运行时间的影响

Tab. 2 Influence of each part of processing on AP value and running time of 3D objection detection

Attention和特征融合	动态图卷积预测	骑行者AP/%			行人AP/%			运行时间/ms
Attention和特征融合	动态图卷积预测	简单	中等	困难	简单	中等	困难	运行时间/ms
		72.22	68.30	62.66	55.97	54.56	48.44	222
√		74.11	69.39	63.51	64.51	58.23	51.39	234
	√	73.79	68.37	62.79	56.15	55.75	49.68	257
√	√	74.11	69.07	63.46	67.04	60.49	53.45	266

参考文献 19

1	WANG X， YIN W， KONG T， et al. Task-aware monocular depth estimation for 3D object detection ［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2020， 34（7）： 12257-12264.
2	LI P， CHEN X， SHEN S. Stereo R-CNN based 3D object detection for autonomous driving ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 7636-7644.
3	曹杰程，陶重犇.基于Stereo RCNN的锚引导3D目标检测算法［J］.仪器仪表学报， 2021， 42（12）： 191-201.
	CAO J C， TAO C B. An anchor-guided 3D object detection algorithm based on stereo RCNN ［J］. Chinese Journal of Scientific Instrument， 2021， 42（12）： 191-201.
4	CHARLES R Q， SU H， MO K， et al. PointNet： deep learning on point sets for 3D classification and segmentation ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 77-85.
5	刘永刚，于丰宁，章新杰，等.基于激光点云与图像融合的3D目标检测研究［J］.机械工程学报， 2022， 58（24）： 289-299.
	LIU Y G， YU F N， ZHANG X J， et al. Research on 3D object detection based on laser point cloud and image fusion ［J］. Journal of Mechanical Engineering， 2022， 58（24）： 289-299.
6	崔振东，李宗民，杨树林，等.基于语义分割引导的三维目标检测［J］. 图学学报， 2022， 43（6）： 1134-1142.
	CUI Z D， LI Z M， YANG S L， et al. 3D object detection based on semantic segmentation guidance ［J］. Journal of Graphics， 2022， 43（6）： 1134-1142.
7	ZHANG Y， HU Q， XU G， et al. Not all points are equal： learning highly efficient point-based detectors for 3D LiDAR point clouds ［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 18931-18940.
8	ZHOU Y， TUZEL O. VoxelNet： End-to-end learning for point cloud based 3D object detection ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 4490-4499.
9	HE Q， WANG Z， ZENG H， et al. SVGA-Net： Sparse voxel-graph attention network for 3D object detection from point clouds ［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2020， 36（1）： 870-878.
10	KU J， MOZIFIAN M， LEE J， et al. Joint 3D proposal generation and object detection from view aggregation ［C］// Proceedings of the 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway： IEEE， 2018： 1-8.
11	LIN T-Y， DOLLÁR P， GIRSHICK R， et al. Feature pyramid networks for object detection ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 936-944.
12	CHARLES R Q， LIU W， WU C， et al. Frustum PointNets for 3D object detection from RGB-D data ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 918-927.
13	XU D， ANGUELOV D， JAIN A. PointFusion： deep sensor fusion for 3D bounding box estimation ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 244-253.
14	LIU Z， ZHAO X， HUANG T T， et al. TANet： robust 3D object detection from point clouds with triple attention ［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2020， 34（7）： 11677-11684.
15	WANG L， SONG Z， ZHANG X， et al. SAT-GCN： self-attention graph convolutional network-based 3D object detection for autonomous driving ［J］. Knowledge-Based Systems， 2023， 259： 110080.
16	WANG Y， SUN Y， LIU Z， et al. Dynamic graph CNN for learning on point clouds ［J］. ACM Transactions on Graphics， 2018， 38（5）： 146.
17	GEIGER A， LENZ P， STILLER C， et al. Vision meets robotics： the KITTI dataset ［J］. International Journal of Robotics Research， 2013， 32（11）： 1231-1237.
18	WANG Q， WU B， ZHU P， et al. ECA-Net： efficient channel attention for deep convolutional neural networks ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 11531-11539.
19	WOO S， PARK J， LEE J-Y， et al. CBAM： convolutional block attention module ［C］// Proceedings of the 15th European Conference on Computer Vision. Cham： Springer， 2018： 3-19.

[1]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[2]	李力铤, 华蓓, 贺若舟, 徐况. 基于解耦注意力机制的多变量时序预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2732-2738.
[3]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[4]	李烨恒, 罗光圣, 苏前敏. 基于改进YOLOv5的Logo检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2580-2587.
[5]	刘瑞华, 郝子赫, 邹洋杨. 基于多层级精细特征融合的步态识别算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2250-2257.
[6]	姬张建, 杜娜. 基于改进VariFocalNet的微小目标检测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2200-2207.
[7]	徐泽鑫, 杨磊, 李康顺. 较短的长序列时间序列预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1824-1831.
[8]	黄梦源, 常侃, 凌铭阳, 韦新杰, 覃团发. 基于层间引导的低光照图像渐进增强算法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1911-1919.
[9]	韩贵金, 张馨渊, 张文涛, 黄娅. 基于多特征融合的自监督图像配准算法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1597-1604.
[10]	李鸿天, 史鑫昊, 潘卫国, 徐成, 徐冰心, 袁家政. 融合多尺度和注意力机制的小样本目标检测[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1437-1444.
[11]	李鑫, 孟乔, 皇甫俊逸, 孟令辰. 基于分离式标签协同学习的YOLOv5多属性分类[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1619-1628.
[12]	黄荣, 宋俊杰, 周树波, 刘浩. 基于自监督视觉Transformer的图像美学质量评价方法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1269-1276.
[13]	郑宇亮, 陈云华, 白伟杰, 陈平华. 融合事件数据和图像帧的车辆目标检测[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 931-937.
[14]	贾宗泽, 高鹏飞, 马应龙, 刘晓峰, 夏海鑫. 基于注意力机制的多特征融合对话行为层次化分类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 715-721.
[15]	吴宁, 罗杨洋, 许华杰. 基于多尺度特征融合的遥感图像语义分割方法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 737-744.

基于自注意力机制与图卷积的3D目标检测网络

3D object detection network based on self-attention mechanism and graph convolution

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 19

相关文章 15

编辑推荐

Metrics