基于动态特征点滤除与关键帧选择优化的ORB-SLAM2算法

doi:10.11772/j.issn.1001-9081.2023101465

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (10): 3185-3190.DOI: 10.11772/j.issn.1001-9081.2023101465

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于动态特征点滤除与关键帧选择优化的ORB-SLAM2算法

阚绪康¹, 史格非¹^,²(), 杨雪榕¹

^1.中山大学航空航天学院，广东深圳 518017
^2.深圳市智能微小卫星星座技术与应用重点实验室（中山大学），广东深圳 518017

收稿日期:2023-10-27 修回日期:2024-01-26 接受日期:2024-02-04 发布日期:2024-10-15 出版日期:2024-10-10
通讯作者: 史格非
作者简介:阚绪康（1998—），男，安徽滁州人，硕士研究生，主要研究方向：视觉SLAM、语义SLAM
史格非（1988—），男，黑龙江哈尔滨人，副教授，博士，主要研究方向：绳系航天器、航天动力学与控制、空间系留电梯动力学与控制 shigf@mail.sysu.edu.cn
杨雪榕（1981—），男，新疆和田人，副教授，博士，主要研究方向：飞行器分布式协同感知与控制、飞行器协同感知应用。

ORB-SLAM2 algorithm based on dynamic feature point filtering and optimization of keyframe selection

Xukang KAN¹, Gefei SHI¹^,²(), Xuerong YANG¹

^1.School of Aeronautics and Astronautics，Sun Yat?sen University，Shenzhen Guangdong 518107，China
^2.Shenzhen Key Laboratory of Intelligent Microsatellite Constellation （Sun Yat?sen University），Shenzhen Guangdong 518107，China

Received:2023-10-27 Revised:2024-01-26 Accepted:2024-02-04 Online:2024-10-15 Published:2024-10-10
Contact: Gefei SHI
About author:KAN Xukang， born in 1998， M. S. candidate. His research interests include visual SLAM， semantic SLAM.
YANG Xurong， born in 1981， Ph. D.， associate professor. His research interests include distributed cooperative perception and control for aircraft， application of aircraft cooperative perception.
Supported by:
Shenzhen Science and Technology Program(ZDSYS202106230918080)

摘要/Abstract

摘要：

同时定位与建图（SLAM）算法在有运动目标的情况下存在定位精度下降的问题，而引入实例分割等算法虽然可以应对动态场景，但难以保证SLAM算法的实时性，且在运动时相机抖动会导致关键帧选择不准确和跟踪易丢失的问题。针对上述问题，提出一种基于动态特征点滤除与关键帧选择优化的ORB-SLAM2算法，以保证SLAM算法的实时性，并有效减少动态特征点对SLAM算法定位精度的影响，同时应对由相机抖动造成的关键帧选择不准确的问题。所提算法通过在ORB-SLAM2算法的基础上引入YOLOv5算法识别运动目标，在跟踪线程滤除动态目标特征点，从而兼顾算法的实时性与定位精度。同时，在选择关键帧上提出一种基于帧间相对运动量的判别准则，从而提高关键帧选择的准确性。在freiburg3_walking_xyz数据集的上实验结果表明，与ORB-SLAM2算法相比，所提算法的平均耗时减少了38.54%，绝对轨迹误差中的均方根误差（RMSE）精度提高了95.2%。可见，所提算法能有效解决上述问题，提升SLAM算法的定位精度和准确性，进而提升地图的可用性。

关键词: 视觉同时定位与建图, 动态场景, ORB-SLAM2, 关键帧选择, YOLOv5

Abstract:

The Simultaneous Localization And Mapping （SLAM） algorithm suffers from a decrease in localization accuracy when moving targets appear. Introducing instance segmentation and other algorithms can handle dynamic scenes， but it is difficult to ensure the real-time performance of SLAM algorithm. Additionally， camera shake during motion may lead to inaccurate keyframe selection and tracking loss. In response to the issues， an ORB-SLAM2 algorithm based on dynamic feature point filtering and optimization of keyframe selection was proposed to ensure the real-time performance of SLAM algorithm， and reduce the influence of dynamic feature points on the positioning accuracy of SLAM algorithm effectively. And simultaneously， the issue of inaccurate keyframe selection caused by camera shake was addressed. In the proposed algorithm， YOLOv5 algorithm was introduced on the basis of ORB-SLAM2 algorithm to identify moving targets. In the tracking thread， dynamic target feature points were filtered out， thereby achieving a balance between real-time performance and positioning accuracy of the algorithm. At the same time， a discriminative criterion based on inter-frame relative motion quantity was proposed for keyframe selection， thereby enhancing the accuracy of keyframe selection. Experimental results on freiburg3_walking_xyz dataset indicate that compared to ORB-SLAM2 algorithm， the proposed algorithm has a 38.54% reduction in average processing time and a 95.2% improvement in Root Mean Square Error （RMSE） accuracy of absolute trajectory error. It can be seen that the proposed algorithm can address the issues mentioned above effectively， enhance the positioning accuracy and precision of SLAM algorithm， and then improve the usability of the maps.

Key words: Visual Simultaneous Localization And Mapping (VSLAM), dynamic scene, ORB-SLAM2, keyframe selection, YOLOv5 (You Only Look Once version 5)

中图分类号:

TP391.9

阚绪康, 史格非, 杨雪榕. 基于动态特征点滤除与关键帧选择优化的ORB-SLAM2算法[J]. 计算机应用, 2024, 44(10): 3185-3190.

Xukang KAN, Gefei SHI, Xuerong YANG. ORB-SLAM2 algorithm based on dynamic feature point filtering and optimization of keyframe selection[J]. Journal of Computer Applications, 2024, 44(10): 3185-3190.

图/表 13

图1 ORB-SLAM2算法的框架

Fig. 1 ORB-SLAM2 algorithm framework

图2 动态特征点剔除算法的流程

Fig. 2 Flow of dynamic feature point elimination algorithm

图3 关键帧选择算法流程

Fig. 3 Flow of keyframe selection algorithm

表1 各算法在freiburg3_walking_xyz数据集上的耗时 (ms)

Tab. 1 Time consumption of different algorithms on freiburg3_walking_xyz dataset

引入PSPNet算法的

ORB-SLAM2算法

图4 运行freiburg3_walking_xyz的估计轨迹和真实轨迹对比

Fig. 4 Comparison of estimated trajectory and real trajectory when running freiburg3_walking_xyz

图5 运行freiburg3_walking_xyz数据集的ORB-SLAM2算法与本文算法的绝对轨迹位姿图

Fig. 5 Absolute trajectory pose diagrams of ORB-SLAM2 algorithm and proposed algorithm when running freiburg3_walking_xyz dataset

图6 运行freiburg3_walking_halfsphere的ORB-SLAM2算法与本文算法的绝对轨迹位姿图

Fig. 6 Absolute trajectory pose diagrams of ORB-SLAM2 algorithm and proposed algorithm when running freiburg3_walking_halfsphere dataset

图7 运行freiburg3_walking_static数据集的ORB-SLAM2算法与本文算法的绝对轨迹位姿图

Fig. 7 Absolute trajectory pose diagrams of ORB-SLAM2 algorithm and proposed algorithm when running freiburg3_walking_static dataset

表2 绝对轨迹误差对比 (m)

Tab. 2 Absolute trajectory error comparison

数据集序列	ORB-SLAM2算法				本文算法
数据集序列	均方根误差	平均值	中位数	标准差	均方根误差	平均值	中位数	标准差
freiburg3_walking_xyz	0.293 7	0.255 6	0.240 1	0.144 6	0.014 1	0.012 1	0.010 9	0.007 1
freiburg3_walking_halfsphere	0.315 3	0.285 5	0.279 6	0.133 7	0.021 9	0.017 2	0.014 0	0.013 4
freiburg3_walking_static	0.025 0	0.021 3	0.018 8	0.013 2	0.008 6	0.007 6	0.006 9	0.004 0

表3 相对轨迹误差对比 (m)

Tab. 3 Relative trajectory error comparison

数据集序列	ORB-SLAM2算法				本文算法
数据集序列	均方根误差	平均值	中位数	标准差	均方根误差	平均值	中位数	标准差
freiburg3_walking_xyz	0.030 1	0.024 2	0.020 0	0.017 9	0.012 5	0.010 0	0.008 2	0.007 4
freiburg3_walking_halfsphere	0.025 3	0.019 0	0.014 0	0.016 6	0.017 8	0.013 0	0.010 1	0.012 1
freiburg3_walking_static	0.014 1	0.009 5	0.005 8	0.010 4	0.007 8	0.006 3	0.005 3	0.004 5

表4 不同算法在数据集运行freiburg3_walking_halfsphere的绝对轨迹误差对比 (m)

Tab. 4 Comparison of absolute trajectory errors of different algorithms when running freiburg3_walking_halfsphere dataset

引入PSPNet算法的

ORB-SLAM2算法

表5 不同数据集上ORB-SLAM2算法与本文算法的关键帧数

Tab. 5 Number of keyframes between ORB-SLAM2 algorithm and proposed algorithm on different datasets

数据集序列	ORB-SLAM2算法	本文算法
freiburg3_walking_xyz	90	97
freiburg3_walking_halfsphere	151	172
freiburg3_walking_static	51	54

图8 关键帧选择算法在freiburg3_walking_halfsphere数据集上的运行结果

Fig. 8 Running results of keyframe selection algorithm on freiburg3_walking_halfsphere dataset

参考文献 21

1	CHENG J， ZHANG L， CHEN Q， et al. A review of visual SLAM methods for autonomous driving vehicles［J］. Engineering Applications of Artificial Intelligence， 2022， 114： No.104992.
2	ZHENG S， WANG J， RIZOS C， et al. Simultaneous Localization And Mapping （SLAM） for autonomous driving： concept and analysis［J］. Remote Sensing， 2023， 15（4）： No.1156.
3	SHARAFUTDINOV D， GRIGULETSKII M， KOPANEV P， et al. Comparison of modern open-source visual SLAM approaches［J］. Journal of Intelligent and Robotic Systems， 2023， 107： No.43.
4	郑太雄，江明哲，冯明驰. 基于视觉的采摘机器人目标识别与定位方法研究综述［J］. 仪器仪表学报， 2021， 42（9）： 28-51.
	ZHENG T X， JIANG M Z， FENG M C. Vision based target recognition and location for picking robot： a review［J］. Chinese Journal of Scientific Instrument， 2021， 42（9）： 28-51.
5	ZHANG H， YE F， LAI Y， et al. IQ-VIO： adaptive visual inertial odometry via interference quantization under dynamic environments［J］. Intelligent Service Robotics， 2023， 16（5）： 565-581.
6	ZHAO X， ZUO T， HU X. OFM-SLAM： a visual semantic SLAM for dynamic indoor environments［J］. Mathematical Problems in Engineering， 2021， 2021： No.5538840.
7	GONZALEZ M， MARCHAND E， KACETE A， et al. TwistSLAM： constrained SLAM in dynamic environment［J］. IEEE Robotics and Automation Letters， 2022， 7（3）： 6846-6853.
8	ZHANG L， WISTH D， CAMURRI M， et al. Balancing the budget： feature selection and tracking for multi-camera visual-inertial odometry［J］. IEEE Robotics and Automation Letters， 2022， 7（2）： 1182-1189.
9	ZHANG X， WANG X， ZHANG R. Dynamic semantics SLAM based on improved Mask R-CNN［J］. IEEE Access， 2022， 10： 126525-126535.
10	FAN Y， ZHANG Q， TANG Y， et al. Blitz-SLAM： a semantic SLAM in dynamic environments［J］. Pattern Recognition， 2022， 121： No.108225.
11	YOU Y， WEI P， CAI J， et al. MISD-SLAM： multimodal semantic SLAM for dynamic environments［J］. Wireless Communications and Mobile Computing， 2022， 2022： No.7600669.
12	CAMPOS C， ELVIRA R， RODRÍGUEZ J J G， et al. ORB-SLAM3： an accurate open-source library for visual， visual-inertial， and multimap SLAM［J］. IEEE Transactions on Robotics， 2021， 37（6）： 1874-1890.
13	LIU J， LI X， LIU Y， et al. RGB-D inertial odometry for a resource-restricted robot in dynamic environments［J］. IEEE Robotics and Automation Letters， 2022， 7（4）： 9573-9580.
14	WEI S， LI Z. An RGB-D SLAM algorithm based on adaptive semantic segmentation in dynamic environment［J］. Journal of Real-Time Image Processing， 2023， 20： No.85.
15	YIN H， LI S， TAO Y， et al. Dynam-SLAM： an accurate， robust stereo visual-inertial SLAM method in dynamic environments［J］. IEEE Transactions on Robotics， 2023， 39（1）： 289-308.
16	YUAN C， XU Y， ZHOU Q. PLDS-SLAM： point and line features SLAM in dynamic environment［J］. Remote Sensing， 2023， 15（7）： No.1893.
17	伍晓东，张松柏，汤适荣，等. 基于改进关键帧选择的 ORB-SLAM3算法［J］. 计算机应用研究， 2023， 40（5）： 1428-1433.
	WU X D， ZHANG S B， TANG S R， et al. Improved key-frame selection algorithm based on ORB-SLAM3［J］. Application Research of Computers， 2023， 40（5）： 1428-1433.
18	陈孟元，丁陵梅，张玉坤. 基于改进关键帧选取策略的快速PL-SLAM算法［J］. 电子学报， 2022， 50（3）： 608-618.
	CHEN M Y， DING L M， ZHANG Y K. Fast PL-SLAM algorithm based on improved keyframe extraction strategy［J］. Acta Electronica Sinica， 2022， 50（3）：608-618.
19	MUR-ARTAL R， TARDÓS J D. ORB-SLAM2： an open-source SLAM system for monocular， stereo， and RGB-D cameras［J］. IEEE Transactions on Robotics， 2017， 33（5）： 1255-1262.
20	STURM J， ENGELHARD N， ENDRES F， et al. A benchmark for the evaluation of RGB-D SLAM systems［C］// Proceedings of the 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway： IEEE， 2012： 573-580.
21	游通飞，孔令华，刘文玉，等. 视觉SLAM在动态场景下的图像处理方法［J］. 红外技术， 2021， 43（10）： 960-967.
	YOU T F， KONG L H， LIU W Y， et al. Image processing method for visual simultaneous localization and mapping in dynamic scene［J］. Infrared Technology， 2021， 43（10）： 960-967.

[1]	李烨恒, 罗光圣, 苏前敏. 基于改进YOLOv5的Logo检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2580-2587.
[2]	宋霄罡, 张冬冬, 张鹏飞, 梁莉, 黑新宏. 面向复杂施工环境的实时目标检测算法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1605-1612.
[3]	李鑫, 孟乔, 皇甫俊逸, 孟令辰. 基于分离式标签协同学习的YOLOv5多属性分类[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1619-1628.
[4]	黄子杰, 欧阳, 江德港, 郭彩玲, 李柏林. 面向牵引座焊缝表面质量检测的轻量型深度学习算法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 983-988.
[5]	张成涵宇, 林钰哲, 谭程珂, 王俊帆, 顾烨婷, 董哲康, 高明煜. 基于轻量化YOLOv5的新型菜品识别网络[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 638-644.
[6]	王朱佳, 余宙, 俞俊, 范建平. 基于多尺度时空Transformer的视频动态场景图生成模型[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 47-57.
[7]	段升位, 程欣宇, 王浩舟, 王飞. 基于改进的YOLOv5的大坝表面病害检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2619-2629.
[8]	吕宗喆, 徐慧, 杨骁, 王勇, 王唯鉴. 面向小目标的YOLOv5安全帽检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1943-1949.
[9]	朱周华, 齐琦. 基于改进YOLOv5s电动车头盔的自动检测与识别[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1291-1296.
[10]	李佳东, 张丹普, 范亚琼, 杨剑锋. 基于改进YOLOv5的轻量级船舶目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 923-929.
[11]	顾勇翔, 蓝鑫, 伏博毅, 秦小林. 基于几何适应与全局感知的遥感图像目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 916-922.
[12]	李文举, 张干, 崔柳, 储王慧. 基于坐标注意力的轻量级交通标志识别模型[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 608-614.
[13]	孙泽强, 陈炳才, 崔晓博, 王磊, 陆雅诺. 融合频域注意力机制和解耦头的YOLOv5带钢表面缺陷检测[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 242-249.
[14]	尹靖涵, 瞿绍军, 姚泽楷, 胡玄烨, 秦晓雨, 华璞靖. 基于YOLOv5的雾霾天气下交通标志识别模型[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2876-2884.
[15]	张锦, 屈佩琪, 孙程, 罗蒙. 基于改进YOLOv5的安全帽佩戴检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1292-1300.

基于动态特征点滤除与关键帧选择优化的ORB-SLAM2算法

ORB-SLAM2 algorithm based on dynamic feature point filtering and optimization of keyframe selection

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 21

相关文章 15

编辑推荐

Metrics