混合视觉系统的运动物体检测和静态地图重建

doi:10.11772/j.issn.1001-9081.2021010021

《计算机应用》唯一官方网站 ›› 2021, Vol. 41 ›› Issue (11): 3332-3336.DOI: 10.11772/j.issn.1001-9081.2021010021

• 多媒体计算与计算机仿真 • 上一篇下一篇

混合视觉系统的运动物体检测和静态地图重建

胡誉生(), 何炳蔚, 邓清康

福州大学机械工程及自动化学院，福州 350108

收稿日期:2021-01-06 修回日期:2021-04-06 接受日期:2021-04-12 发布日期:2021-04-26 出版日期:2021-11-10
通讯作者: 胡誉生
作者简介:胡誉生（1996—），男，福建莆田人，硕士研究生，主要研究方向：机器人视觉、三维重建
何炳蔚（1973—），男，山东郓城人，教授，博士，主要研究方向：机器人视觉、视觉测量
邓清康（1996—），男，福建南平人，硕士研究生，主要研究方向：机器人视觉、三维重建。
基金资助:
国家自然科学基金资助项目(61473090)

Moving object detection and static map reconstruction with hybrid vision system

Yusheng HU(), Bingwei HE, Qingkang DENG

College of Mechanical Engineering and Automation，Fuzhou University，Fuzhou Fujian 350108，China

Received:2021-01-06 Revised:2021-04-06 Accepted:2021-04-12 Online:2021-04-26 Published:2021-11-10
Contact: Yusheng HU
About author:HU Yusheng， born in 1996， M. S. candidate. His research interests include robot vision，3D reconstruction
HE Bingwei， born in 1973， Ph. D.， professor. His research interests include robot vision，vision measurement
DENG Qingkang，born in 1996，M. S. candidate.
Supported by:
the National Natural Science Foundation of China(61473090)

摘要/Abstract

摘要：

复杂动态背景环境下的运动物体检测和静态地图重建中容易出现运动物体检测不完整的问题。针对上述问题，提出了一种混合视觉系统下点云分割辅助的运动物体检测方法。首先，提出了直通滤波+随机采样一致性（PassThrough+RANSAC）方法来克服大面积墙壁干扰以实现点云地面点的识别；其次，将非地面点数据作为特征点投射到图像上，并估计其光流运动向量和人工运动向量，从而对动态点进行检测；然后，采用动态阈值策略对点云进行欧氏聚类；最后，整合动态点检测结果与点云分割结果来完整地提取出运动物体。此外，通过八叉树地图（Octomap）工具将点云地图转换为三维栅格地图以完成地图的构建。通过实验结果和数据分析可知，所提方法可以有效提高运动物体检测的完整性，同时重建出低损耗、高实用性的静态栅格地图。

关键词: 动态背景, 运动物体检测, 静态地图, 欧氏聚类, 随机采样一致性

Abstract:

Moving object detection and static map reconstruction in the environment with complex dynamic background are prone to incomplete moving object detection. In order to solve the problem， a new moving object detection method with hybrid vision system assisted by point cloud segmentation was proposed. Firstly， the PassThrough+RANdom SAmple Consensus （RANSAC） method was proposed to overcome large-area wall interference， so as to realize the point cloud ground point recognition. Secondly， the non-ground point data were projected to the image as feature points， and their optical flow motion vectors and artificial motion vectors were estimated to detect the dynamic points. Then， the dynamic threshold strategy was used to perform Euclidean clustering to the point cloud. Finally， the results of dynamic point detection and point cloud segmentation were integrated to completely extract the moving objects. In addition， the Octomap tool was used to convert the point cloud map into a 3D grid map in order to complete the map construction. Through the experimental results and data analysis， it can be seen that the proposed method can effectively improve the integrity of moving object detection， and reconstruct a low-loss， highly-practical static grid map.

Key words: dynamic background, moving object detection, static map, Euclidean clustering, RANdom SAmple Consensus (RANSAC)

中图分类号:

TP391.4

胡誉生, 何炳蔚, 邓清康. 混合视觉系统的运动物体检测和静态地图重建[J]. 计算机应用, 2021, 41(11): 3332-3336.

Yusheng HU, Bingwei HE, Qingkang DENG. Moving object detection and static map reconstruction with hybrid vision system[J]. Journal of Computer Applications, 2021, 41(11): 3332-3336.

图/表 10

图1 本文方法主要框架流程

Fig. 1 Flowchart of main framework of proposed method

图2 基于RANSAC地面识别错误例子

Fig. 2 Example of ground recognition error based on RANSAC

图3 基于PassThrough+RANSAC地面识别例子

Fig. 3 Example of ground recognition based on PassThrough+RANSAC

图4 特征点光流运动向量和人工运动向量例子

Fig. 4 Example of optical flow motion vectors and artificial motion vectors of feature points

图5 不同区域对应不同距离阈值示意图

Fig. 5 Schematic diagram of different distance thresholds corresponding to different areas

图6 动态点归簇示意图

Fig. 6 Schematic diagram of finding clusters of dynamic points

图7 实验平台和实验环境示意图

Fig. 7 Schematic diagram of experimental platform and experimental environment

图8 运动物体提取结果

Fig. 8 Result of moving object extraction

图9 基于Octomap的三维重建结果

Fig. 9 3D reconstruction result based on Octomap

表1 地图的点数和存储大小

Tab. 1 Number of points and storage of maps

数据	点数	存储空间/MB
点云地图	5 479 776	256.5
Octomap地图	442 457	13.4

参考文献 15

1	FAHIMI F. Autonomous Robots： Modeling， Path Planning， and Control ［M］. Boston： Springer， 2009： 5-7. 10.1007/978-0-387-09538-7_5
2	WANG C C， THORPE C， THRUN S， et al. Simultaneous localization， mapping and moving object tracking ［J］. The International Journal of Robotics Research， 2007， 26（9）： 889-916. 10.1177/0278364907081229
3	DE GREGORIO D， DI STEFANO L. SkiMap： an efficient mapping framework for robot navigation ［C］// Proceedings of the 2017 IEEE International Conference on Robotics and Automation. Piscataway： IEEE， 2017： 2569-2576. 10.1109/icra.2017.7989299
4	ENDRES F， HESS J， STURM J， et al. 3-D mapping with an RGB-D camera ［J］. IEEE Transactions on Robotics， 2014， 30（1）： 177-187. 10.1109/tro.2013.2279412
5	SHAN T X， ENGLOT B. LeGO-LOAM： lightweight and ground-optimized lidar odometry and mapping on variable terrain ［C］// Proceedings of the 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway： IEEE， 2018： 4758-4765. 10.1109/iros.2018.8594299
6	侯宏录，李媛，李光耀.改进SIFT匹配的动态背景下运动目标检测算法［J］.自动化仪表，2019，40（8）：60-64.
	HOU H L， LI Y， LI G Y. Moving target detection algorithm under dynamic background with improved SIFT matching ［J］. Process Automation Instrumentation， 2019， 40（8）： 60-64.
7	于红绯，刘威，袁淮，等.基于子块运动补偿的运动目标检测［J］.电子学报，2017，45（1）：173-180. 10.3969/j.issn.0372-2112.2017.01.024
	YU H F， LIU W， YUAN H， et al. Moving object detection based on sub-block motion compensation ［J］. Acta Electronica Sinica， 2017， 45（1）： 173-180. 10.3969/j.issn.0372-2112.2017.01.024
8	BESL P J， McKAY N D. A method for registration of 3-D shapes ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1992， 14（2）： 239-256. 10.1109/34.121791
9	MYRONENKO A， SONG X B. Point set registration： coherent point drift ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2010， 32（12）： 2262-2275. 10.1109/tpami.2010.46
10	ZOU C， HE B W， ZHANG L W， et al. Dynamic objects detection and tracking for a laser scanner and camera system ［C］// Proceedings of the 2017 IEEE International Conference on Robotics and Biomimetics. Piscataway： IEEE， 2017： 350-354. 10.1109/robio.2017.8324442
11	HORNUNG A， WURM K M， BENNEWITZ M， et al. OctoMap： an efficient probabilistic 3D mapping framework based on octrees ［J］. Autonomous Robots， 2013， 34（3）： 189-206. 10.1007/s10514-012-9321-0
12	WANG W M， SAKURADA K， KAWAGUCHI N. Reflectance intensity assisted automatic and accurate extrinsic calibration of 3D LiDAR and panoramic camera using a printed chessboard ［J］. Remote Sensing， 2017， 9（8）： Article No.851. 10.3390/rs9080851
13	魏英姿，刘晓莉.基于随机抽取一致性的稳健点云平面拟合［J］.北京工业大学学报，2014，40（3）：400-403. 10.11936/bjutxb2014030400
	WEI Y Z， LIU X L. Robust plane fitting of point clouds based on RANSAC ［J］. Journal of Beijing University of Technology， 2014， 40（3）： 400-403. 10.11936/bjutxb2014030400
14	LIU C， YUEN J， TORRALBA A， et al. SIFT flow： dense correspondence across different scenes ［C］// Proceedings of the 2008 European Conference on Computer Vision， LNCS5304. Berlin： Springer， 2008： 28-42.
15	陈向阳，杨洋，向云飞.欧氏聚类算法支持下的点云数据分割［J］.测绘通报，2017（11）：27-31.
	CHEN X Y， YANG Y， XIANG Y F. Measurement of point cloud data segmentation based on Euclidean clustering algorithm ［J］. Bulletin of Surveying and Mapping， 2017（11）： 27-31.

[1]	赵伟, 田铮, 杨丽娟, 延伟东, 温金环. 基于典型相关分析方法的尺度不变特征变换误匹配剔除[J]. 计算机应用, 2015, 35(11): 3308-3311.
[2]	延伟东田铮温金环潘璐璐. 基于偏最小二乘的SIFT误匹配校正方法[J]. 计算机应用, 2012, 32(05): 1255-1257.
[3]	方贤勇贺彪罗斌. 一种基于HSV颜色空间的新码书模型[J]. 计算机应用, 2011, 31(09): 2497-2501.
[4]	周波杨剑王东平. 基于随机采样一致性算法的平面匹配方法[J]. 计算机应用, 2011, 31(04): 1053-1056.
[5]	李立春邱志强王鲲鹏于起峰 . 基于匹配测度加权求解基础矩阵的三维重建算法[J]. 计算机应用, 2007, 27(10): 2530-2533.

混合视觉系统的运动物体检测和静态地图重建

Moving object detection and static map reconstruction with hybrid vision system

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 15

相关文章 5

编辑推荐

Metrics