基于深度学习的RGB图像目标位姿估计综述

doi:10.11772/j.issn.1001-9081.2022071022

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (8): 2546-2555.DOI: 10.11772/j.issn.1001-9081.2022071022

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于深度学习的RGB图像目标位姿估计综述

王一¹^,², 谢杰¹(), 程佳¹, 豆立伟²^,³

^1.华北理工大学电气工程学院, 河北唐山 063210
^2.唐山市金属构件产线智能化技术创新中心, 河北唐山 063210
^3.唐山贺祥智能科技股份有限公司, 河北唐山 063000

收稿日期:2022-07-13 修回日期:2022-11-04 接受日期:2022-11-07 发布日期:2023-01-15 出版日期:2023-08-10
通讯作者: 谢杰
作者简介:王一（1981—），男，河北唐山人，副教授，博士，主要研究方向：机器视觉感知、图像处理、精密测量
程佳（1982—），女，河北唐山人，实验师，硕士，主要研究方向：仪器仪表检测技术、自动化装置
豆立伟（1983—），男，河北唐山人，助理工程师，主要研究方向：机械设计制造及其自动化。
基金资助:
河北省高等学校科学研究项目(ZD2022114);唐山市科技计划项目(21130212C)

Review of object pose estimation in RGB images based on deep learning

Yi WANG¹^,², Jie XIE¹(), Jia CHENG¹, Liwei DOU²^,³

^1.College of Electrical Engineering，North China University of Science and Technology，Tangshan Hebei 063210，China
^2.Tangshan Technology Innovation Center of Intellectualization of Metal Component Production Line，Tangshan Hebei 063210，China
^3.Tangshan Hexiang Intelligent Technology Company Limited，Tangshan Hebei 063000，China

Received:2022-07-13 Revised:2022-11-04 Accepted:2022-11-07 Online:2023-01-15 Published:2023-08-10
Contact: Jie XIE
About author:WANG Yi， born in 1981， Ph. D.， associate professor. His research interests include machine vision perception， image processing， precision measurement.
CHENG Jia， born in 1982， M. S.， experimentalist. Her research interests include instrumentation and instrument detection technology， automation device.
DOU Liwei， born in 1983， assistant engineer. His research interests include mechanical design， manufacturing and automation.
Supported by:
Scientific Research Project of Higher Education Institutions of Hebei Province(ZD2022114);Tangshan Science and Technology Program(21130212C)

摘要/Abstract

摘要：

6自由度（DoF）位姿估计是计算机视觉与机器人技术中的一项关键技术，它能从给定的输入图像中估计物体的6DoF位姿，即3DoF平移和3DoF旋转，已经成为机器人操作、自动驾驶、增强现实等领域中的一项至关重要的任务。首先，介绍了6DoF位姿的概念以及基于特征点对应、基于模板匹配、基于三维特征描述符等传统方法存在的问题；然后，以基于特征对应、基于像素投票、基于回归和面向多物体实例、面向合成数据、面向类别级的不同角度详细介绍了当前主流的基于深度学习的6DoF位姿估计算法，归纳整理了在位姿估计方面常用的数据集以及评价指标，并对部分算法进行了实验性能评价；最后，给出了当前位姿估计面临的挑战和未来的重点研究方向。

关键词: 6自由度位姿估计, 位姿估计数据集, 位姿估计评价方法, 深度学习, 计算机视觉, 工业机器人

Abstract:

6 Degree of Freedom （DoF） pose estimation is a key technology in computer vision and robotics， and has become a crucial task in the fields such as robot operation， automatic driving， augmented reality by estimating 6 DoF pose of an object from a given input image， that is， 3 DoF translation and 3 DoF rotation. Firstly， the concept of 6 DoF pose and the problems of traditional methods based on feature point correspondence， template matching， and three-dimensional feature descriptors were introduced. Then， the current mainstream 6 DoF pose estimation algorithms based on deep learning were introduced in detail from different angles of feature correspondence-based， pixel voting-based， regression-based and multi-object instances-oriented， synthesis data-oriented， and category level-oriented. At the same time， the datasets and evaluation indicators commonly used in pose estimation were summarized and sorted out， and some algorithms were evaluated experimentally to show their performance. Finally， the challenges and the key research directions in the future of pose estimation were given.

Key words: 6-degree of freedom pose estimation, pose estimation dataset, pose estimation evaluation method, deep learning, computer vision, industrial robot

中图分类号:

TP242.2

王一, 谢杰, 程佳, 豆立伟. 基于深度学习的RGB图像目标位姿估计综述[J]. 计算机应用, 2023, 43(8): 2546-2555.

Yi WANG, Jie XIE, Jia CHENG, Liwei DOU. Review of object pose estimation in RGB images based on deep learning[J]. Journal of Computer Applications, 2023, 43(8): 2546-2555.

图/表 3

表1 5种位姿估计数据集

Tab. 1 Five pose estimation datasets

数据集	年份	类数	训练集图像		测试集	适用场景
数据集	年份	类数	真实	合成	真实	适用场景
LM	2012	15	—	50 000	18 273	杂乱
LM-O	2014	8	—	50 000	1 214	杂乱遮挡
T-LESS	2017	30	37 584	50 000	10 080	无纹理对称
YCB-V	2018	21	113 198	50 000	20 738	对称
TUD-L	2018	3	38 288	50 000	23 914	光照变化

图1 各方法在LM、LM-O、YCB-Video数据集上的ADD得分

Fig. 1 ADD scores of each method on LM，LM-O，YCB-Video datasets

表2 BOP中基于RGB图像的训练方法对比

Tab. 2 Comparison of training methods based RGB images in BOP

数据集	方法估计	$A R e$	$A R e V S D$	$A R e M S S D$	细化方式	范围	时间/s	测试图像
LM	DPOD	41.15	37.3	45.0	—	局部	0.024	RGB
LM-O	DPOD	11.35	10.1	12.6	—	局部	0.172	RGB
	PVNet	59.25	50.2	68.3	ICP	局部	—	RGB-D
	PVNet	48.55	42.8	54.3	—	局部	—	RGB
	SSD-6D	6.50	4.7	8.3	—	全局	—	RGB
	CDPN	46.50	39.3	53.7	—	局部	0.279	RGB
	CDPNv2	57.90	46.9	68.9	ICP	局部	0.506	RGB-D
	Pix2Pose	55.20	47.3	63.1	—	局部	5.195	RGB-D
	Pix2Pose	27.00	23.3	30.7	—	局部	1.310	RGB
	Pix2Pose-PBR	18.30	15.6	21.0	—	局部	1.157	RGB
	CosyPose-PBR	65.75	56.7	74.8	ICP	全局	8.289	RGB-D
	CosyPose-PBR	54.30	48.0	60.6	—	全局	0.550	RGB
T-LESS	DPOD	5.15	4.8	5.5	—	局部	0.206	RGB
	CDPN	39.75	37.7	41.8	—	局部	0.708	RGB
	CDPNv2	40.85	36.8	44.9	ICP	局部	2.486	RGB-D
	Pix2Pose	27.85	26.1	29.6	—	局部	1.084	RGB
	Pix2Pose	49.30	43.8	54.8	ICP	局部	4.180	RGB-D
YCB-V	DPOD	20.60	19.6	21.6	—	局部	0.341	RGB
	CDPN	40.35	32.9	47.8	—	局部	0.208	RGB
	CDPNv2-PBR	55.70	51.1	60.3	ICP	局部	1.034	RGB-D
	CDPNv2	64.55	59.0	70.1	ICP	局部	0.637	RGB-D
	Pix2Pose	40.05	37.2	42.9	—	局部	1.025	RGB
	Pix2Pose	79.15	76.6	81.7	ICP	局部	2.590	RGB-D
	CosyPose	80.70	77.2	84.2	—	全局	0.241	RGB
	CosyPose-PBR	53.50	51.6	55.4	—	全局	0.342	RGB
TUD-L	DPOD	19.25	16.2	22.3	—	局部	0.046	RGB
	CDPN	69.95	60.5	79.4	—	局部	0.089	RGB
	CDPNv2	89.70	83.2	96.2	ICP	局部	0.313	RGB-D
	CDPNv2-PBR	77.25	69.8	84.7	ICP	局部	0.280	RGB-D
	Pix2Pose	30.95	25.5	36.4	—	局部	0.419	RGB
	Pix2Pose	79.90	73.7	86.1	ICP	局部	1.336	RGB-D
	CosyPose	74.80	68.9	80.7	—	全局	0.238	RGB
	CosyPose	92.05	86.9	97.2	ICP	全局	0.812	RGB-D

表2 BOP中基于RGB图像的训练方法对比

Tab. 2 Comparison of training methods based RGB images in BOP

数据集	方法估计	$A R e$	$A R e V S D$	$A R e M S S D$	细化方式	范围	时间/s	测试图像
LM	DPOD	41.15	37.3	45.0	—	局部	0.024	RGB
LM-O	DPOD	11.35	10.1	12.6	—	局部	0.172	RGB
	PVNet	59.25	50.2	68.3	ICP	局部	—	RGB-D
	PVNet	48.55	42.8	54.3	—	局部	—	RGB
	SSD-6D	6.50	4.7	8.3	—	全局	—	RGB
	CDPN	46.50	39.3	53.7	—	局部	0.279	RGB
	CDPNv2	57.90	46.9	68.9	ICP	局部	0.506	RGB-D
	Pix2Pose	55.20	47.3	63.1	—	局部	5.195	RGB-D
	Pix2Pose	27.00	23.3	30.7	—	局部	1.310	RGB
	Pix2Pose-PBR	18.30	15.6	21.0	—	局部	1.157	RGB
	CosyPose-PBR	65.75	56.7	74.8	ICP	全局	8.289	RGB-D
	CosyPose-PBR	54.30	48.0	60.6	—	全局	0.550	RGB
T-LESS	DPOD	5.15	4.8	5.5	—	局部	0.206	RGB
	CDPN	39.75	37.7	41.8	—	局部	0.708	RGB
	CDPNv2	40.85	36.8	44.9	ICP	局部	2.486	RGB-D
	Pix2Pose	27.85	26.1	29.6	—	局部	1.084	RGB
	Pix2Pose	49.30	43.8	54.8	ICP	局部	4.180	RGB-D
YCB-V	DPOD	20.60	19.6	21.6	—	局部	0.341	RGB
	CDPN	40.35	32.9	47.8	—	局部	0.208	RGB
	CDPNv2-PBR	55.70	51.1	60.3	ICP	局部	1.034	RGB-D
	CDPNv2	64.55	59.0	70.1	ICP	局部	0.637	RGB-D
	Pix2Pose	40.05	37.2	42.9	—	局部	1.025	RGB
	Pix2Pose	79.15	76.6	81.7	ICP	局部	2.590	RGB-D
	CosyPose	80.70	77.2	84.2	—	全局	0.241	RGB
	CosyPose-PBR	53.50	51.6	55.4	—	全局	0.342	RGB
TUD-L	DPOD	19.25	16.2	22.3	—	局部	0.046	RGB
	CDPN	69.95	60.5	79.4	—	局部	0.089	RGB
	CDPNv2	89.70	83.2	96.2	ICP	局部	0.313	RGB-D
	CDPNv2-PBR	77.25	69.8	84.7	ICP	局部	0.280	RGB-D
	Pix2Pose	30.95	25.5	36.4	—	局部	0.419	RGB
	Pix2Pose	79.90	73.7	86.1	ICP	局部	1.336	RGB-D
	CosyPose	74.80	68.9	80.7	—	全局	0.238	RGB
	CosyPose	92.05	86.9	97.2	ICP	全局	0.812	RGB-D

参考文献 69

1	张跃强. 基于直线特征的空间非合作目标位姿视觉测量方法研究［D］.长沙：国防科学技术大学， 2016：1-5.
	ZHANG Y Q. Research on vision based pose measurement methods for space uncooperative objects using line features［D］. Changsha： National University of Defense Technology， 2016： 1-5.
2	王朱君，王石，李雪晴，等. 基于深度学习的事件因果关系抽取综述［J］. 计算机应用， 2021， 41（5）：1247-1255. 10.11772/j.issn.1001-9081.2020071080
	WANG Z J， WANG S， LI X Q， et al. Review of event causality extraction based on deep learning［J］. Journal of Computer Applications， 2021， 41（5）： 1247-1255. 10.11772/j.issn.1001-9081.2020071080
3	郝颖明，朱枫，欧锦军. 目标位姿测量中的三维视觉方法［J］. 中国图象图形学报， 2002， 7（12）：26-30. 10.3969/j.issn.1006-8961.2002.12.003
	HAO Y M， ZHU F， OU J J. 3D visual methods for object pose measurement［J］. Journal of Image and Graphics， 2002， 7（12）： 26-30. 10.3969/j.issn.1006-8961.2002.12.003
4	LOWE D G. Object recognition from local scale-invariant features［C］// Proceedings of the 7th IEEE International Conference on Computer Vision. Piscataway： IEEE， 1999，2：1150-1157. 10.1109/iccv.1999.790410
5	BAY H， ESS A， TUYTELAARS T， et al. Speeded-Up Robust Features （SURF）［J］. Computer Vision and Image Understanding， 2008， 110（3）： 346-59. 10.1016/j.cviu.2007.09.014
6	RUBLEE E， RABAUD V， KONOLIGE K， et al. ORB： an efficient alternative to SIFT or SURF［C］// Proceedings of the 2011 International Conference on Computer Vision. Piscataway： IEEE， 2011：2564-2571. 10.1109/iccv.2011.6126544
7	FIORE P D. Efficient linear solution of exterior orientation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2001， 23（2）： 140-148. 10.1109/34.908965
8	LU C P， HAGER G D， MJOLSNESS E. Fast and globally convergent pose estimation from video images［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2000， 22（6）： 610-622. 10.1109/34.862199
9	LEPETIT V， MORENO-NOGUER F， FUA P. EPnP： an accurate O（n） solution to the PnP problem［J］. International Journal of Computer Vision， 2009， 81（2）： 155-166. 10.1007/s11263-008-0152-6
10	ABDEL-AZIZ Y I， KARARA H M， HAUCK M. Direct linear transformation from comparator coordinates into object space coordinates in close-range photogrammetry［J］. Photogrammetric Engineering and Remote Sensing， 2015， 81（2）： 103-107. 10.14358/pers.81.2.103
11	HINTERSTOISSER S， HOLZER S， CAGNIART C， et al. Multimodal templates for real-time detection of texture-less objects in heavily cluttered scenes［C］// Proceedings of the 2011 International Conference on Computer Vision. Piscataway： IEEE， 2011：858-865. 10.1109/iccv.2011.6126326
12	RUSU R B， BLODOW N， BEETZ M. Fast Point Feature Histograms （FPFH） for 3D registration［C］// Proceedings of the 2009 IEEE International Conference on Robotics and Automation. Piscataway： IEEE， 2009： 3212-3217. 10.1109/robot.2009.5152473
13	DROST B， ULRICH M， NAVAB N， et al. Model globally， match locally： efficient and robust 3D object recognition［C］// Proceedings of the 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2010：998-1005. 10.1109/cvpr.2010.5540108
14	SAHIN C， KOUSKOURIDAS R， KIM T K. Iterative Hough forest with histogram of control points for 6 DoF object registration from depth images［C］// Proceedings of the 2016 IEEE/RSJ International Conference on Intelligent Robots and Systems. Piscataway： IEEE， 2016：4113-4118. 10.1109/iros.2016.7759605
15	BRACHMANN E， KRULL A， MICHEL F， et al. Learning 6D object pose estimation using 3D object coordinates［C］// Proceedings of the 2014 European Conference on Computer Vision， LNCS 8690. Cham： Springer， 2014：536-551.
16	RAD M， LEPETIT V. BB8： a scalable， accurate， robust to partial occlusion method for predicting the 3D poses of challenging objects without using depth［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017：3848-3856. 10.1109/iccv.2017.413
17	TEKIN B， SINHA S N， FUA P. Real-time seamless single shot 6D object pose prediction［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018：292-301. 10.1109/cvpr.2018.00038
18	SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］. （2015-04-10）［2022-06-22］..
19	吴继春，方海国，阳广兴，等. 基于最小尺寸点模型的6D位姿估计与机械臂抓取［J］. 计算机集成制造系统， 2022， 28（8）：2472-2480. 10.13196/j.cims.2022.08.018
	WU J C， FANG H G， YANG G X， et al. 6D Pose estimation and robotic arm grabbing based on minimum size points model［J］. Computer Integrated Manufacturing Systems， 2022， 28（8）： 2472-2480. 10.13196/j.cims.2022.08.018
20	ZAKHAROV S， SHUGUROV I， ILIC S. DPOD： 6D pose object detector and refiner［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019：1941-1950. 10.1109/iccv.2019.00203
21	HOSSEINI J O， MUSTIKOVELA S K， PERTSCH K， et al. iPose： instance-aware 6D pose estimation of partly occluded objects［C］// Proceedings of the 2018 Asian Conference on Computer Vision. Cham： Springer， 2019：477-492. 10.1007/978-3-030-20893-6_30
22	CHEN B， PARRA Á， CAO J W， et al. End-to-end learnable geometric vision by backpropagating PnP optimization［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020：8097-8106. 10.1109/cvpr42600.2020.00812
23	CHEN H S， WANG P C， WANG F， et al. EPro-PnP： generalized end-to-end probabilistic perspective-n-points for monocular object pose estimation［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022：2771-2780. 10.1109/cvpr52688.2022.00280
24	PENG S D， ZHOU X W， LIU Y， et al. PVNet： pixel-wise voting network for 6DoF object pose estimation［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2022， 44（6）： 3212-3223. 10.1109/tpami.2020.3047388
25	YU X， ZHUANG Z Y， KONIUSZ P， et al. 6DoF object pose estimation via differentiable proxy voting loss［EB/OL］. （2020-05-04）［2022-06-25］..
26	PARK K， PATTEN T， VINCZE M. Pix2Pose： pixel-wise coordinate regression of objects for 6D pose estimation［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019：7667-7676. 10.1109/iccv.2019.00776
27	倪涛，张泮虹，李文航，等. 基于关键点预测的装配机器人工件视觉定位技术［J］. 农业机械学报， 2022， 53（6）：443-450. 10.6041/j.issn.1000-1298.2022.06.047
	NI T， ZHANG P H， LI W H， et al. Visual positioning technology of assembly robot workpiece based on prediction of key points［J］. Transactions of the Chinese Society for Agricultural Machinery， 2022， 53（6）： 443-450. 10.6041/j.issn.1000-1298.2022.06.047
28	KEHL W， MANHARDT F， TOMBARI F， et al. SSD-6D： making RGB-based 3D detection and 6D pose estimation great again［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017：1530-1538. 10.1109/iccv.2017.169
29	LIU W， ANGUELOV D， ERHAN D， et al. SSD： single shot multiBox detector［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9905. Cham： Springer， 2016：21-37.
30	SZEGEDY C， IOFFE S， VANHOUCKE V， et al. Inception-v4， Inception-ResNet and the impact of residual connections on learning［C］// Proceedings of the 31st AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2017： 4278-4284. 10.1609/aaai.v31i1.11231
31	XIANG Y， SCHMIDT T， NARAYANAN V， et al. PoseCNN： a convolutional neural network for 6D object pose estimation in cluttered scenes［C/OL］// Proceedings of the 2018 Robotics Science and Systems Conference. ［2022-06-03］.. 10.15607/rss.2018.xiv.019
32	LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015：3431-3440. 10.1109/cvpr.2015.7298965
33	DO T T， CAI M， PHAM T， et al. Deep-6DPose： recovering 6D object pose from a single RGB image［EB/OL］. （2018-02-28）［2022-06-02］..
34	HE K M， GKIOXARI G， DOLLÁR P， et al. Mask R-CNN［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017：2980-2988. 10.1109/iccv.2017.322
35	LI Z G， WANG G， JI X Y. CDPN： coordinates-based disentangled pose network for real-time RGB-based 6-DoF object pose estimation［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019：7677-7686. 10.1109/iccv.2019.00777
36	SUNDERMEYER M， DURNER M， PUANG E Y， et al. Multi-path learning for object pose estimation across domains［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020：13913-13922. 10.1109/cvpr42600.2020.01393
37	GROOS D， RAMAMPIARO H， IHLEN E A F. EfficientPose： scalable single-person pose estimation［J］. Applied Intelligence， 2021， 51（4）： 2518-2533. 10.1007/s10489-020-01918-7
38	李耀. 面向机器人拣选的弱纹理物体位姿估计方法研究［D］. 广州：广东工业大学， 2022：1-97.
	LI Y. Research on pose estimation method for robot picking of weakly textured objects［D］. Guangzhou： Guangdong University of Technology， 2022： 1-97.
39	LABBÉ Y， CARPENTIER J， AUBRY M， et al. CosyPose： consistent multi-view multi-object 6D pose estimation［C］// Proceedings of the 2020 European Conference on Computer Vision， LNCS 12362. Cham： Springer， 2020：574-591.
40	LI Y， WANG G， JI X Y， et al. DeepIM： deep iterative matching for 6D pose estimation［J］. International Journal of Computer Vision， 2020， 128（3）： 657-678. 10.1007/s11263-019-01250-9
41	REN S Q， HE K M， GIRSHICK R， et al. Faster R-CNN： towards real-time object detection with region proposal networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（6）： 1137-1149. 10.1109/tpami.2016.2577031
42	LIN T Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017：2999-3007. 10.1109/iccv.2017.324
43	MARION P， FLORENCE P R， MANUELLI L， et al. Label fusion： a pipeline for generating ground truth labels for real RGBD data of cluttered scenes［C］// Proceedings of the 2018 IEEE International Conference on Robotics and Automation. Piscataway： IEEE， 2018：3235-3242. 10.1109/icra.2018.8460950
44	DENNINGER M， SUNDERMEYER M， WINKELBAUER D， et al. BlenderProc［EB/OL］. （2019-10-25）［2022-06-02］..
45	RAMBACH J， DENG C B， PAGANI A， et al. Learning 6DoF object poses from synthetic single channel images［C］// Proceedings of the 2018 IEEE International Symposium on Mixed and Augmented Reality Adjunct. Piscataway： IEEE， 2018：164-169. 10.1109/ismar-adjunct.2018.00058
46	SU Y Z， RAMBACH J， PAGANI A， et al. SynPo-Net： accurate and Fast CNN-based 6DoF object pose estimation using synthetic training［J］. Sensors， 2021， 21（1）： No.300. 10.3390/s21010300
47	KENDALL A， GRIMES M， CIPOLLA R. PoseNet： a convolutional network for real-time 6-DOF camera relocalization［C］// Proceedings of the 2015 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2015：2938-2946. 10.1109/iccv.2015.336
48	IWASE S， LIU X Y， KHIRODKAR R， et al. RePOSE： fast 6D object pose refinement via deep texture rendering［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021：3283-3292. 10.1109/iccv48922.2021.00329
49	左国玉，张成威，刘洪星，等. 低质量渲染图像的目标物体6D姿态估计［J］. 控制与决策， 2022， 37（1）：135-141.
	ZUO G Y， ZHANG C W， LIU H X， et al. 6D object pose estimation for low-quality rendering images［J］. Control and Decision， 2022， 37（1）： 135-141.
50	LIU F C， FANG P F， YAO Z W， et al. Recovering 6D object pose from RGB indoor image based on two-stage detection network with multi-task loss［J］. Neurocomputing， 2019， 337： 15-23. 10.1016/j.neucom.2018.12.061
51	WU S T， ZHONG S H， LIU Y. Deep residual learning for image steganalysis［J］. Multimedia Tools and Applications， 2018， 77（9）：10437-10453. 10.1007/s11042-017-4440-4
52	CHEANG C， LIN H T， FU Y W， et al. Learning 6-DoF object poses to grasp category-level objects by language instructions［C］// Proceedings of the 2022 International Conference on Robotics and Automation. Piscataway： IEEE， 2022：8476-8482. 10.48550/arXiv.2205.04028
53	XU Y， LIN K Y， ZHANG G F， et al. RNNPose： recurrent 6-DoF object pose refinement with robust correspondence field estimation and pose optimization［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022：14860-14870. 10.1109/cvpr52688.2022.01446
54	HODAŇ T， SUNDERMEYER M， DROST B， et al. BOP Challenge 2020 on 6D object localization［C］// Proceedings of the 2020 European Conference on Computer Vision， LNCS 12536. Cham： Springer， 2020：577-594.
55	HODAŇ T， HALUZA P， OBDRŽÁLEK Š， et al. T-LESS： an RGB-D dataset for 6D pose estimation of texture-less objects［C］// Proceedings of the 2017 IEEE Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2017：880-888. 10.1109/wacv.2017.103
56	HODAŇ T， MICHEL F， BRACHMANN E， et al. BOP： benchmark for 6D object pose estimation［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11214. Cham： Springer， 2018：19-35.
57	BRACHMANN E， MICHEL F， KRULL A， et al. Uncertainty-driven 6D pose estimation of objects and scenes from a single RGB image［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016：3364-3372. 10.1109/cvpr.2016.366
58	SHOTTON J， GLOCKER B， ZACH C， et al. Scene coordinate regression forests for camera relocalization in RGB-D images［C］// Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2013：2930-2937. 10.1109/cvpr.2013.377
59	ZOU D W， CAO Q， ZHUANG Z L， et al. An improved method for model-based training， detection and pose estimation of texture-less 3D objects in occlusion scenes［J］. Procedia CIRP， 2019， 83： 541-546. 10.1016/j.procir.2019.04.115
60	徐宁. 单目摄像头实时视觉定位［D］. 上海：上海交通大学， 2008：1-97.
	XU N. Real-time visual localization with a single camera［D］. Shanghai： Shanghai Jiao Tong University， 2008： 1-97.
61	张浩. 基于单目视觉的增强现实技术研究［D］. 武汉：华中科技大学， 2005：1-61.
	ZHANG H. Research on the technology of augmented reality based on monocular vision［D］. Wuhan： Huazhong University of Science and Technology， 2005： 1-61.
62	战茜，屠大维. 移动机器人自主抓取作业［J］. 计算机应用， 2016， 36（S1）：95-98， 102.
	ZHAN Q， TU D W. Research on autonomous grasping of mobile robot［J］. Journal of Computer Applications， 2016， 36（S1）： 95-98， 102.
63	雷志明. 基于RGB图像机械臂抓取的位姿估计研究［D］. 南宁：广西大学， 2021：1-107. 10.1109/iccar52225.2021.9463454
	LEI Z M. Research on pose estimation based on RGB image manipulator grasping［D］. Nanning： Guangxi University， 2021： 1-107. 10.1109/iccar52225.2021.9463454
64	黄心汉，苏豪，彭刚，等. 基于卷积神经网络的目标识别及姿态检测［J］. 华中科技大学学报（自然科学版）， 2017， 45（10）：7-11. 10.13245/j.hust.171002
	HUANG X H， SU H， PENG G， et al. Object identification and pose detection based on convolutional neural network［J］. Journal of Huazhong University of Science and Technology （Natural Science Edition）， 2017， 45（10）： 7-11. 10.13245/j.hust.171002
65	蒋明，陈雨，周青华，等. 适用于非合作目标捕获的轻量级位姿估计网络［J］. 计算机工程， 2022， 48（6）：235-242.
	JIANG M， CHEN Y， ZHOU Q H， et al. Lightweight pose estimation network for non-cooperative target acquisition［J］. Computer Engineering， 2022， 48（6）： 235-242.
66	GORSCHLÜTER F， ROJTBERG P， PÖLLABAUER T. A survey of 6D object detection based on 3D models for industrial applications［J］. Journal of Imaging， 2022， 8（3）： No.53. 10.3390/jimaging8030053
67	SAHIN C， KIM T K. Category-level 6D object pose recovery in depth images［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11129. Cham： Springer， 2019：665-681.
68	SUWAJANAKORN S， SNAVELY N， TOMPSON J， et al. Discovery of latent 3D keypoints via end-to-end geometric reasoning［C］// Proceedings of the 32nd International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2018：2067-2074.
69	ESTEVES C， SUD A， LUO Z Y， et al. Cross-domain 3D equivariant image embeddings［C］// Proceedings of the 36th International Conference on Machine Learning. New York： JMLR.org， 2019：1812-1822.

[1]	李校林, 杨松佳. 基于深度学习的多用户毫米波中继网络混合波束赋形[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2511-2516.
[2]	郭祥, 姜文刚, 王宇航. 基于改进Inception-ResNet的加密流量分类方法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2471-2476.
[3]	崔雨萌, 王靖亚, 刘晓文, 闫尚义, 陶知众. 融合注意力和裁剪机制的通用文本分类模型[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2396-2405.
[4]	张琨, 杨丰玉, 钟发, 曾广东, 周世健. 基于混合代码表示的源代码脆弱性检测[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2517-2526.
[5]	拓雨欣, 薛涛. 融合指针网络与关系嵌入的三元组联合抽取模型[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2116-2124.
[6]	郑帅, 张晓龙, 邓鹤, 任宏伟. 基于多尺度特征融合和网格注意力机制的三维肝脏影像分割方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2303-2310.
[7]	岑黎彬, 李靖东, 林淳波, 王晓玲. 基于深度自回归模型的近似查询处理方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2034-2039.
[8]	梁敏, 刘佳艺, 李杰. 融合迭代反馈与注意力机制的图像超分辨重建方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2280-2287.
[9]	叶坤佩, 熊熙, 丁哲. 基于领域融合和时间权重的招工推荐模型[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2133-2139.
[10]	陈一驰, 陈斌. 计算机视觉中的终身学习综述[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1785-1795.
[11]	靳鑫, 刘仰川, 朱叶晨, 张子健, 高欣. 基于残差编解码-生成对抗网络的正弦图修复的稀疏角度锥束CT图像重建[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1950-1957.
[12]	董润婷, 吴利, 王晓英, 曹腾飞, 黄建强, 管琴, 吴洁瑕. 深度学习在天气预报领域的应用分析及研究进展综述[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1958-1968.
[13]	秦静, 马雪倩, 高福杰, 季长清, 汪祖民. 基于步态分析的帕金森病辅助诊断方法综述[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1687-1695.
[14]	徐清海, 丁世飞, 孙统风, 张健, 郭丽丽. 改进的基于多路径特征的胶囊网络[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1330-1335.
[15]	王先兰, 周金坤, 穆楠, 王晨. 基于多任务联合学习的跨视角地理定位方法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1625-1635.

基于深度学习的RGB图像目标位姿估计综述

Review of object pose estimation in RGB images based on deep learning

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 3

参考文献 69

相关文章 15

编辑推荐

Metrics