自适应地平线约束下的车辆三维检测

doi:10.11772/j.issn.1001-9081.2023040416

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (3): 909-915.DOI: 10.11772/j.issn.1001-9081.2023040416

• 多媒体计算与计算机仿真 • 上一篇下一篇

自适应地平线约束下的车辆三维检测

王伟, 赵春辉(), 唐心瑶, 席刘钢

长安大学信息工程学院，西安 710018

收稿日期:2023-04-13 修回日期:2023-06-30 接受日期:2023-07-05 发布日期:2023-12-04 出版日期:2024-03-10
通讯作者: 赵春辉
作者简介:王伟（1984—），男，江苏徐州人，讲师，博士，主要研究方向：计算机视觉、三维重建
唐心瑶（1996—），女，江苏苏州人，博士研究生，主要研究方向：计算机视觉
席刘钢（1999—），男，山西临汾人，硕士研究生，主要研究方向：计算机视觉。
基金资助:
国家自然科学基金资助项目(52002031);陕西省科技计划项目(2023-JC-YB-600);中央高校研究生教育教学研究校级项目(300103131033)

3D vehicle detection with adaptive horizon line constraints

Wei WANG, Chunhui ZHAO(), Xinyao TANG, Liugang XI

School of Information Engineering，Chang’an University，Xi’an Shaanxi 710018，China

Received:2023-04-13 Revised:2023-06-30 Accepted:2023-07-05 Online:2023-12-04 Published:2024-03-10
Contact: Chunhui ZHAO
About author:WANG Wei， born in 1984，Ph. D.， lecturer. His research interests include computer vision， 3D reconstruction.
TANG Xinyao， born in 1996， Ph. D. candidate. Her research interests include computer vision.
XI Liugang， born in 1999， M. S. candidate. His research interests include computer vision.
Supported by:
National Natural Science Foundation of China(52002031);Shaanxi Provincial Science and Technology Plan(2023-JC-YB-600);Central University Project for Graduate Education and Teaching Research at School Level(300103131033)

摘要/Abstract

摘要：

目前较为常用的基于单目视觉的车辆三维检测方法是目标检测结合几何约束的方法，但是几何约束中消失点的位置对结果影响很大。为了获取更加准确的约束条件，提出一种基于地平线检测的车辆三维检测算法。首先，利用车辆图片获取消失点的相对位置，将车辆图片预处理至合适大小；然后，将经过预处理的车辆图片送入消失点检测网络，获得消失点信息热力图组，回归出消失点信息，并计算得出地平线信息；最后，根据地平线信息构建几何约束，在约束空间内对车辆初始尺寸迭代优化计算精确的车辆三维信息。实验结果表明，所述地平线求解算法能够获得更准确的地平线，与随机森林的方法相比，曲线下面积（AUC）提升1.730个百分点；同时，所提地平线约束能够有效地限制车辆三维信息，与使用对角线和消失点约束的算法相比，车辆三维信息的平均精度提升2.201个百分点。可见地平线可以作为几何约束在路侧单目相机的场景下求解车辆三维信息。

关键词: 目标检测, 车辆三维检测, 钻石空间变换, 消失点, 地平线

Abstract:

The commonly used monocular vision-based vehicle 3D detection method at present combines object detection with geometric constraint. However， the position of the vanishing point in the geometric constraint has a significant impact on the results. To obtain more accurate constraint conditions， a 3D vehicle detection algorithm based on horizon line detection was proposed. First， the relative position of the vanishing point was obtained using the vehicle image， and the vehicle image was preprocessed to an appropriate size. Then， the preprocessed vehicle image was fed into a vanishing point detection network to obtain a set of heatmaps indicating the vanishing point information. The vanishing point information was regressed， and the horizon information was calculated. Finally， geometric constraint was constructed based on the horizon line information， and the initial dimensions of the vehicle were iteratively optimized within the constrained space to calculate the precise 3D information of the vehicle. The experimental results demonstrate that the proposed horizon line solving algorithm obtains more accurate horizon lines. Compared to the random forest method， there is an AUC （Area Under Curve） improvement of 1.730 percentage points. Simultaneously， the introduced horizon line constraint effectively restricts the 3D vehicle information， resulting in an average precision improvement of 2.201 percentage points compared to the algorithm using diagonal and vanishing point constraint. It can be observed that the horizon line serves as a geometric constraint for solving vehicle 3D information in the context of roadside monocular camera perspectives.

Key words: object detection, 3D vehicle detection, diamond space transformation, vanishing point, horizon line

中图分类号:

TP391.4

王伟, 赵春辉, 唐心瑶, 席刘钢. 自适应地平线约束下的车辆三维检测[J]. 计算机应用, 2024, 44(3): 909-915.

Wei WANG, Chunhui ZHAO, Xinyao TANG, Liugang XI. 3D vehicle detection with adaptive horizon line constraints[J]. Journal of Computer Applications, 2024, 44(3): 909-915.

图/表 14

图1 地平线约束下的车辆三维检测流程

Fig. 1 Flow of 3D vehicle detection based on horizon line constraint

图2 自适应地平线检测网络训练流程

Fig. 2 Training flow of adaptive horizon line detection network

图3 图像预处理流程

Fig. 3 Image pre-processing flow

图4 交通场景标定

Fig. 4 Traffic scene calibration

图5 车辆包围框

Fig. 5 Vehicle bounding boxes

图6 地平线约束

Fig. 6 Horizon line constraint

图7 BoxCars116K数据集部分车辆图片

Fig. 7 Partial vehicle images in BoxCars116K dataset

图8 BrnoCompSpeed数据集部分视角图片

Fig. 8 Partial view images in BrnoCompSpeed dataset

表1 消融实验结果

Tab. 1 Ablation experiments results

实验	数据增强	尺度变换模块	Focal Loss	误差%
基准实验	×	×	×	27.102
实验1	√	×	×	25.991
实验2	×	√	×	22.284
实验3	×	×	√	21.505
实验4	√	√	√	20.770

图9 消融实验累计误差AUC折线图

Fig. 9 AUC line chart of cumulative error in ablation experiments

表2 不同地平线检测算法性能对比

Tab. 2 Performance comparison of different horizon lines detection algorithms

算法	AUC/%	算法	AUC/%
文献［14］算法	77.500	本文算法	79.230
文献［16］算法	74.550

图10 车辆三维检测实例

Fig. 10 Example of 3D vehicle detection

表3 多视角车辆三维信息识别误差及精度

Tab. 3 Recognition error and accuracy of multi-view 3D vehicle information

视角	长度误差/mm	宽度误差/mm	高度误差/mm	精度/%
平均值	204.719	131.258	169.313	92.201
左视角	162.392	125.189	158.641	94.106
中视角	260.774	118.560	149.292	90.845
右视角	190.990	149.995	200.005	91.652

表4 车辆三维检测算法结果对比

Tab. 4 Comparison of 3D vehicle detection algorithms

算法	传感器	几何约束	精度/%	帧率/（frame·s^-1）
文献［5］算法	单目相机	无	89.05	33.7
文献［8］算法	单目相机	对角线、消失点	90.00	44.6
文献［9］算法	单目相机	俯视2D框	92.16	36.4
文献［10］算法	单目相机	车辆2D、3D框	90.72	43.0
本文算法	单目相机	对角线、地平线	92.20	45.7

参考文献 26

1	CHEN X， KUN K， ZHANG Z， et al. Monocular 3D object detection for autonomous driving ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2147-2156. 10.1109/cvpr.2016.236
2	张毅，姚丹亚，李力，等. 智能车路协同系统关键技术与应用［J］. 交通运输系统工程与信息，2021，21（5）： 40-51. 10.16097/j.cnki.1009-6744.2021.05.005
	ZHANG Y， YAO D Y， LI L， et al. Technologies and applications for intelligent vehicle-infrastructure cooperation systems ［J］. Journal of Transportation Systems Engineering and Information Technology， 2021， 21（5）： 40-51. 10.16097/j.cnki.1009-6744.2021.05.005
3	CHABOT F， CHAOUCH M， RABARISOA J， et al. Deep MANTA： A coarse-to-fine many-task network for joint 2D and 3D vehicle analysis from monocular image ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 2040-2049. 10.1109/cvpr.2017.198
4	毛河. 基于机器视觉的辅助驾驶系统中预警系统设计［D］.成都：电子科技大学， 2014：8-13.
	MAO H. Anti-collision warning system in advanced driver assistance system based on machine vision［D］. Chengdu： University of Electronic Science and Technology of China， 2014：8-13.
5	顾德英，张松，孟范伟. 基于单目视觉的车辆3D空间检测方法［J］. 东北大学学报（自然科学版）， 2022，43（3）：328-334.
	GU D Y， ZHANG S， MENG F W. Vehicle 3D space detection method based on monocular vision ［J］. Journal of Northeastern University （Natural Science）， 2022， 43（3）：328-334.
6	ZHANG Z， TAN T， HUANG K， et al. Three-dimensional deformable-model-based localization and recognition of road vehicles［J］. IEEE Transactions on Image Processing， 2012， 21（1）：1-13. 10.1109/tip.2011.2160954
7	PROKAJ J， MEDIONI G. 3-D model based vehicle recognition［C］// Proceeding of the 2009 Workshop on Applications of Computer Vision. Piscataway： IEEE， 2009： 1-7. 10.1109/wacv.2009.5403032
8	唐心瑶，宋焕生，王伟，等. 单目交通场景下基于自标定的车辆三维信息识别算法［J］. 计算机辅助设计与图形学学报， 2020， 32（8）：1305-1314. 10.3724/sp.j.1089.2020.18041
	TANG X Y， SONG H S， WANG W， et al. 3D vehicle information recognition algorithm of monocular camera based on self-calibration in traffic scene ［J］. Journal of Computer-Aided Design & Computer Graphics， 2020， 32（8）：1305-1314. 10.3724/sp.j.1089.2020.18041
9	CHEN Y， LIU F， PEI K. Monocular vehicle 3D bounding box estimation using homograhy and geometry in traffic scene ［C］// Proceedings of 2022 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway： IEEE， 2022： 1995-1999. 10.1109/icassp43922.2022.9747512
10	SOCHOR J， JURÁNEK R， HEROUT A. Traffic surveillance camera calibration by 3D model bounding box alignment for accurate vehicle speed measurement ［J］. Computer Vision and Image Understanding， 2017， 161： 87-98. 10.1016/j.cviu.2017.05.015
11	JEONG C， YANG H S， MOON K D. A novel approach for detecting the horizon using a convolutional neural network and multi-scale edge detection ［J］. Multidimensional Systems and Signal Processing， 2019， 30（3）： 1187-1204. 10.1007/s11045-018-0602-4
12	AHMAD T， BEBIS G， NICOLESCU M， et al. Horizon line detection using supervised learning and edge cues ［J］. Computer Vision and Image Understanding， 2020， 191：102879. 10.1016/j.cviu.2019.102879
13	XU Y， YAN H， MA Y， et al. Graph-based horizon line detection for UAV navigation ［J］. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing， 2021， 14： 11683-11698. 10.1109/jstars.2021.3126586
14	叶继华，时淑霞，李汉曦，等. 一种结合深度学习和随机森林的地平线检测方法［J］. 系统仿真学报，2018，30（7）： 2507-2514. 10.16182/j.issn1004731x.joss.201807010
	YE J H， SHI S X， LI H X， et al. A horizon detection method based on deep learning and random forest ［J］. Journal of System Simulation， 2018， 30（7）： 2507-2514. 10.16182/j.issn1004731x.joss.201807010
15	DONG L， MA D， MA D， et al. Fast infrared horizon detection algorithm based on gradient directional filtration ［J］. Journal of the Optical Society of America A， 2020， 37（11）： 1795-1805. 10.1364/josaa.402620
16	KLUGER F， ACKERMANN H， YANG M Y， et al. Temporally consistent horizon lines ［C］// Proceedings of the 2020 IEEE International Conference on Robotics and Automation. Piscataway： IEEE， 2020： 3161-3167. 10.1109/icra40945.2020.9197170
17	陈星，张文海，杨林，等. 结合立体视觉的非结构化道路消失点检测研究［J］. 西北工业大学学报， 2022， 40（6）：1431-1439. 10.1051/jnwpu/20224061431
	CHEN X， ZHANG W H， YANG L，et al. Research on vanishing point detection of unstructured road scene combined with stereo vision ［J］. Journal of Northwestern Polytechnical University， 2022， 40（6）：1431-1439. 10.1051/jnwpu/20224061431
18	KOCUR V， FTÀČNIK M. Traffic camera calibration via vehicle vanishing point detection ［C］// Proceedings of the 30th International Conference on Artificial Neural Networks. Cham： Springer， 2021： 628-639. 10.1007/978-3-030-86383-8_50
19	NEWELL A， YANG K， DENG J. Stacked hourglass networks for human pose estimation ［C］// Proceedings of the 14th European Conference on Computer Vision. Cham： Springer， 2016： 483-499. 10.1007/978-3-319-46484-8_29
20	HARTLEY R， ZISSERMAN A. 计算机视觉中的多视图几何［M］. 韦穗，杨尚骏，章权兵，等译. 合肥：安徽大学出版社， 2002：63-66.
	HARTLEY R， ZISSERMAN A. Multiview geometry in computer vision ［M］. WEI S， YANG S J， ZHANG Q B， translated. Hefei： Anhui University Press， 2002：63-66.
21	KANHERE N K， BIRCHFIELD S T. A taxonomy and analysis of camera calibration methods for traffic monitoring applications ［J］. IEEE Transactions on Intelligent Transportation Systems， 2010， 11（2）：441-452. 10.1109/tits.2010.2045500
22	DUBSKÁ M， HEROUT A. Real projective plane mapping for detection of orthogonal vanishing points ［C］// Proceedings of the 2013 British Machine Vision Conference. Bristol： British Machine Vision Association， 2013： 1-10. 10.5244/c.27.90
23	LIN T-Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE. 2017： 2999-3007. 10.1109/iccv.2017.324
24	SOCHOR J， ŠPAŇHEL J， HEROUT A. BoxCars： Improving fine-grained recognition of vehicles using 3-D bounding boxes in traffic surveillance ［J］. IEEE Transactions on Intelligent Transportation Systems， 2019， 20（1）： 97-108. 10.1109/tits.2018.2799228
25	SOCHOR J， JURÁNEK R， ŠPAŇHEL J， et al. BrnoCompSpeed： Review of traffic camera calibration and comprehensive dataset for monocular speed measurement ［EB/OL］. ［2023-06-20］. . 10.1109/tits.2018.2825609
26	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90

[1]	陈天华, 朱家煊, 印杰. 基于注意力机制的鸟类识别算法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1114-1120.
[2]	蒋占军, 吴佰靖, 马龙, 廉敬. 多尺度特征和极化自注意力的Faster-RCNN水漂垃圾识别[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 938-944.
[3]	李新叶, 侯晔凝, 孔英会, 燕志旗. 结合特征融合与增强注意力的少样本目标检测[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 745-751.
[4]	郑宇亮, 陈云华, 白伟杰, 陈平华. 融合事件数据和图像帧的车辆目标检测[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 931-937.
[5]	李雨秋, 侯利萍, 薛健, 吕科, 王泳. 基于内容解译的遥感图像推荐方法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 722-731.
[6]	廖存燚, 郑毅, 刘玮瑾, 于欢, 刘守印. 自动驾驶环境感知多任务去耦-融合算法[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 424-431.
[7]	杨君宇, 董岩, 龙镇南, 杨新, 韩斌. 基于事件相机的雨滴检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2904-2909.
[8]	杨昊, 张轶. 基于上下文信息和多尺度融合重要性感知的特征金字塔网络算法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2727-2734.
[9]	段升位, 程欣宇, 王浩舟, 王飞. 基于改进的YOLOv5的大坝表面病害检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2619-2629.
[10]	梁美佳, 刘昕武, 胡晓鹏. 基于改进YOLOv3的列车运行环境图像小目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2611-2618.
[11]	姜钧舰, 刘达维, 刘逸凡, 任酉贵, 赵志滨. 基于孪生网络的小样本目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2325-2329.
[12]	李忠雨, 孙浩东, 李娇. 轻量化篮球裁判手势识别算法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2173-2181.
[13]	姬张建, 张明, 王子龙. 基于改进VarifocalNet的高精度目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2147-2154.
[14]	周静, 胡怡宇, 胡成玉, 王天江. 基于点云补全和多分辨Transformer的弱感知目标检测方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2155-2165.
[15]	吕宗喆, 徐慧, 杨骁, 王勇, 王唯鉴. 面向小目标的YOLOv5安全帽检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1943-1949.

自适应地平线约束下的车辆三维检测

3D vehicle detection with adaptive horizon line constraints

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 14

参考文献 26

相关文章 15

编辑推荐

Metrics