基于事件相机的雨滴检测算法

doi:10.11772/j.issn.1001-9081.2022091360

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (9): 2904-2909.DOI: 10.11772/j.issn.1001-9081.2022091360

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于事件相机的雨滴检测算法

杨君宇¹, 董岩¹, 龙镇南¹, 杨新², 韩斌¹()

^1.华中科技大学机械科学与工程学院，武汉 430074
^2.广东省智能机器人研究院，广东东莞 523000

收稿日期:2022-09-20 修回日期:2022-10-31 接受日期:2022-11-02 发布日期:2023-01-16 出版日期:2023-09-10
通讯作者: 韩斌
作者简介:杨君宇（1997—），男，湖北荆门人，硕士，主要研究方向：机器视觉、图像处理
董岩（1996—），男，河北石家庄人，博士研究生，主要研究方向：计算机视觉、3D感知
龙镇南（1999—），男，江苏苏州人，硕士研究生，主要研究方向：无人机避障
杨新（1970—），男，上海人，工程师，博士，主要研究方向：机器人路径规划；
基金资助:
数字制造装备与技术国家重点实验室自主课题基金资助项目(DMETZZ2022108)

Rain detection algorithm based on event camera

Junyu YANG¹, Yan DONG¹, Zhennan LONG¹, Xin YANG², Bin HAN¹()

^1.School of Mechanical Science and Engineering，Huazhong University of Science and Technology，Wuhan Hubei 430074，China
^2.Guangdong Intelligent Robotics Research Institute，Dongguan Guangdong 523000，China

Received:2022-09-20 Revised:2022-10-31 Accepted:2022-11-02 Online:2023-01-16 Published:2023-09-10
Contact: Bin HAN
About author:YANG Junyu， born in 1997， M. S. His research interests include machine vision， image processing.
DONG Yan， born in 1996， Ph. D. candidate. His research interests include computer vision， 3D sensing.
LONG Zhennan， born in 1999， M. S. candidate. His research interests include drone obstacle avoidance.
YANG Xin， born in 1970， Ph. D.， engineer. His research interests include robot path planning.
Supported by:
Independent Project Fund of State Key Laboratory of Digital Manufacturing Equipment and Technology(DMETZZ2022108)

摘要/Abstract

摘要：

图像除雨算法一般对单帧图像或视频流中的雨滴进行去除，以降低雨滴对视觉任务的不良影响。然而，由于雨滴下落速度极快，基于帧的相机无法获取雨滴在时间上的连续性，且相机的曝光时间和运动模糊进一步降低了图像中雨滴的清晰度，导致传统图像的除雨算法无法准确检出雨滴覆盖区域。为探究图像除雨的新思路，利用事件相机极高采样率、无运动模糊的特性，分析并建立了雨滴事件生成模型，并提出了基于时空关联性的事件相机雨滴检测算法。该算法通过分析事件相机记录下的每个事件与相邻事件之间的时空关系来对每个事件产生自雨滴运动的概率进行计算，从而实现雨滴检测。在三种降雨场景上的实验结果表明，在相机静止不动时，所提算法的雨滴检测正确率可达95%以上，误检率低于5%；当相机处于运动状态时，所提算法仍可达到95%以上的正确率与不超过20%的误检率。说明所提算法可有效检出雨滴。

关键词: 事件相机, 图像处理, 雨滴识别, 目标检测, 时空关联性

Abstract:

To reduce the harmful effects of rain for visual tasks， rain removal algorithms are commonly utilized on single frame images or video streams to remove rain. However， since rain falls extremely fast， frame-based cameras cannot capture the temporal continuity of rain， and the fixed exposure time and motion blur further reduce the sharpness of the rain on images， as a result， the traditional image rain removal algorithms cannot detect rain coverage areas accurately. In order to explore the new idea of image rain removal， a rain event generation model was constructed and a rain detection algorithm for event camera based on spatial-temporal relevance was proposed by using the characteristics of event camera： extremely high sampling rate and no motion blur. In this algorithm， the probability of each event generated by rain movement was calculated by analyzing the spatial-temporal relationship between each event recorded by the event camera and adjacent events， so as to achieve rain detection. Experimental results on three rainfall scenes show that when the camera is static， the proposed algorithm can reach more than 95% rain detection true positive rate， and the false positive rate less than 5%， and when the camera moves， the proposed algorithm can still reach more than 95% true positive rate and no more than 20% false positive rate. The above shows that the rain can be detected effectively by the proposed algorithm.

Key words: event camera, image processing, rain detection, object detection, spatial-temporal relevance

中图分类号:

TP751

杨君宇, 董岩, 龙镇南, 杨新, 韩斌. 基于事件相机的雨滴检测算法[J]. 计算机应用, 2023, 43(9): 2904-2909.

Junyu YANG, Yan DONG, Zhennan LONG, Xin YANG, Bin HAN. Rain detection algorithm based on event camera[J]. Journal of Computer Applications, 2023, 43(9): 2904-2909.

图/表 7

图1 基于事件相机的雨滴检测

Fig. 1 Event camera based rain detection

表1 相机参数设置

Tab. 1 Camera parameter setting

相机参数	数值	含义
diff	299	事件对比度阈值中值
diffon	221	事件正极性阈值
diffoff	384	事件负极性阈值
fo	1 477	传感器带宽控制参数
hpf	1 499	滤除低频噪声参数
refr	1 500	像素不应期参数

图2 降雨数据集场景与标注

Fig. 2 Scenes and labeling of rainfall datasets

表2 事件相机降雨数据集的基本统计信息

Tab. 2 Basic statistics of rainfall datasets based on event camera

数据集	ev/seq	var
static100	2 370	130.31
dynamic100	6 865	123.94
moving100	512 224	721.92

图3 TPR和FPR在不同概率阈值下的变化曲线

Fig. 3 Changing curves of TPR and FPR under different possibility thresholds

图4 三类场景下的雨滴检测结果

Fig. 4 Rain detection results in three scenes

表3 时空窗口对雨滴检测结果的影响

Tab. 3 Influence of spatial-temporal window sizes on rain detection results

T/μs	$S x$ /px	static100		dynamic100		moving100
T/μs	$S x$ /px	TPR	FPR	TPR	FPR	TPR	FPR
2 000	1	0.761	0.010	0.584	0.073	0.878	0.135
	2	0.951	0.076	0.916	0.102	0.953	0.330
	3	0.978	0.092	0.953	0.093	0.972	0.233
	4	0.989	0.090	0.981	0.071	0.960	0.220
	5	0.978	0.084	0.958	0.075	1.000	0.340
	6	0.951	0.057	0.930	0.083	1.000	0.388
	7	0.924	0.049	0.841	0.133	1.000	0.482
400	4	0.647	0.014	0.678	0.098	0.712	0.144
800		0.891	0.026	0.888	0.098	0.944	0.158
1 200		0.946	0.048	0.944	0.096	0.960	0.160
1 600		0.978	0.073	0.958	0.092	0.957	0.198
2 000		0.989	0.084	0.981	0.072	0.970	0.200
2 400		0.988	0.103	0.968	0.078	0.960	0.225
2 800		0.983	0.113	0.953	0.080	0.995	0.231
3 600		0.989	0.121	0.949	0.082	1.000	0.273
4 000		0.989	0.127	0.939	0.089	1.000	0.360

表3 时空窗口对雨滴检测结果的影响

Tab. 3 Influence of spatial-temporal window sizes on rain detection results

T/μs	$S x$ /px	static100		dynamic100		moving100
T/μs	$S x$ /px	TPR	FPR	TPR	FPR	TPR	FPR
2 000	1	0.761	0.010	0.584	0.073	0.878	0.135
	2	0.951	0.076	0.916	0.102	0.953	0.330
	3	0.978	0.092	0.953	0.093	0.972	0.233
	4	0.989	0.090	0.981	0.071	0.960	0.220
	5	0.978	0.084	0.958	0.075	1.000	0.340
	6	0.951	0.057	0.930	0.083	1.000	0.388
	7	0.924	0.049	0.841	0.133	1.000	0.482
400	4	0.647	0.014	0.678	0.098	0.712	0.144
800		0.891	0.026	0.888	0.098	0.944	0.158
1 200		0.946	0.048	0.944	0.096	0.960	0.160
1 600		0.978	0.073	0.958	0.092	0.957	0.198
2 000		0.989	0.084	0.981	0.072	0.970	0.200
2 400		0.988	0.103	0.968	0.078	0.960	0.225
2 800		0.983	0.113	0.953	0.080	0.995	0.231
3 600		0.989	0.121	0.949	0.082	1.000	0.273
4 000		0.989	0.127	0.939	0.089	1.000	0.360

参考文献 37

1	GARG K， NAYAR S K. Detection and removal of rain from videos［C］// Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition - Volume 1. Piscataway： IEEE， 2004： 528-535.
2	GARG K， NAYAR S K. Vision and rain［J］. International Journal of Computer Vision， 2007， 75（1）：3-27. 10.1007/s11263-006-0028-6
3	ZHANG X P， LI H， QI Y Y， et al. Rain removal in video by combining temporal and chromatic properties［C］// Proceedings of the 2006 IEEE International Conference on Multimedia and Expo. Piscataway： IEEE， 2006： 461-464. 10.1109/icme.2006.262572
4	PAN Y， ZHANG L M. Roles of artificial intelligence in construction engineering and management： a critical review and future trends［J］. Automation in Construction， 2021， 122： No.103517. 10.1016/j.autcon.2020.103517
5	SHASTRI B J， TAIT A N， FERREIRA DE LIMA T F， et al. Photonics for artificial intelligence and neuromorphic computing［J］. Nature Photonics， 2021， 15（2）：102-114. 10.1038/s41566-020-00754-y
6	HEDRICK J K， SWAROOP D. Dynamic coupling in vehicles under automatic control［J］. Vehicle System Dynamics， 1994， 23（S1）： 209-220. 10.1080/00423119308969516
7	DELBRUCK T. Neuromorophic vision sensing and processing［C］// Proceedings of the 46th European Solid-State Device Research Conference. Piscataway： IEEE， 2016： 7-14. 10.1109/essderc.2016.7599576
8	JIANG Z Y， XIA P F， HUANG K. Mixed frame-/event-driven fast pedestrian detection［C］// Proceedings of the 2019 International Conference on Robotics and Automation. Piscataway： IEEE， 2019： 8332-8338. 10.1109/icra.2019.8793924
9	ZHANG J Q， YANG X， FU Y K， et al. Object tracking by jointly exploiting frame and event domain［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 13023-13032. 10.1109/iccv48922.2021.01280
10	SHAIR Z EL， RAWASHDEH S A. High-temporal-resolution object detection and tracking using images and events［J］. Journal of Imaging， 2022， 8（8）： No.210. 10.3390/jimaging8080210
11	YANG J Y. Rain detection dataset［EB/OL］. ［2022-10-29］..
12	PARK W J， LEE K H. Rain removal using Kalman filter in video［C］// Proceedings of the 2008 International Conference on Smart Manufacturing Application. Piscataway： IEEE， 2008： 494-497. 10.1109/icsma.2008.4505573
13	BEKKERMAN I， TABRIKIAN J. Target detection and localization using MIMO radars and sonars ［J］. IEEE Transactions on Signal Processing， 2006， 54（10）：3873-3883. 10.1109/tsp.2006.879267
14	BOSSU J， HAUTIÈRE N， TAREL J P. Rain or snow detection in image sequences through use of a histogram of orientation of streaks［J］. International Journal of Computer Vision， 2011， 93（3）：348-367. 10.1007/s11263-011-0421-7
15	BARNUM P， KANADE T， NARASIMHAN S G. Spatio-temporal frequency analysis for removing rain and snow from videos［C/OL］// Proceedings of the 1st International Workshop on Photometric Analysis for Computer Vision ［2022-10-29］.. 10.1007/s11263-008-0200-2
16	BARNUM P C， NARASIMHAN S， KANADE T. Analysis of rain and snow in frequency space［J］. International Journal of Computer Vision， 2010， 86（2/3）：256-274. 10.1007/s11263-008-0200-2
17	KIM J H， SIM J Y， KIM C S. Video deraining and desnowing using temporal correlation and low-rank matrix completion［J］. IEEE Transactions on Image Processing， 2015， 24（9）： 2658-2670. 10.1109/tip.2015.2428933
18	CHEN J， TAN C H， HOU J H， et al. Robust video content alignment and compensation for rain removal in a CNN framework［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018：6286-6295. 10.1109/cvpr.2018.00658
19	LIU J Y， YANG W H， YANG S， et al. Erase or fill？ deep joint recurrent rain removal and reconstruction in videos［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 3233-3242. 10.1109/cvpr.2018.00341
20	XU J， ZHAO W， LIU P， et al. Removing rain and snow in a single image using guided filter［C］// Proceedings of the 2012 IEEE International Conference on Computer Science and Automation Engineering. Piscataway： IEEE， 2012：304-307. 10.1109/csae.2012.6272780
21	XU J， ZHAO W， LIU P， et al. An improved guidance image based method to remove rain and snow in a single image［J］. Computer and Information Science， 2012， 5（3）：49-55. 10.5539/cis.v5n3p49
22	HOU M J， LIU R S， FAN X， et al. Joint residual learning for underwater image enhancement［C］// Proceedings of the 25th IEEE International Conference on Image Processing. Piscataway： IEEE， 2018：4043-4047. 10.1109/icip.2018.8451209
23	ZHENG X H， LIAO Y H， GUO W， et al. Single-image-based rain and snow removal using multi-guided filter［C］// Proceedings of the 2013 International Conference on Neural Information Processing， LNCS 8228. Berlin： Springer， 2013：258-265.
24	FU Y H， KANG L W， LIN C W， et al. Single-frame-based rain removal via image decomposition［C］// Proceedings of the 2011 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway： IEEE， 2011：1453-1456. 10.1109/icassp.2011.5946766
25	徐成霞，阎庆，李腾，等. 基于联合注意力机制的单幅图像去雨算法［J］. 计算机应用， 2022， 42（8）： 2578-2585. 10.11772/j.issn.1001-9081.2021061072
	XU C X， YAN Q， LI T， et al. De-raining algorithm based on joint attention mechanism for single image［J］. Journal of Computer Applications， 2022， 42（8）： 2578-2585. 10.11772/j.issn.1001-9081.2021061072
26	GAUVAIN J L， LEE C H. Maximum a posteriori estimation for multivariate Gaussian mixture observations of Markov chains［J］. IEEE Transactions on Speech and Audio Processing， 1994， 2（2）：291-298. 10.1109/89.279278
27	ZHANG K， ZUO W M， GU S H， et al. Learning deep CNN denoiser prior for image restoration［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017：2808-2817. 10.1109/cvpr.2017.300
28	EIGEN D， KRISHNAN D， FERGUS R. Restoring an image taken through a window covered with dirt or rain［C］// Proceedings of the 2013 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2013： 633-640. 10.1109/iccv.2013.84
29	FU X Y， HUANG J B， DING X H， et al. Clearing the skies： a deep network architecture for single-image rain removal［J］. IEEE Transactions on Image Processing， 2017， 26（6）：2944-2956. 10.1109/tip.2017.2691802
30	YANG W H， TAN R T， FENG J S， et al. Deep joint rain detection and removal from a single image［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017：1685-1694. 10.1109/cvpr.2017.183
31	YANG W H， TAN R T， FENG J S， et al. Joint rain detection and removal from a single image with contextualized deep networks［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2020， 42（6）：1377-1393. 10.1109/tpami.2019.2895793
32	丁宇阳，李明悦，谢柠宇，等. 双 LSTM的光场图像去雨算法研究［J］. 计算机工程与应用， 2021， 57（18）：227-237. 10.3778/j.issn.1002-8331.2009-0225
	DING Y Y， LI M Y， XIE N Y， et al. Research of dual LSTM method for rain streaks removal on light field images［J］. Computer Engineering and Applications， 2021， 57（18）：227-237. 10.3778/j.issn.1002-8331.2009-0225
33	GALLEGO G， DELBRÜCK T， ORCHARD G， et al. Event-based vision： a survey［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2022， 44（1）：154-180. 10.1109/tpami.2020.3008413
34	华中科技大学. 一种基于事件相机的雨滴检测方法： 202210466828.0［P］. 2022-08-05.
	Huazhong University of Science and Technology. An event camera based rain detection method： 202210466828.0［P］. 2022-08-05.
35	FINATEU T， NIWA A， MATOLIN D， et al. 5.10 A 1280×720 back-illuminated stacked temporal contrast event-based vision sensor with 4.86µm pixels， 1.066GEPS readout， programmable event-rate controller and compressive data-formatting pipeline［C］// Proceedings of the 2020 IEEE International Solid-State Circuits Conference. Piscataway： IEEE， 2020：112-114. 10.1109/isscc19947.2020.9063149
36	GUO S S， DELBRUCK T. Low cost and latency event camera background activity denoising［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（1）： 785-795. 10.1109/tpami.2022.3152999
37	LAGORCE X， ORCHARD G， GALLUPPI F， et al. HOTS： a hierarchy of event based time-surfaces for pattern recognition［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（7）： 1346-1359. 10.1109/tpami.2016.2574707

[1]	杨昊, 张轶. 基于上下文信息和多尺度融合重要性感知的特征金字塔网络算法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2727-2734.
[2]	路琨婷, 费蓉蓉, 张选德. 融合卷积神经网络的遥感图像全色锐化[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2963-2969.
[3]	梁美佳, 刘昕武, 胡晓鹏. 基于改进YOLOv3的列车运行环境图像小目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2611-2618.
[4]	段升位, 程欣宇, 王浩舟, 王飞. 基于改进的YOLOv5的大坝表面病害检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2619-2629.
[5]	姜钧舰, 刘达维, 刘逸凡, 任酉贵, 赵志滨. 基于孪生网络的小样本目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2325-2329.
[6]	周静, 胡怡宇, 胡成玉, 王天江. 基于点云补全和多分辨Transformer的弱感知目标检测方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2155-2165.
[7]	李忠雨, 孙浩东, 李娇. 轻量化篮球裁判手势识别算法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2173-2181.
[8]	姬张建, 张明, 王子龙. 基于改进VarifocalNet的高精度目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2147-2154.
[9]	吕宗喆, 徐慧, 杨骁, 王勇, 王唯鉴. 面向小目标的YOLOv5安全帽检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1943-1949.
[10]	方可, 刘蓉, 魏驰宇, 张心月, 刘杨. 复杂场景下的行人跌倒检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1811-1817.
[11]	王强, 黄小明, 佟强, 刘秀磊. 基于边界框标注的弱监督显著性目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1910-1918.
[12]	赵元龙, 单玉刚, 袁杰, 赵康迪. 基于实例分割与毕达哥拉斯模糊决策的目标跟踪[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1930-1937.
[13]	刘辉, 张琳玉, 王复港, 何如瑾. 基于注意力机制和上下文信息的目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1557-1564.
[14]	池月, 李正平, 徐超, 冯博. 医用内窥镜图像的高光移除算法[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1278-1283.
[15]	顾勇翔, 蓝鑫, 伏博毅, 秦小林. 基于几何适应与全局感知的遥感图像目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 916-922.

基于事件相机的雨滴检测算法

Rain detection algorithm based on event camera

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 37

相关文章 15

编辑推荐

Metrics