差异感知的室内场景动态光照在线估计方法

doi:10.11772/j.issn.1001-9081.2023121786

《计算机应用》唯一官方网站 ›› 0, Vol. ›› Issue (): 184-191.DOI: 10.11772/j.issn.1001-9081.2023121786

• 多媒体计算与计算机仿真 • 上一篇下一篇

差异感知的室内场景动态光照在线估计方法

刘玉婉¹, 郭智溢², 邢冠宇²(), 刘艳丽¹^,²

^1.四川大学计算机学院，成都 610065
^2.四川大学视觉合成图形图像技术国家级重点实验室，成都 610065

收稿日期:2023-12-27 修回日期:2024-03-17 接受日期:2024-03-25 发布日期:2025-01-24 出版日期:2024-12-31
通讯作者: 邢冠宇
作者简介:刘玉婉（1999—），女，安徽淮南人，硕士研究生，CCF会员，主要研究方向：计算机图形学、图像处理
郭智溢（1994—），男，四川成都人，硕士，主要研究方向：计算机视觉、图像处理
邢冠宇（1985—）男，吉林德惠人，副教授，博士，CCF会员，主要研究方向为：计算机图形学、增强现实
刘艳丽（1981—），女，河南沈丘人，教授，博士，主要研究方向：虚拟/增强现实、计算机图形学、计算机视觉。
基金资助:
国家自然科学基金资助项目(62172290);四川省重点研发计划项目(2023YFS0454)

Variation-aware online dynamic illumination estimation method for indoor scenes

Yuwan LIU¹, Zhiyi GUO², Guanyu XING²(), Yanli LIU¹^,²

^1.College of Computer Science，Sichuan University，Chengdu Sichuan 610065，China
^2.National Key Laboratory of Fundamental Science on Synthetic Vision，Sichuan University，Chengdu Sichuan 610065，China

Received:2023-12-27 Revised:2024-03-17 Accepted:2024-03-25 Online:2025-01-24 Published:2024-12-31
Contact: Guanyu XING

摘要/Abstract

摘要：

为了提高增强现实场景中虚实融合的真实感，提出一种差异感知的室内场景动态光照在线估计方法。与现有方法直接计算光照参数或生成光照贴图不同，该方法通过估计不同光照条件下场景的光照差异图像实现对于室内场景中光照的动态更新，从而更准确地获取场景动态光照并保留场景中的细节信息。所提方法的卷积神经网络（CNN）包括2个子网络，分别是低动态范围（LDR）图像特征提取网络和光照估计网络。整体网络结构以一张场景内所有主要光源开启时采集的高动态范围（HDR）全景光照贴图作为初始光照贴图，并把该光照贴图与光照变化后的有限视界的LDR图像共同作为输入。首先，基于AlexNet搭建CNN提取LDR图像特征，并在光照估计网络共享编码器中连接这些特征与HDR光照贴图特征；其次，利用U-Net结构，通过引入注意力机制，实现对光照差异图像和光源掩膜的估计，进而实现对场景动态光照的更新。在全景光照贴图的数值评估中，所提方法的均方误差（MSE）指标相较于Gardner方法、Garon方法、EMLight、Guo方法以及耦合的双StyleGAN全景合成网络StyleLight分别降低约79%、65%、38%、17%、87%，其他性能也有所提升。以上从定性和定量方面均证明了所提方法的有效性。

关键词: 室内场景, 动态光照, 深度学习, 合成数据集, 高动态范围

Abstract:

In order to enhance the sense of realism of the integration of virtual and real objects in augmented reality scenes， a variation-aware online dynamic illumination estimation method for indoor scenes was proposed. Unlike the existing methods that directly calculate lighting parameters or generate lightmaps， the lighting variation images of the scene under different lighting conditions are estimated by this method to implement the dynamic update of the scene illumination， which can obtain dynamic lighting of the scene more accurately and retain detailed information of the scene. The Convolutional Neural Network （CNN） of the proposed network includes two sub-networks， namely Low Dynamic Range （LDR） image feature extraction network and illumination estimation network. The whole network structure took a High Dynamic Range （HDR） panoramic lightmap with all the main light sources open in the scene as the initial lightmap， and this lightmap and the LDR image with limited field of view after lighting change were used as the input together. Firstly， the CNN was built based on AlexNet to extract the LDR image features， and these features were connected with the HDR lightmap features in illumination estimation network sharing encoder. Then， the U-Net structure was used to estimate the lighting variation image and the mask of light source by introducing the attention mechanism， so as to update the dynamic illumination of the scene. In the numerical evaluation of panoramic lightmap， the Mean Squared Error （MSE） indicator of the proposed method was improved by about 79%， 65%， 38%， 17%， and 87% compared with those of Gardner’s method， Garon’s method， EMLight， Guo’s method， and coupled dual StyleGAN panoramic synthesis network StyleLight， respectively， and other indicators were also improved. The above proves the effectiveness of the proposed method from both qualitative and quantitative aspects.

Key words: indoor scene, dynamic illumination, deep learning, synthetic dataset, High Dynamic Range (HDR)

中图分类号:

TP391.41

刘玉婉, 郭智溢, 邢冠宇, 刘艳丽. 差异感知的室内场景动态光照在线估计方法[J]. 计算机应用, 0, (): 184-191.

Yuwan LIU, Zhiyi GUO, Guanyu XING, Yanli LIU. Variation-aware online dynamic illumination estimation method for indoor scenes[J]. Journal of Computer Applications, 0, (): 184-191.

图/表 16

参考文献 36

1	AZUMA R T. A survey of augmented reality［J］. Presence： Teleoperators and Virtual Environments， 1997， 6（4）： 355-385.
2	SATO I， SATO Y， IKEUCHI K. Acquiring a radiance distribution to superimpose virtual objects onto a real scene ［J］. IEEE Transactions on Visualization and Computer Graphics， 1999， 5（1）： 1-12.
3	DEBEVEC P. Rendering synthetic objects into real scenes： bridging traditional and image-based graphics with global illumination and high dynamic range photography［C］// Proceedings of the 25th Annual Conference on Computer Graphics and Interactive Techniques. New York： ACM， 1998： 189-198.
4	GREEN R. Spherical harmonic lighting： the gritty details［ EB/OL］. ［2024-03-04］..
5	MURMANN L， GHARBI M， AITTALA M， et al. A dataset of multi-illumination images in the wild ［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 4079-4088.
6	郭智溢. 基于深度学习的室内场景光照估计［J］. 现代计算机， 2021（9）： 91-94.
7	KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks［J］. Communications of the ACM， 2017， 60（6）： 84-90.
8	RONNEBERGER O， FISCHER P， BROX T. U-Net： convolutional networks for biomedical image segmentation［C］// Proceedings of the 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Cham： Springer， 2015： 234-241.
9	GEORGOULIS S， REMATAS K， RITSCHEL T， et al. What is around the camera？［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 5180-5188.
10	FRAHM J M， KOESER K， GREST D， et al. Markerless augmented reality with light source estimation for direct illumination［C］// Proceedings of the 2nd IEE European Conference on Visual Media Production . Stevenage： IET， 2005： 211-220.
11	KARSCH K， HEDAU V， FORSYTH D， et al. Rendering synthetic objects into legacy photographs［J］. ACM Transactions on Graphics， 2011， 30（6）： 1-12.
12	KARSCH K， SUNKAVALLI K， HADAP S， et al. Automatic scene inference for 3D object compositing［J］. ACM Transactions on Graphics， 2014， 33（3）： No.32.
13	LOMBARDI S， NISHINO K. Reflectance and illumination recovery in the wild［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（1）： 129-141.
14	EINABADI F， GUILLEMAUT J Y， HILTON A. Deep neural models for illumination estimation and relighting： a survey［J］. Computer Graphics Forum， 2021， 40（6）： 315-331.
15	GARDNER M A， SUNKAVALLI K， YUMER E， et al. Learning to predict indoor illumination from a single image［J］. ACM Transactions on Graphics， 2017， 36（6）： No.176.
16	GARDNER M A， HOLD-GEOFFROY Y， SUNKAVALLI K， et al. Deep parametric indoor lighting estimation［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 7174-7182.
17	CHENG D， SHI J， CHEN Y， et al. Learning scene illumination by pairwise photos from rear and front mobile cameras［J］. Computer Graphics Forum， 2018， 37（7）： 213-221.
18	LI M， GUO J， CUI X， et al. Deep spherical gaussian illumination estimation for indoor scene［C］// Proceedings of the 1st ACM International Conference on Multimedia in Asia. New York： ACM， 2019： No.13.
19	GARON M， SUNKAVALLI K， HADAP S， et al. Fast spatially-varying indoor lighting estimation ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 6901-6910.
20	SONG S R， FUNKHOUSER T. Neural illumination： lighting prediction for indoor environments ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 6911-6919.
21	ZHAN F， ZHANG C， YU Y， et al. EMLight： lighting estimation via spherical distribution approximation［C］// Proceedings of the 35th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2021： 3287-3295.
22	DASTJERDI M R K， EISENMANN J， HOLD-GEOFFROY Y， et al. EverLight： indoor-outdoor editable HDR lighting estimation［C］// Proceedings of the 2023 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2023： 7386-7395.
23	WANG G， YANG Y， LOY C C， et al. StyleLight： HDR panorama generation for lighting estimation and editing ［C］// Proceedings of the 2022 European Conference on Computer Vision， LNCS 13675. Cham： Springer， 2022： 477-490.
24	BAI J， HE Z， YANG S， et al. Local-to-global panorama inpainting for locale-aware indoor lighting prediction［J］. IEEE Transactions on Visualization and Computer Graphics， 2023， 29（11）： 4405-4416.
25	CALIAN D A， LALONDE J F， GOTARDO P， et al. From faces to outdoor light probes［J］. Computer Graphics Forum， 2018， 37（2）： 51-61.
26	MARQUES B A D， CLUA E W G， VASCONCELOS C N. Deep spherical harmonics light probe estimator for mixed reality games ［J］. Computers and Graphics， 2018， 76： 96-106.
27	MANDL D， YI K M， MOHR P， et al. Learning lightprobes for mixed reality illumination［C］// Proceedings of the 2017 IEEE International Symposium on Mixed and Augmented Reality. Piscataway： IEEE， 2017： 82-89.
28	GEORGOULIS S， REMATAS K， RITSCHEL T， et al. Reflectance and natural illumination from single-material specular objects using deep learning ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018， 40（8）： 1932-1947.
29	XING G， LIU Y， LING H， et al. Automatic spatially varying illumination recovery of indoor scenes based on a single RGB-D image［J］. IEEE Transactions on Visualization and Computer Graphics， 2020， 26（4）： 1672-1685.
30	郭智溢.基于卷积神经网络的室内场景动态光照估计［D］.四川大学，2021.
31	四川大学. 一种面向AR的室内场景动态光照在线估计方法与装置： 202211386174.7 ［P］. 2022-12-06.
32	ZHANG J， XU Y， NI B， et al. Geometric constrained joint lane segmentation and lane boundary detection ［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11205. Cham： Springer， 2018： 502-518.
33	OKTAY O， SCHLEMPER J， LE FOLGOC L， et al. Attention U-Net： learning where to look for the pancreas［EB/OL］. ［2024-03-04］..
34	KALANTARI N K， RAMAMOORTHI R. Deep high dynamic range imaging of dynamic scenes ［J］. ACM Transactions on Graphics， 2017， 36（4）： No.144.
35	HAN J， ZHOU C， DUAN P， et al. Neuromorphic camera guided high dynamic range imaging［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 1730-1739.
36	HANDA A， PĂTRĂUCEAN V， BADRINARAYANAN V， et al. SceneNet： an annotated model generator for indoor scene understanding［C］// Proceedings of the 2016 IEEE International Conference on Robotics and Automation. Piscataway： IEEE， 2016： 5737-5743.

对比方法	PSNR/dB	SSIM	MSE	MSLE
本文方法	17.103 7	0.714 9	0.023 8	0.195 3
Gardner方法^［15］	10.136 8	0.348 2	0.113 2	0.707 5
Garon方法^［19］	12.914 6	0.458 4	0.067 6	0.639 7
EMLight^［21］	14.129 0	0.610 8	0.038 6	0.196 6
文献［6］方法	16.633 1	0.703 5	0.028 6	0.205 0
StyleLight^［23］	10.661 5	0.286 5	0.181 0	0.815 4

对比方法	PSNR/dB	SSIM	MSE	MSLE
本文方法	17.103 7	0.714 9	0.023 8	0.195 3
Gardner方法^［15］	10.136 8	0.348 2	0.113 2	0.707 5
Garon方法^［19］	12.914 6	0.458 4	0.067 6	0.639 7
EMLight^［21］	14.129 0	0.610 8	0.038 6	0.196 6
文献［6］方法	16.633 1	0.703 5	0.028 6	0.205 0
StyleLight^［23］	10.661 5	0.286 5	0.181 0	0.815 4

对比方法	RMSE	DSSIM
本文方法	0.034 7	0.007 9
Gardner方法^［15］	0.068 6	0.016 9
Garon方法^［19］	0.053 5	0.015 1
EMLight^［21］	0.078 7	0.032 7
文献［6］方法	0.073 6	0.027 3

对比方法	RMSE	DSSIM
本文方法	0.034 7	0.007 9
Gardner方法^［15］	0.068 6	0.016 9
Garon方法^［19］	0.053 5	0.015 1
EMLight^［21］	0.078 7	0.032 7
文献［6］方法	0.073 6	0.027 3

方法	网络	耗时/ms
本文方法	LDR图像特征提取	1.3
	光照估计网络共享编码器	2.0
	光照差异图像估计解码器	2.2
	光源掩膜估计解码器	3.7
	总计	9.2
EMLight	回归网络	8.4
	生成网络	15.0
	总计	23.4

差异感知的室内场景动态光照在线估计方法

Variation-aware online dynamic illumination estimation method for indoor scenes

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 16

参考文献 36

相关文章 15

编辑推荐

Metrics

实验方案	评价指标	真实数据	合成数据
方案1）	PSNR/dB	16.199 4	24.350 3
	SSIM	0.656 8	0.919 5
	MSE	0.029 8	0.004 7
	MSE （log）	0.288 4	0.090 6
方案2）	PSNR/dB	17.103 7	28.730 6
	SSIM	0.714 9	0.912 3
	MSE	0.023 8	0.003 5
	MSE （log）	0.195 3	0.110 6

权重取值	PSNR/dB	SSIM	MSE	MSLE
w₁=10，w₂=1	17.103 7	0.714 9	0.023 8	0.195 3
w₁=1，w₂=1	13.763 0	0.512 7	0.042 1	0.333 2

[1]	周阳, 李辉. 基于语义和细节特征双促进的遥感影像建筑物提取网络[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1310-1316.
[2]	潘理虎, 彭守信, 张睿, 薛之洋, 毛旭珍. 面向运动前景区域的视频异常检测[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1300-1309.
[3]	王一丁, 王泽浩, 李耀利, 蔡少青, 袁媛. 多尺度2D-Adaboost的中药材粉末显微图像识别算法[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1325-1332.
[4]	陈瑞龙, 胡涛, 卜佑军, 伊鹏, 胡先君, 乔伟. 面向加密恶意流量检测模型的堆叠集成对抗防御方法[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 864-871.
[5]	薛振华, 李强, 黄超. 视觉基础模型驱动的像素级图像异常检测方法[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 823-831.
[6]	邓淼磊, 阚雨培, 孙川川, 徐海航, 樊少珺, 周鑫. 基于深度学习的网络入侵检测系统综述[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 453-466.
[7]	余松森, 林智凡, 薛国鹏, 徐建宇. 基于改进YOLOv8的轻量级大幅面瓷砖缺陷检测算法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 647-654.
[8]	丁丹妮, 彭博, 吴锡. 受腹侧通路启发的脂肪肝超声图像分类方法VPNet[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 662-669.
[9]	洪梓榕, 包广清. 基于集成学习的雷达自动目标识别综述[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 371-382.
[10]	张众维, 王俊, 刘树东, 王志恒. 多尺度特征融合与加权框融合的遥感图像目标检测[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 633-639.
[11]	李严, 叶冠华, 李雅文, 梁美玉. 基于丰度协调技术的企业ESG指标预测模型[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 670-676.
[12]	张天骐, 谭霜, 沈夕文, 唐娟. 融合注意力机制和多尺度特征的图像水印方法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 616-623.
[13]	张思齐, 张金俊, 王天一, 秦小林. 基于信号时态逻辑的深度时序事件检测算法[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 90-97.
[14]	黄颖, 李昌盛, 彭慧, 刘苏. 用于动态场景高动态范围成像的局部熵引导的双分支网络[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 204-213.
[15]	郑宗生, 杜嘉, 成雨荷, 赵泽骋, 张月维, 王绪龙. 用于红外-可见光图像分类的跨模态双流交替交互网络[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 275-283.