差异感知的室内场景动态光照在线估计方法

doi:10.11772/j.issn.1001-9081.2023121786

《计算机应用》唯一官方网站 ›› 0, Vol. ›› Issue (): 184-191.DOI: 10.11772/j.issn.1001-9081.2023121786

• 多媒体计算与计算机仿真 • 上一篇下一篇

差异感知的室内场景动态光照在线估计方法

刘玉婉¹, 郭智溢², 邢冠宇²(), 刘艳丽¹^,²

^1.四川大学计算机学院，成都 610065
^2.四川大学视觉合成图形图像技术国家级重点实验室，成都 610065

收稿日期:2023-12-27 修回日期:2024-03-17 接受日期:2024-03-25 发布日期:2025-01-24 出版日期:2024-12-31
通讯作者: 邢冠宇
作者简介:刘玉婉（1999—），女，安徽淮南人，硕士研究生，CCF会员，主要研究方向：计算机图形学、图像处理
郭智溢（1994—），男，四川成都人，硕士，主要研究方向：计算机视觉、图像处理
邢冠宇（1985—）男，吉林德惠人，副教授，博士，CCF会员，主要研究方向为：计算机图形学、增强现实
刘艳丽（1981—），女，河南沈丘人，教授，博士，主要研究方向：虚拟/增强现实、计算机图形学、计算机视觉。
基金资助:
国家自然科学基金资助项目(62172290);四川省重点研发计划项目(2023YFS0454)

Variation-aware online dynamic illumination estimation method for indoor scenes

Yuwan LIU¹, Zhiyi GUO², Guanyu XING²(), Yanli LIU¹^,²

^1.College of Computer Science，Sichuan University，Chengdu Sichuan 610065，China
^2.National Key Laboratory of Fundamental Science on Synthetic Vision，Sichuan University，Chengdu Sichuan 610065，China

Received:2023-12-27 Revised:2024-03-17 Accepted:2024-03-25 Online:2025-01-24 Published:2024-12-31
Contact: Guanyu XING

摘要/Abstract

摘要：

为了提高增强现实场景中虚实融合的真实感，提出一种差异感知的室内场景动态光照在线估计方法。与现有方法直接计算光照参数或生成光照贴图不同，该方法通过估计不同光照条件下场景的光照差异图像实现对于室内场景中光照的动态更新，从而更准确地获取场景动态光照并保留场景中的细节信息。所提方法的卷积神经网络（CNN）包括2个子网络，分别是低动态范围（LDR）图像特征提取网络和光照估计网络。整体网络结构以一张场景内所有主要光源开启时采集的高动态范围（HDR）全景光照贴图作为初始光照贴图，并把该光照贴图与光照变化后的有限视界的LDR图像共同作为输入。首先，基于AlexNet搭建CNN提取LDR图像特征，并在光照估计网络共享编码器中连接这些特征与HDR光照贴图特征；其次，利用U-Net结构，通过引入注意力机制，实现对光照差异图像和光源掩膜的估计，进而实现对场景动态光照的更新。在全景光照贴图的数值评估中，所提方法的均方误差（MSE）指标相较于Gardner方法、Garon方法、EMLight、Guo方法以及耦合的双StyleGAN全景合成网络StyleLight分别降低约79%、65%、38%、17%、87%，其他性能也有所提升。以上从定性和定量方面均证明了所提方法的有效性。

关键词: 室内场景, 动态光照, 深度学习, 合成数据集, 高动态范围

Abstract:

In order to enhance the sense of realism of the integration of virtual and real objects in augmented reality scenes， a variation-aware online dynamic illumination estimation method for indoor scenes was proposed. Unlike the existing methods that directly calculate lighting parameters or generate lightmaps， the lighting variation images of the scene under different lighting conditions are estimated by this method to implement the dynamic update of the scene illumination， which can obtain dynamic lighting of the scene more accurately and retain detailed information of the scene. The Convolutional Neural Network （CNN） of the proposed network includes two sub-networks， namely Low Dynamic Range （LDR） image feature extraction network and illumination estimation network. The whole network structure took a High Dynamic Range （HDR） panoramic lightmap with all the main light sources open in the scene as the initial lightmap， and this lightmap and the LDR image with limited field of view after lighting change were used as the input together. Firstly， the CNN was built based on AlexNet to extract the LDR image features， and these features were connected with the HDR lightmap features in illumination estimation network sharing encoder. Then， the U-Net structure was used to estimate the lighting variation image and the mask of light source by introducing the attention mechanism， so as to update the dynamic illumination of the scene. In the numerical evaluation of panoramic lightmap， the Mean Squared Error （MSE） indicator of the proposed method was improved by about 79%， 65%， 38%， 17%， and 87% compared with those of Gardner’s method， Garon’s method， EMLight， Guo’s method， and coupled dual StyleGAN panoramic synthesis network StyleLight， respectively， and other indicators were also improved. The above proves the effectiveness of the proposed method from both qualitative and quantitative aspects.

Key words: indoor scene, dynamic illumination, deep learning, synthetic dataset, High Dynamic Range (HDR)

中图分类号:

TP391.41

刘玉婉, 郭智溢, 邢冠宇, 刘艳丽. 差异感知的室内场景动态光照在线估计方法[J]. 计算机应用, 0, (): 184-191.

Yuwan LIU, Zhiyi GUO, Guanyu XING, Yanli LIU. Variation-aware online dynamic illumination estimation method for indoor scenes[J]. Journal of Computer Applications, 0, (): 184-191.

图/表 16

参考文献 36

1	AZUMA R T. A survey of augmented reality［J］. Presence： Teleoperators and Virtual Environments， 1997， 6（4）： 355-385.
2	SATO I， SATO Y， IKEUCHI K. Acquiring a radiance distribution to superimpose virtual objects onto a real scene ［J］. IEEE Transactions on Visualization and Computer Graphics， 1999， 5（1）： 1-12.
3	DEBEVEC P. Rendering synthetic objects into real scenes： bridging traditional and image-based graphics with global illumination and high dynamic range photography［C］// Proceedings of the 25th Annual Conference on Computer Graphics and Interactive Techniques. New York： ACM， 1998： 189-198.
4	GREEN R. Spherical harmonic lighting： the gritty details［ EB/OL］. ［2024-03-04］..
5	MURMANN L， GHARBI M， AITTALA M， et al. A dataset of multi-illumination images in the wild ［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 4079-4088.
6	郭智溢. 基于深度学习的室内场景光照估计［J］. 现代计算机， 2021（9）： 91-94.
7	KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks［J］. Communications of the ACM， 2017， 60（6）： 84-90.
8	RONNEBERGER O， FISCHER P， BROX T. U-Net： convolutional networks for biomedical image segmentation［C］// Proceedings of the 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Cham： Springer， 2015： 234-241.
9	GEORGOULIS S， REMATAS K， RITSCHEL T， et al. What is around the camera？［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 5180-5188.
10	FRAHM J M， KOESER K， GREST D， et al. Markerless augmented reality with light source estimation for direct illumination［C］// Proceedings of the 2nd IEE European Conference on Visual Media Production . Stevenage： IET， 2005： 211-220.
11	KARSCH K， HEDAU V， FORSYTH D， et al. Rendering synthetic objects into legacy photographs［J］. ACM Transactions on Graphics， 2011， 30（6）： 1-12.
12	KARSCH K， SUNKAVALLI K， HADAP S， et al. Automatic scene inference for 3D object compositing［J］. ACM Transactions on Graphics， 2014， 33（3）： No.32.
13	LOMBARDI S， NISHINO K. Reflectance and illumination recovery in the wild［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2016， 38（1）： 129-141.
14	EINABADI F， GUILLEMAUT J Y， HILTON A. Deep neural models for illumination estimation and relighting： a survey［J］. Computer Graphics Forum， 2021， 40（6）： 315-331.
15	GARDNER M A， SUNKAVALLI K， YUMER E， et al. Learning to predict indoor illumination from a single image［J］. ACM Transactions on Graphics， 2017， 36（6）： No.176.
16	GARDNER M A， HOLD-GEOFFROY Y， SUNKAVALLI K， et al. Deep parametric indoor lighting estimation［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 7174-7182.
17	CHENG D， SHI J， CHEN Y， et al. Learning scene illumination by pairwise photos from rear and front mobile cameras［J］. Computer Graphics Forum， 2018， 37（7）： 213-221.
18	LI M， GUO J， CUI X， et al. Deep spherical gaussian illumination estimation for indoor scene［C］// Proceedings of the 1st ACM International Conference on Multimedia in Asia. New York： ACM， 2019： No.13.
19	GARON M， SUNKAVALLI K， HADAP S， et al. Fast spatially-varying indoor lighting estimation ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 6901-6910.
20	SONG S R， FUNKHOUSER T. Neural illumination： lighting prediction for indoor environments ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 6911-6919.
21	ZHAN F， ZHANG C， YU Y， et al. EMLight： lighting estimation via spherical distribution approximation［C］// Proceedings of the 35th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2021： 3287-3295.
22	DASTJERDI M R K， EISENMANN J， HOLD-GEOFFROY Y， et al. EverLight： indoor-outdoor editable HDR lighting estimation［C］// Proceedings of the 2023 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2023： 7386-7395.
23	WANG G， YANG Y， LOY C C， et al. StyleLight： HDR panorama generation for lighting estimation and editing ［C］// Proceedings of the 2022 European Conference on Computer Vision， LNCS 13675. Cham： Springer， 2022： 477-490.
24	BAI J， HE Z， YANG S， et al. Local-to-global panorama inpainting for locale-aware indoor lighting prediction［J］. IEEE Transactions on Visualization and Computer Graphics， 2023， 29（11）： 4405-4416.
25	CALIAN D A， LALONDE J F， GOTARDO P， et al. From faces to outdoor light probes［J］. Computer Graphics Forum， 2018， 37（2）： 51-61.
26	MARQUES B A D， CLUA E W G， VASCONCELOS C N. Deep spherical harmonics light probe estimator for mixed reality games ［J］. Computers and Graphics， 2018， 76： 96-106.
27	MANDL D， YI K M， MOHR P， et al. Learning lightprobes for mixed reality illumination［C］// Proceedings of the 2017 IEEE International Symposium on Mixed and Augmented Reality. Piscataway： IEEE， 2017： 82-89.
28	GEORGOULIS S， REMATAS K， RITSCHEL T， et al. Reflectance and natural illumination from single-material specular objects using deep learning ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2018， 40（8）： 1932-1947.
29	XING G， LIU Y， LING H， et al. Automatic spatially varying illumination recovery of indoor scenes based on a single RGB-D image［J］. IEEE Transactions on Visualization and Computer Graphics， 2020， 26（4）： 1672-1685.
30	郭智溢.基于卷积神经网络的室内场景动态光照估计［D］.四川大学，2021.
31	四川大学. 一种面向AR的室内场景动态光照在线估计方法与装置： 202211386174.7 ［P］. 2022-12-06.
32	ZHANG J， XU Y， NI B， et al. Geometric constrained joint lane segmentation and lane boundary detection ［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11205. Cham： Springer， 2018： 502-518.
33	OKTAY O， SCHLEMPER J， LE FOLGOC L， et al. Attention U-Net： learning where to look for the pancreas［EB/OL］. ［2024-03-04］..
34	KALANTARI N K， RAMAMOORTHI R. Deep high dynamic range imaging of dynamic scenes ［J］. ACM Transactions on Graphics， 2017， 36（4）： No.144.
35	HAN J， ZHOU C， DUAN P， et al. Neuromorphic camera guided high dynamic range imaging［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 1730-1739.
36	HANDA A， PĂTRĂUCEAN V， BADRINARAYANAN V， et al. SceneNet： an annotated model generator for indoor scene understanding［C］// Proceedings of the 2016 IEEE International Conference on Robotics and Automation. Piscataway： IEEE， 2016： 5737-5743.

对比方法	PSNR/dB	SSIM	MSE	MSLE
本文方法	17.103 7	0.714 9	0.023 8	0.195 3
Gardner方法^［15］	10.136 8	0.348 2	0.113 2	0.707 5
Garon方法^［19］	12.914 6	0.458 4	0.067 6	0.639 7
EMLight^［21］	14.129 0	0.610 8	0.038 6	0.196 6
文献［6］方法	16.633 1	0.703 5	0.028 6	0.205 0
StyleLight^［23］	10.661 5	0.286 5	0.181 0	0.815 4

对比方法	PSNR/dB	SSIM	MSE	MSLE
本文方法	17.103 7	0.714 9	0.023 8	0.195 3
Gardner方法^［15］	10.136 8	0.348 2	0.113 2	0.707 5
Garon方法^［19］	12.914 6	0.458 4	0.067 6	0.639 7
EMLight^［21］	14.129 0	0.610 8	0.038 6	0.196 6
文献［6］方法	16.633 1	0.703 5	0.028 6	0.205 0
StyleLight^［23］	10.661 5	0.286 5	0.181 0	0.815 4

对比方法	RMSE	DSSIM
本文方法	0.034 7	0.007 9
Gardner方法^［15］	0.068 6	0.016 9
Garon方法^［19］	0.053 5	0.015 1
EMLight^［21］	0.078 7	0.032 7
文献［6］方法	0.073 6	0.027 3

对比方法	RMSE	DSSIM
本文方法	0.034 7	0.007 9
Gardner方法^［15］	0.068 6	0.016 9
Garon方法^［19］	0.053 5	0.015 1
EMLight^［21］	0.078 7	0.032 7
文献［6］方法	0.073 6	0.027 3

方法	网络	耗时/ms
本文方法	LDR图像特征提取	1.3
	光照估计网络共享编码器	2.0
	光照差异图像估计解码器	2.2
	光源掩膜估计解码器	3.7
	总计	9.2
EMLight	回归网络	8.4
	生成网络	15.0
	总计	23.4

差异感知的室内场景动态光照在线估计方法

Variation-aware online dynamic illumination estimation method for indoor scenes

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 16

参考文献 36

相关文章 15

编辑推荐

Metrics

实验方案	评价指标	真实数据	合成数据
方案1）	PSNR/dB	16.199 4	24.350 3
	SSIM	0.656 8	0.919 5
	MSE	0.029 8	0.004 7
	MSE （log）	0.288 4	0.090 6
方案2）	PSNR/dB	17.103 7	28.730 6
	SSIM	0.714 9	0.912 3
	MSE	0.023 8	0.003 5
	MSE （log）	0.195 3	0.110 6

权重取值	PSNR/dB	SSIM	MSE	MSLE
w₁=10，w₂=1	17.103 7	0.714 9	0.023 8	0.195 3
w₁=1，w₂=1	13.763 0	0.512 7	0.042 1	0.333 2

[1]	张宏俊, 潘高军, 叶昊, 陆玉彬, 缪宜恒. 结合深度学习和张量分解的多源异构数据分析方法[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2838-2847.
[2]	李进, 刘立群. 基于残差Swin Transformer的SAR与可见光图像融合[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2949-2956.
[3]	殷兵, 凌震华, 林垠, 奚昌凤, 刘颖. 兼容缺失模态推理的情感识别方法[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2764-2772.
[4]	李维刚, 邵佳乐, 田志强. 基于双注意力机制和多尺度融合的点云分类与分割网络[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 3003-3010.
[5]	许志雄, 李波, 边小勇, 胡其仁. 对抗样本嵌入注意力U型网络的3D医学图像分割[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 3011-3016.
[6]	景攀峰, 梁宇栋, 李超伟, 郭俊茹, 郭晋育. 基于师生学习的半监督图像去雾算法[J]. 《计算机应用》唯一官方网站, 2025, 45(9): 2975-2983.
[7]	葛丽娜, 王明禹, 田蕾. 联邦学习的高效性研究综述[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2387-2398.
[8]	彭鹏, 蔡子婷, 刘雯玲, 陈才华, 曾维, 黄宝来. 基于CNN和双向GRU混合孪生网络的语音情感识别方法[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2515-2521.
[9]	张硕, 孙国凯, 庄园, 冯小雨, 王敬之. 面向区块链节点分析的eclipse攻击动态检测方法[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2428-2436.
[10]	廖炎华, 鄢元霞, 潘文林. 基于YOLOv9的交通路口图像的多目标检测算法[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2555-2565.
[11]	索晋贤, 张丽萍, 闫盛, 王东奇, 张雅雯. 可解释的深度知识追踪方法综述[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2043-2055.
[12]	王震洲, 郭方方, 宿景芳, 苏鹤, 王建超. 面向智能巡检的视觉模型鲁棒性优化方法[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2361-2368.
[13]	齐巧玲, 王啸啸, 张茜茜, 汪鹏, 董永峰. 基于元学习的标签噪声自适应学习算法[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2113-2122.
[14]	赵小阳, 许新征, 李仲年. 物联网应用中的可解释人工智能研究综述[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2169-2179.
[15]	李岚皓, 严皓钧, 周号益, 孙庆赟, 李建欣. 基于神经网络的多尺度信息融合时间序列长期预测模型[J]. 《计算机应用》唯一官方网站, 2025, 45(6): 1776-1783.