融合用户需求和边界约束的平面图生成算法

doi:10.11772/j.issn.1001-9081.2021122143

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (2): 575-582.DOI: 10.11772/j.issn.1001-9081.2021122143

• 多媒体计算与计算机仿真 • 上一篇

融合用户需求和边界约束的平面图生成算法

王若莹¹, 吕凡², 赵柳清¹, 胡伏原¹()

^1.苏州科技大学电子与信息工程学院，江苏苏州 215009
^2.天津大学智能与计算学部，天津 300350

收稿日期:2021-12-22 修回日期:2022-02-28 接受日期:2022-03-10 发布日期:2023-02-08 出版日期:2023-02-10
通讯作者: 胡伏原
作者简介:王若莹（1998—），女，浙江金华人，硕士研究生，CCF会员，主要研究方向：图像处理、深度学习、平面图生成
吕凡（1993—），男，江苏沭阳人，博士研究生，CCF会员，主要研究方向：连续学习、多模态学习、多任务学习
赵柳清（1995—），男，安徽淮南人，硕士研究生，CCF会员，主要研究方向：多模态图像生成、深度学习、图像编辑；
基金资助:
国家自然科学基金资助项目(61876121)

Floorplan generation algorithm integrating user requirements and boundary constraints

Ruoying WANG¹, Fan LYU², Liuqing ZHAO¹, Fuyuan HU¹()

^1.School of Electronic and Information Engineering，Suzhou University of Science and Technology，Suzhou Jiangsu 215009，China
^2.College of Intelligence and Computing，Tianjin University，Tianjin 300350，China

Received:2021-12-22 Revised:2022-02-28 Accepted:2022-03-10 Online:2023-02-08 Published:2023-02-10
Contact: Fuyuan HU
About author:WANG Ruoying， born in 1998， M. S. candidate. Her research interests include image processing， deep learning， floorplan generation.
LYU Fan， born in 1993， Ph. D. candidate. His research interests include continual learning， multi-modal learning， multi-task learning.
ZHAO Liuqing， born in 1995， M. S. candidate. His research interests include multi-modal image generation， deep learning， image edit.
Supported by:
National Natural Science Foundation of China(61876121)

摘要/Abstract

摘要：

平面图设计是房屋设计的重要过程，而现有的自动化平面图设计方法缺乏考虑用户需求和建筑边界的共同约束，存在生成房间形状缺角、房间之间遮挡严重以及房间超越边界的布局不合理问题。针对上述问题，提出一种融合用户需求和边界约束的房屋平面图生成对抗网络（GBC-GAN），它由约束布局生成器和房间关系鉴别器构成。首先，将用户指定的房屋布局需求（包括房间数量和类型以及房屋之间的邻接方位关系）转化为约束关系图结构，之后对建筑边界和约束关系图分别编码并进行特征融合；然后，在约束布局生成器中引入边界框预测模块以将平面图生成问题转化为各房间对象边界框生成问题，并利用几何边界优化损失来解决房间之间遮挡严重、房间超越边界的问题；最后，将房间边界框布局和约束关系图输入到房间关系鉴别器训练生成符合房间对象及其关系的平面图布局。在大型真实建筑数据集RPLAN上，该方法的弗雷歇距离（FID）和结构相似性指数（SSIM）比House-GAN方法分别提升了4.39%和2.3%。实验结果表明，在不同用户需求和边界限制条件下，所提方法提高了房屋平面图的合理性和真实性。

关键词: 平面图生成, 图卷积神经网络, 生成对抗网络, 自动布局, 建筑设计

Abstract:

Floorplan design is an important step of house design. However， the existing automatic floorplan design methods lack the common constraints of considering user requirements and building boundaries. Thus， these methods suffer from unreasonable layout problems such as missing corners of generated room， severe occlusion between rooms and room getting out of the boundary. In order to solve the above problems， a building floorplan GBC-GAN （Graph Boundary Constrained-Generative Adversarial Network） was proposed based on user requirements and boundary constraints， and the proposed method consists of a constraint layout generator and a room relation discriminator. Firstly， the user-specified floorplan layout requirements （including the number and types of rooms and the adjacency relationship between houses） were transformed into a constraint relation graph structure， after that， the building boundary and constraint relation graph were encoded separately for feature fusion. Then， by adding the prediction module of bounding box， the constraint layout generator was used to convert the floorplan generation problem into a bounding box generation problem of each room object， and the geometric boundary optimization loss was used to solve the problems of severe occlusion between rooms and room getting out of the boundary. Finally， the room bounding box layout and the constraint relation graph were input into the room relation discriminator for training to generate the floorplan layout meeting the room objects and their relations. The Frechet Inception Distance （FID） and Structural Similarity Index Measure （SSIM） of the proposed method are improved by 4.39% and 2.3% compared with those of House-GAN on the large-scale real building dataset RPLAN. Experimental results show the proposed method improves the rationality and authenticity of the floorplan layout under different user requirements and boundary constraints.

Key words: floorplan generation, Graph Convolutional Network (GCN), Generative Adversarial Network (GAN), automatic layout, architectural design

中图分类号:

TP391

王若莹, 吕凡, 赵柳清, 胡伏原. 融合用户需求和边界约束的平面图生成算法[J]. 计算机应用, 2023, 43(2): 575-582.

Ruoying WANG, Fan LYU, Liuqing ZHAO, Fuyuan HU. Floorplan generation algorithm integrating user requirements and boundary constraints[J]. Journal of Computer Applications, 2023, 43(2): 575-582.

图/表 11

图1 GBC-GAN的整体框架

Fig. 1 Overall framework of GBC-GAN

图2 约束关系图编码的信息

Fig. 2 Coding information of constraint relation graph

图3 针对约束关系图的图卷积层消息传播

Fig. 3 Graph convolutional layer message propagation for constraint relation graph

图4 几何边界优化损失示意图

Fig. 4 Schematic diagram of geometric boundary optimization loss

图5 房间关系鉴别器

Fig. 5 Room relation discriminator

图6 重叠像素类型确定示意图

Fig. 6 Schematic diagram of overlapping pixel type determination

表1 RPLAN数据集上不同方法生成256×256图像的定量评价

Tab. 1 Quantitative evaluation of 256×256 images generated by different methods on RPLAN dataset

方法	FLOPs/M↓	FID↓	SSIM↑
House-GAN	1 404.351	94.59	0.824
Ashual	4 532.051	178.20	0.588
本文方法	577.426	90.44	0.843

图7 不同方法在RPLAN数据集上生成布局的比较

Fig. 7 Generated layout comparison by different methods on RPLAN dataset

表2 添加几何边界优化损失生成256×256图像在RPLAN数据集上的评分

Tab. 2 Scores of 256×256 images generated with adding geometric boundary optimization losses on RPLAN dataset

$L i n s i d e$	$L c o v e r$	$L o v e r l a p$	FID↓	SSIM↑
			195.54	0.706
√			120.88	0.718
√	√		108.43	0.757
√	√	√	90.44	0.843

表2 添加几何边界优化损失生成256×256图像在RPLAN数据集上的评分

Tab. 2 Scores of 256×256 images generated with adding geometric boundary optimization losses on RPLAN dataset

$L i n s i d e$	$L c o v e r$	$L o v e r l a p$	FID↓	SSIM↑
			195.54	0.706
√			120.88	0.718
√	√		108.43	0.757
√	√	√	90.44	0.843

图8 加入几何边界优化损失前后在RPLAN数据集上的可视化比较

Fig. 8 Visualized comparison before and after adding geometric boundary optimization loss on RPLAN dataset

表3 超参数分析

Tab. 3 Hyperparameter analysis

$λ 1$	$λ 2$	FID↓	SSIM↑
1.0	1.00	125.99	0.605
1.0	0.10	90.44	0.843
1.0	0.01	183.76	0.783
0.1	0.10	159.60	0.707
10.0	0.10	152.13	0.754

表3 超参数分析

Tab. 3 Hyperparameter analysis

$λ 1$	$λ 2$	FID↓	SSIM↑
1.0	1.00	125.99	0.605
1.0	0.10	90.44	0.843
1.0	0.01	183.76	0.783
0.1	0.10	159.60	0.707
10.0	0.10	152.13	0.754

参考文献 21

1	WU W M， FAN L B， LIU L G， et al. MIQP-based layout design for building interiors［J］. Computer Graphics Forum， 2018， 37（2）： 511-521. 10.1111/cgf.13380
2	LI X Y， ZHANG S C， HU J， et al. Image-to-image translation via hierarchical style disentanglement［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 8635-8644. 10.1109/cvpr46437.2021.00853
3	孙钰，李林燕，叶子寒，等. 多层次结构生成对抗网络的文本生成图像方法［J］. 计算机应用， 2019， 39（11）： 3204-3209. 10.11772/j.issn.1001-9081.2019051077
	SUN Y， LI L Y， YE Z H， et al. Text-to-image synthesis method based on multi-level structure generative adversarial networks［J］. Journal of Computer Applications， 2019， 39（11）： 3204-3209. 10.11772/j.issn.1001-9081.2019051077
4	NAUATA N， HOSSEINI S， CHANG K H， et al. House-GAN++： generative adversarial layout refinement network towards intelligent computational agent for professional architects［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 13627-13636. 10.1109/cvpr46437.2021.01342
5	AZIZI V， USMAN M， ZHOU H L， et al. Graph-based generative representation learning of semantically and behaviorally augmented floorplans［J］. The Visual Computer， 2022， 38（8）： 2785-2800. 10.1007/s00371-021-02155-w
6	CHAILLOU S. ArchiGAN： artificial intelligence x architecture［M］// YUAN P F， XIE M， LEACH N， et al. Architectural Intelligence： Selected Papers from the 1st International Conference on Computational Design and Robotic Fabrication （CDRF 2019）. Singapore： Springer， 2020： 117-127. 10.1007/978-981-15-6568-7_8
7	MICHALEK J， CHOUDHARY R， PAPALAMBROS P. Architectural layout design optimization［J］. Engineering Optimization， 2002， 34（5）： 461-484. 10.1080/03052150214016
8	WU W M， FU X M， TANG R， et al. Data-driven interior plan generation for residential buildings［J］. ACM Transactions on Graphics， 2019， 38（6）： No.234. 10.1145/3355089.3356556
9	GUPTA K， LAZAROW J， ACHILLE A， et al. LayoutTransformer： layout generation and completion with self-attention［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 984-994. 10.1109/iccv48922.2021.00104
10	ARROYO D M， POSTELS J， TOMBARI F. Variational transformer networks for layout generation［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 13637-13647. 10.1109/cvpr46437.2021.01343
11	MERRELL P， SCHKUFZA E， KOLTUN V. Computer-generated residential building layouts［J］. ACM Transactions on Graphics， 2010， 29（6）： No.181. 10.1145/1882261.1866203
12	ROSSER J F， SMITH G， MORLEY J G. Data-driven estimation of building interior plans［J］. International Journal of Geographical Information Science， 2017， 31（8）： 1652-1674. 10.1080/13658816.2017.1313980
13	PATIL A G， LI M Y， FISHER M， et al. LayoutGMN： neural graph matching for structural layout similarity［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 11043-11052. 10.1109/cvpr46437.2021.01090
14	NAUATA N， CHANG K H， CHENG C Y， et al. House-GAN： relational generative adversarial networks for graph-constrained house layout generation［C］// Proceedings of the 2020 European Conference on Computer Vision， LNCS 12346. Cham： Springer， 2020： 162-177.
15	兰红，刘秦邑. 图注意力网络的场景图到图像生成模型［J］. 中国图象图形学报， 2020， 25（8）： 1591-1603.
	LAN H， LIU Q Y. Image generation from scene graph with graph attention network［J］. Journal of Image and Graphics， 2020， 25（8）： 1591-1603.
16	WU J Q， HUANG Z W， THOMA J， et al. Wasserstein divergence for GANs［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11209. Cham： Springer， 2018： 673-688.
17	ZHANG F Y， NAUATA N， FURUKAWA Y. Conv-MPN： convolutional message passing neural network for structured outdoor architecture reconstruction［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 2795-2804. 10.1109/cvpr42600.2020.00287
18	WEI Y X， SHI Y P， LIU X， et al. Orthogonal Jacobian regularization for unsupervised disentanglement in image generation［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 6701-6710. 10.1109/iccv48922.2021.00665
19	YU A， YE V， TANCIK M， et al. PixelNeRF： neural radiance fields from one or few images［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 4576-4585. 10.1109/cvpr46437.2021.00455
20	LI Y S， CHEN Y P， DAI X Y， et al. MicroNet： improving image recognition with extremely low flops［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 458-467. 10.1109/iccv48922.2021.00052
21	ASHUAL O， WOLF L. Specifying object attributes and relations in interactive scene generation［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019： 4560-4568. 10.1109/iccv.2019.00466

[1]	陈刚, 廖永为, 杨振国, 刘文印. 基于多特征融合的多尺度生成对抗网络图像修复算法[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 536-544.
[2]	朱利安, 张鸿. 基于双分支条件生成对抗网络的非均匀图像去雾[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 567-574.
[3]	刘拥民, 杨钰津, 罗皓懿, 黄浩, 谢铁强. 基于双向循环生成对抗网络的无线传感网入侵检测方法[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 160-168.
[4]	林洋平, 刘佳, 陈培, 张明书, 杨晓元. 基于深度卷积生成对抗网络的半生成式视频隐写方案[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 169-175.
[5]	胡紫琪, 谢凯, 文畅, 李美然, 贺建飚. 生成对抗网络下的低剂量CT图像增强[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 280-288.
[6]	张文涛, 王园宇, 李赛泽. 基于条件对抗网络的单幅霾图像深度估计模型[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2865-2875.
[7]	强赞霞, 鲍先富. 基于卷积长短期记忆的残差注意力去雨网络[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2858-2864.
[8]	韩泽芳, 张雄, 上官宏, 韩兴隆, 韩静, 奉刚, 崔学英. 用于低剂量CT降噪的伪影感知生成对抗网络[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2301-2310.
[9]	李佳, 郑元林, 廖开阳, 楼豪杰, 李世宇, 陈泽豪. 基于显著性深层特征的无参考图像质量评价算法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1957-1964.
[10]	陈浩杰, 范江亭, 刘勇. 深度强化学习解决动态旅行商问题[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1194-1200.
[11]	李晓杰, 崔超然, 宋广乐, 苏雅茜, 吴天泽, 张春云. 基于时序超图卷积神经网络的股票趋势预测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 797-803.
[12]	曹一珉, 蔡磊, 高敬阳. 基于生成对抗网络的基因数据生成方法[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 783-790.
[13]	杨鼎康, 黄帅, 王顺利, 翟鹏, 李一丹, 张立华. 基于生成对抗网络和网络集成的面部表情识别方法EE-GAN[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 750-756.
[14]	赵玉明, 顾慎凯. 融合残差密集块自注意力机制和生成对抗网络的对抗攻击防御模型[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 921-929.
[15]	富坤, 高金辉, 赵晓梦, 李佳宁. 融合全局结构信息的拓扑优化图卷积网络[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 357-364.

融合用户需求和边界约束的平面图生成算法

Floorplan generation algorithm integrating user requirements and boundary constraints

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 21

相关文章 15

编辑推荐

Metrics