级联跨域特征融合的虚拟试衣

doi:10.11772/j.issn.1001-9081.2021071274

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (4): 1269-1274.DOI: 10.11772/j.issn.1001-9081.2021071274

• CCF第36届中国计算机应用大会 (CCF NCCA 2021) • 上一篇

级联跨域特征融合的虚拟试衣

胡新荣¹^,², 张君宇¹^,², 彭涛¹^,²(), 刘军平¹^,², 何儒汉¹^,², 何凯¹^,²

^1.湖北省服装信息化工程技术研究中心（武汉纺织大学），武汉 430200
^2.武汉纺织大学计算机与人工智能学院，武汉 430200

收稿日期:2021-07-16 修回日期:2021-10-04 接受日期:2021-10-13 发布日期:2022-04-15 出版日期:2022-04-10
通讯作者: 彭涛
作者简介:胡新荣（1973—），女，湖北武汉人，教授，博士，CCF会员，主要研究方向：图像处理、模式识别、虚拟现实、自然语言处理
张君宇（1996—），男，湖北荆州人，硕士研究生，CCF会员，主要研究方向：虚拟试衣
刘军平（1979—），男，湖北武汉人，副教授，博士，CCF会员，主要研究方向：工业大数据、人工智能
何儒汉（1974—），男，湖北武汉人，教授，博士，CCF会员，主要研究方向：机器学习、大数据分析、计算机视觉
何凯（1987—），男，湖北武汉人，讲师，博士，CCF会员，主要研究方向：网络安全、云存储数据安全审计。
基金资助:
湖北省高等学校优秀中青年科技创新团队计划项目(T201807)

Cascaded cross-domain feature fusion for virtual try-on

Xinrong HU¹^,², Junyu ZHANG¹^,², Tao PENG¹^,²(), Junping LIU¹^,², Ruhan HE¹^,², Kai HE¹^,²

^1.Engineering Research Center of Hubei Province in Clothing Informationization （Wuhan Textile University），Wuhan Hubei 430200，China
^2.School of Computer Science and Artificial Intelligence，Wuhan Textile University，Wuhan Hubei 430200，China

Received:2021-07-16 Revised:2021-10-04 Accepted:2021-10-13 Online:2022-04-15 Published:2022-04-10
Contact: Tao PENG
About author:HU Xinrong， born in 1973， Ph. D.， professor. Her research interests include image processing， pattern recognition， virtual reality， natural language processing.
ZHANG Junyu， born in 1996， M. S. candidate. His research interests include virtual try-on.
LIU Junping， born in 1979， Ph. D.， associate professor. His research interests include industrial big data， artificial intelligence.
HE Ruhan， born in 1974， Ph. D.， professor. His research interests include machine learning， big data analysis， computer vision.
HE Kai， born in 1987， Ph. D.， lecturer. His research interests include network security， cloud storage data security audit.
Supported by:
Hubei Province Colleges and Universities Outstanding Young and Middle-Aged Technological Innovation Team Program(T201807)

摘要/Abstract

摘要：

基于图像合成蒙版策略的虚拟试衣技术在扭曲服装和人体融合时能较好地保留服装细节。然而由于在试衣过程中人体和服装的位置和结构难以对齐，试衣结果容易产生严重的遮挡，影响视觉效果。为解决试衣过程中的遮挡问题，提出了一种基于U-Net的生成器。该生成器在U-Net解码器上添加级联的空间和通道注意力模块，从而实现了着装人体的局部特征和扭曲服装的和全局特征的跨域融合。形式上，首先采用卷积网络预测薄板样条插值（TPS）变换的方法将服装根据目标人体姿态进行扭曲；然后，将着装人体解析信息和扭曲服装输入到提出的生成器中，并获取对应服装区域的掩码图像以渲染中间结果；最后，采用掩码合成的策略来通过掩码处理将扭曲服装与中间结果合成得到最终的试衣结果。实验结果表明，所提方法不仅可以减少遮挡，而且增强了图像细节，相较于CP-VTON方法，产生的图像的平均峰值信噪比（PSNR）提高了10.47%，平均FID减小了47.28%，平均结构相似性（SSIM）提高了4.16%。

关键词: 虚拟试衣, 注意力机制, 特征融合, 遮挡处理, 级联, 跨域特征融合

Abstract:

The virtual try-on technologies based on image synthesis mask strategy can better retain details of the clothing when the warped clothing is fused with the human body. However， because the position and structure of the human body and the clothing are difficult to align during the try-on process， the try-on result is likely to produce severe occlusion， affecting visual effect. In order to solve the occlusion in the try-on process， a U-Net based generator was proposed. In the generator， a cascaded spatial attention module and a channel attention module were added to the U-Net decoder， thereby achieving the cross-domain fusion between local features of warped clothes and global features of the human body. Formally， first， by predicting the Thin Plate Spline （TPS） conversion using the convolutional network， the clothing was distorted according to the target human body pose. Then， the dressed-on person representation information and the warped clothing were input into the proposed generator， and the mask image of the corresponding clothing area was obtained to render the intermediate result. Finally， the strategy of mask synthesis was used to synthesize the warped clothing with the intermediate result through mask processing to obtain the final try-on result. Experimental results show that the proposed method can not only reduce occlusion， but also enhance image details. Compared with Characteristic-Preserving Virtual Try-On Network （CP-VTON） method， the proposed method has the generated image with the average Peak Signal-to-Noise Ratio （PSNR） increased by 10.47%， the average Fréchet Inception Distance （FID） decreased by 47.28%， and the average Structural SIMilarity （SSIM） increased by 4.16%.

Key words: virtual try-on, attention mechanism, feature fusion, occlusion processing, cascaded, cross-domain feature fusion

中图分类号:

TP18

胡新荣, 张君宇, 彭涛, 刘军平, 何儒汉, 何凯. 级联跨域特征融合的虚拟试衣[J]. 计算机应用, 2022, 42(4): 1269-1274.

Xinrong HU, Junyu ZHANG, Tao PENG, Junping LIU, Ruhan HE, Kai HE. Cascaded cross-domain feature fusion for virtual try-on[J]. Journal of Computer Applications, 2022, 42(4): 1269-1274.

图/表 8

图1 着装人体信息解析 P 实现人体和服装解耦

Fig. 1 Person representation information P to decouple human body and clothing

图2 服装扭曲模块

Fig. 2 Clothing warping module

图3 改进试衣合成模块的框架

Fig. 3 Framework of improved try-on synthesis module

图4 改进的试衣合成模块主要结构

Fig. 4 Main structure of improved try-on synthesis module

图5 级联的双注意力机制

Fig. 5 Cascaded dual attention mechanism

表1 三种模型的定量结果对比

Tab. 1 Comparison of quantitative results among three models

模型	FID↓	SSIM↑	PSNR↑	VGG↓	网络参数量/10⁴↓
CP-VTON	33.441 0	0.799 7	21.780 8	0.377 3	4 039
ACGPN	15.972 8	0.845 3	23.119 5	0.392 3	42 740
本文模型	17.629 3	0.833 0	24.060 2	0.323 9	5 411

图6 本文模型与CP-VTON的服装掩码 M' 生成效果对比

Fig. 6 Comparison of generation effect of clothing mask M' between proposed model with CP-VTON

图7 本文模型与CP-VTON、ACGPN的视觉效果对比结果

Fig. 7 Visual effects of proposed model compared with CP-VTON and ACGPN

参考文献 20

1	李俊，张明敏，潘志庚. 人物替换模式的虚拟试衣［J］. 计算机辅助设计与图形学学报， 2015， 27（9）：1694-1700. 10.3969/j.issn.1003-9775.2015.09.013
	LI J， ZHANG M M， PAN Z G. Virtual try-on by replacing the person in image［J］. Journal of Computer-Aided Design and Computer Graphics， 2015， 27（9）： 1694-1700. 10.3969/j.issn.1003-9775.2015.09.013
2	张晓丽，姚俊峰，黄萍. 基于Kinect的实时360度虚拟试衣［J］. 系统仿真学报， 2016， 28（10）：2378-2384， 2393.
	ZHANG X L， YAO J F， HUANG P. 360-degree virtual fitting based on Kinect［J］. Journal of System Simulation， 2016， 28（10）： 2378-2384， 2393.
3	HAN X T， WU Z X， WU Z， et al. VITON： an image-based virtual try-on network［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7543-7552. 10.1109/cvpr.2018.00787
4	WANG B C， ZHENG H B， LIANG X D， et al. Toward characteristic-preserving image-based virtual try-on network［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11217. Cham： Springer， 2018： 607-623.
5	GOODFELLOW I J， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial nets［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2014： 2672-2680.
6	MIRZA M， OSINDERO S. Conditional generative adversarial nets［EB/OL］. （2014-11-06）［2021-06-20］..
7	BELONGIE S， MALIK J， PUZICHA J. Shape matching and object recognition using shape contexts［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2002， 24（4）： 509-522. 10.1109/34.993558
8	ROCCO I， ARANDJELOVIC R， SIVIC J. Convolutional neural network architecture for geometric matching［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 39-48. 10.1109/cvpr.2017.12
9	RONNEBERGER O， FISCHER P， BROX T. U-net： convolutional networks for biomedical image segmentation［C］// Proceedings of the 2015 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 9351. Cham： Springer， 2015： 234-241.
10	GONG K， LIANG X D， ZHANG D Y， et al. Look into person： self-supervised structure-sensitive learning and a new benchmark for human parsing［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 6757-6765. 10.1109/cvpr.2017.715
11	CAO Z， SIMON T， WEI S E， et al. Realtime multi-person 2D pose estimation using part affinity fields［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 1302-1310. 10.1109/cvpr.2017.143
12	OKTAY O， SCHLEMPER J， FOLGOC L L， et al. Attention U-Net： learning where to look for the pancreas［EB/OL］. （2018-05-20）［2021-06-20］..
13	TREBING K， STANCZYK T， MEHRKANOON S. SmaAt-UNet： Precipitation nowcasting using a small attention-UNet architecture［J］. Pattern Recognition Letters， 2021， 145： 178-186. 10.1016/j.patrec.2021.01.036
14	WOO S， PARK J， LEE J Y， et al. CBAM： convolutional block attention module［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11211. Cham： Springer， 2018： 3-19.
15	JOHNSON J， ALAHI A， LI F F. Perceptual losses for real-time style transfer and super-resolution［C］// Proceedings of the 2016 European Conference on Computer Vision， LNCS 9906. Cham： Springer， 2016： 694-711.
16	DENG J， DONG W， SOCHER R， et al. ImageNet： a large-scale hierarchical image database［C］// Proceedings of the 2009 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2009： 248-255. 10.1109/cvpr.2009.5206848
17	SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］. （2015-04-10）［2021-06-20］.. 10.5244/c.28.6
18	YANG H， ZHANG R M， GUO X B， et al. Towards photo-realistic virtual try-on by adaptively generating↔preserving image content［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 7847-7856. 10.1109/cvpr42600.2020.00787
19	HEUSEL M， RAMSAUER H， UNTERTHINER T， et al. GANs trained by a two time-scale update rule converge to a local Nash equilibrium［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 6629-6640.
20	WANG Z， BOVIK A C， SHEIKH H R， et al. Image quality assessment： from error visibility to structural similarity［J］. IEEE Transactions on Image Processing， 2004， 13（4）： 600-612. 10.1016/j.jvcir.2019.102655

[1]	蒋雯静, 熊熙, 李中志, 李斌勇. 基于无采样协作知识图网络的推荐系统[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1057-1064.
[2]	董永峰, 孙跃华, 高立超, 韩鹏, 季海鹏. 基于改进一维卷积和双向长短期记忆神经网络的故障诊断方法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1207-1215.
[3]	刘志华, 陈文洁, 陈爱斌. 基于自注意力机制时频谱同源特征融合的鸟鸣声分类[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1260-1268.
[4]	顾军华, 王锐, 李宁宁, 张素琪. 融合协同过滤信息的知识图注意力网络[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1087-1092.
[5]	赵玉明, 顾慎凯. 融合残差密集块自注意力机制和生成对抗网络的对抗攻击防御模型[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 921-929.
[6]	林乐平, 周宏敏, 欧阳宁. 融合空间位置与结构信息的压缩感知图像重建方法[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 930-937.
[7]	刘朋伟, 高媛, 秦品乐, 殷喆, 王丽芳. 基于多感受野的生成对抗网络医学MRI影像超分辨率重建[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 938-945.
[8]	朱文球, 邹广, 曾志高. 融合层次特征和混合注意力的目标跟踪算法[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 833-843.
[9]	余娜, 刘彦, 魏雄炬, 万源. 基于注意力机制和金字塔融合的RGB-D室内场景语义分割[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 844-853.
[10]	邓天民, 冒国韬, 周臻浩, 段志坚. 基于密集连接卷积神经网络的道路车辆检测与识别算法[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 883-889.
[11]	罗圣钦, 陈金怡, 李洪均. 基于注意力机制的多尺度残差UNet实现乳腺癌灶分割[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 818-824.
[12]	杨鼎康, 黄帅, 王顺利, 翟鹏, 李一丹, 张立华. 基于生成对抗网络和网络集成的面部表情识别方法EE-GAN[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 750-756.
[13]	潘仁志, 钱付兰, 赵姝, 张燕平. 基于卷积神经网络交互的用户属性偏好建模的推荐模型[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 404-411.
[14]	张毅, 王爽胜, 何彬, 叶培明, 李克强. 基于BERT的初等数学文本命名实体识别方法[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 433-439.
[15]	李亚鸣, 邢凯, 邓洪武, 王志勇, 胡璇. 基于小样本无梯度学习的卷积结构预训练模型性能优化方法[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 365-374.

级联跨域特征融合的虚拟试衣

Cascaded cross-domain feature fusion for virtual try-on

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 20

相关文章 15

编辑推荐

Metrics