独立性视角下的相频融合领域泛化方法

doi:10.11772/j.issn.1001-9081.2023050623

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (4): 1002-1009.DOI: 10.11772/j.issn.1001-9081.2023050623

所属专题：第九届全国智能信息处理学术会议（NCIIP 2023）

• 第九届全国智能信息处理学术会议（NCIIP 2023） • 上一篇下一篇

独立性视角下的相频融合领域泛化方法

肖斌¹^,², 杨模¹^,², 汪敏³(), 秦光源¹, 李欢⁴

^1.西南石油大学计算机与软件学院，成都 610500
^2.西南石油大学大数据与知识工程研究中心，成都 610500
^3.西南石油大学电气信息学院，成都 610500
^4.西南油气田公司通信与信息技术中心，成都 610501

收稿日期:2023-05-22 修回日期:2023-06-14 接受日期:2023-06-15 发布日期:2023-08-01 出版日期:2024-04-10
通讯作者: 汪敏
作者简介:肖斌（1978—），男，重庆人，教授，硕士，CCF会员，主要研究方向：软件工程、企业信息化
杨模（1999—），男，四川渠县人，硕士研究生，主要研究方向：领域泛化、因果学习
汪敏（1980—），女，湖南邵阳人，教授，硕士，CCF会员，主要研究方向：主动学习、信号和信息处理 wangmin80616@163.com
秦光源（1978—），男，四川蓬溪人，讲师，硕士，主要研究方向：软件工程、数字油田
李欢（1993—），女，四川成都人，助理研究员，主要研究方向：数字油田、软件工程。
基金资助:
国家自然科学基金资助项目(62006200);四川省科技计划项目(2022YFG0179);油气藏地质及开发工程国家重点实验室（成都理工大学）项目(PLC20211104)

Domain generalization method of phase-frequency fusion from independent perspective

Bin XIAO¹^,², Mo YANG¹^,², Min WANG³(), Guangyuan QIN¹, Huan LI⁴

^1.School of Computer Science and Software Engineering，Southwest Petroleum University，Chengdu Sichuan 610500，China
^2.Big Data and Knowledge Engineering Research Center，Southwest Petroleum University，Chengdu Sichuan 610500，China
^3.School of Electrical Engineering and Information，Southwest Petroleum University，Chengdu Sichuan 610500，China
^4.Communication and Information Technology Center，Southwest Oil & Gas Field Company，Chengdu Sichuan 610501，China

Received:2023-05-22 Revised:2023-06-14 Accepted:2023-06-15 Online:2023-08-01 Published:2024-04-10
Contact: Min WANG
About author:XIAO Bin， born in 1978， M. S.， professor. His research interests include software engineering， enterprise informatization.
YANG Mo， born in 1999， M. S. candidate. His research interests include domain generalization， causal learning.
WANG Min， born in 1980， M. S.， professor. Her research interests include active learning， signal and information processing.
QIN Guangyuan， born in 1978， M. S.， lecturer. His research interests include software engineering， digital oilfield.
LI Huan， born in 1993， assistant researcher. Her research interests include digital oilfield， software engineering.
Supported by:
National Natural Science Foundation of China(62006200);Sichuan Science and Technology Program(2022YFG0179);Project of State Key Laboratory of Oil and Gas Reservoir Geology and Development Engineering(PLC20211104)

摘要/Abstract

摘要：

针对现有的领域泛化（DG）方法对领域特征处理粗糙和泛化能力弱的问题，提出一种基于频域特征独立性这一独特视角解决领域泛化问题的方法。首先，设计频域分解算法，将图像的深度特征快速傅里叶变换（FFT）后，再从相位信息中获得领域无关特征，以提高模型对领域无关特征的识别能力；其次，基于独立性视角，通过对样本的特征赋权，进一步消除频域特征中各属性的相关性，提取最有效领域无关特征，解决样本特征之间相关性带来的泛化能力差的问题；最后，提出幅度融合策略，拉近源域和目标域的距离，进一步提升模型对未知领域的泛化能力。在流行的图像领域泛化的数据集PACS和VLCS上的实验结果表明，所提方法的准确率均值比StableNet分别高0.44、0.59个百分点，且在各个数据集上均取得了优秀的性能。

关键词: 领域泛化, 图像分类, 深度神经网络, 独立性学习, 相频融合

Abstract:

The existing Domain Generalization （DG） methods process the domain features poorly and have weak generalization ability， thus a method based on the feature independence of the frequency domain was proposed to solve the domain generalization problem. Firstly， a frequency domain decomposition algorithm was designed to obtain domain-independent features from phase information by the Fast Fourier Transform （FFT） of depth features of the image， improving the recognition ability of domain-independent features. Secondly， from the independence perspective， the correlation of attributes in frequency domain features was further eliminated by weighting the features of samples， and the most effective domain-independent features were extracted to solve the poor generalization problem caused by correlation between sample features. Finally， the amplitude fusion strategy was proposed to narrow the distance between the source domain and the target domain， so as to further improve the generalization ability of the model to the unknown domain. Experimental results on popular image domain generalization datasets PACS and VLCS show that the average accuracy of the proposed method is 0.44， 0.59 percentage points higher than that of StableNet， and the proposed method achieves excellent performance on all datasets.

Key words: Domain Generalization (DG), image classification, deep neural network, independent learning, phase-frequency fusion

中图分类号:

TP183

肖斌, 杨模, 汪敏, 秦光源, 李欢. 独立性视角下的相频融合领域泛化方法[J]. 计算机应用, 2024, 44(4): 1002-1009.

Bin XIAO, Mo YANG, Min WANG, Guangyuan QIN, Huan LI. Domain generalization method of phase-frequency fusion from independent perspective[J]. Journal of Computer Applications, 2024, 44(4): 1002-1009.

图/表 9

参考文献 40

1	KARPATHY A， TODERICI G， SHETTY S， et al. Large-scale video classification with convolutional neural networks ［C］// Proceedings of 2014 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2014： 1725-1732. 10.1109/cvpr.2014.223
2	范苍宁，刘鹏，肖婷，等.深度域适应综述：一般情况与复杂情况［J］.自动化学报，2021，47（3）：515-548. 10.16383/j.aas.c200238
	FAN C N， LIU P， XIAO T， et al. A review on depth domain adaption： general situation and complex situation［J］. Acta Automatica Sinica， 2021，47（3）： 515-548. 10.16383/j.aas.c200238
3	TAN C， SUN F， KONG T， et al. A survey on deep transfer learning ［C］// Proceedings of the 2018 International Conference on Artificial Neural Networks： Artificial Neural Networks and Machine Learning. Cham： Springer， 2018： 270-279. 10.1007/978-3-030-01424-7_27
4	WANG J， LAN C， LIU C， et al. Generalizing to unseen domains： a survey on domain generalization ［C］// Proceedings of the Thirtieth International Joint Conference on Artificial Intelligence.［S.l.］： IJCAI， 2021： 4627-4635. 10.24963/ijcai.2021/628
5	PRAKASH A， BOOCHOON S， BROPHY M， et al. Structured domain randomization： bridging the reality gap by context-aware synthetic data ［C］// Proceedings of the 2019 International Conference on Robotics and Automation. Piscataway： IEEE， 2019： 7249-7255. 10.1109/icra.2019.8794443
6	HUANG J， GUAN D， XIAO A， et al. FSDR： frequency space domain randomization for domain generalization ［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 6887-6898. 10.1109/cvpr46437.2021.00682
7	ZHOU K Y， YANG Y X， HOSPEDALES T， et al. Deep domain-adversarial image generation for domain generalisation［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2020， 34（7）： 13025-13032. 10.1609/aaai.v34i07.7003
8	ARJOVSKY M， BOTTOU L， GULRAJANI I， et al. Invariant risk minimization［EB/OL］. （2019-07-05）［2023-05-01］. .
9	ZHANG H， ZHANG Y-F， LIU W， et al. Towards principled disentanglement for domain generalization ［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 8014-8024. 10.1109/cvpr52688.2022.00786
10	LIN Y， DONG H， WANG H， et al. Bayesian invariant risk minimization ［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 16000-16009. 10.1109/cvpr52688.2022.01555
11	KIM D， YOO Y， PARK S， et al. SelfReg： self-supervised contrastive regularization for domain generalization ［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 9599-9608. 10.1109/iccv48922.2021.00948
12	XU J， XIAO L， LÓPEZ A M. Self-supervised domain adaptation for computer vision tasks［J］. IEEE Access， 2019， 7： 156694-156706. 10.1109/access.2019.2949697
13	VENKATESWARA H， EUSEBIO J， CHAKRABORTY S， et al. Deep hashing network for unsupervised domain adaptation［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 5385-5394. 10.1109/cvpr.2017.572
14	WEN J， LIU R， ZHENG N， et al. Exploiting local feature patterns for unsupervised domain adaptation［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2019， 33（1）： 5401-5408. 10.1609/aaai.v33i01.33015401
15	PAN S J， TSANG I W， KWOK J T， et al. Domain adaptation via transfer component analysis［J］. IEEE Transactions on Neural Networks， 2011， 22（2）： 199-210. 10.1109/tnn.2010.2091281
16	TZENG E， HOFFMAN J， ZHANG N， et al. Deep domain confusion： maximizing for domain invariance ［EB/OL］. （2014-12-10）［2023-05-01］. .
17	KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks［J］. Communications of the ACM， 2017， 60（6）： 84-90. 10.1145/3065386
18	ZHU Y， ZHUANG F， WANG J， et al. Deep subdomain adaptation network for image classification［J］. IEEE Transactions on Neural Networks and Learning Systems， 2021， 32（4）： 1713-1722. 10.1109/tnnls.2020.2988928
19	SHU Y， CAO Z， WANG C， et al. Open domain generalization with domain-augmented meta-learning ［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 9619-9628. 10.1109/cvpr46437.2021.00950
20	XU Q， ZHANG R， ZHANG Y， et al. A Fourier-based framework for domain generalization ［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2021： 14378-14387. 10.1109/cvpr46437.2021.01415
21	HU S， ZHANG K， CHEN Z， et al. Domain generalization via multidomain discriminant analysis ［C］// Proceedings of the 35th Uncertainty in Artificial Intelligence Conference. New York： JMLR.org， 2020： 292-302.
22	MITROVIC J， McWILLIAMS B， WALKER J， et al. Representation learning via invariant causal mechanisms ［EB/OL］. （2020-10-15）［2023-05-01］. .
23	SHI Y， SEELY J， TORR P H S， et al. Gradient matching for domain generalization［EB/OL］. （2021-04-20）［2023-05-01］. .
24	DUBEY A， RAMANATHAN V， PENTLAND A， et al. Adaptive methods for real-world domain generalization ［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE，2021： 14335-14344. 10.1109/cvpr46437.2021.01411
25	RAHIMI A， RECHT B. Random features for large-scale kernel machines ［C］// Proceedings of the 20th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2007： 1177-1184. 10.7551/mitpress/7503.003.0144
26	LE Q V， SARLOS T， SMOLA A J. Fastfood： approximate kernel expansions in loglinear time ［EB/OL］. （2014-08-13）［2023-05-01］. .
27	ATARASHI K， MAJI S， OYAMA S. Random feature maps for the itemset kernel［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2019， 33（1）： 3199-3206. 10.1609/aaai.v33i01.33013199
28	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
29	LI D， YANG Y， SONG Y-Z， et al. Learning to generalize： meta-learning for domain generalization［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2018， 32（1）： 3490-3497. 10.1609/aaai.v32i1.11596
30	MATSUURA T， HARADA T. Domain generalization using a mixture of multiple latent domains［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2020， 34（7）： 11749-11756. 10.1609/aaai.v34i07.6846
31	JIN X， LAN C， ZENG W， et al. Feature alignment and restoration for domain generalization and adaptation ［EB/OL］. （2020-06-22）［2023-05-01］. . 10.1109/tmm.2021.3104379
32	HUANG Z， WANG H， XING E P， et al. Self-challenging improves cross-domain generalization ［C］// Proceedings of the 2020 European Conference on Computer Vision. Cham： Springer， 2020： 124-140. 10.1007/978-3-030-58536-5_8
33	ZHANG X， CUI P， XU R， et al. Deep stable learning for out-of-distribution generalization ［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2021： 5368-5378. 10.1109/cvpr46437.2021.00533
34	ZHOU K， YANG Y， QIAO Y， et al. Domain generalization with MixStyle ［EB/OL］. （2021-04-05）［2023-05-01］. . 10.1007/s11263-023-01913-8
35	DOU Q， CASTRO D C， KAMNITSAS K， et al. Domain generalization via model-agnostic learning of semantic features ［C］// Proceedings of the 33rd International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2019： 6450‑6461.
36	LI H， PAN S J， WANG S， et al. Domain generalization with adversarial feature learning ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE，2018： 5400-5409. 10.1109/cvpr.2018.00566
37	CHEN K， ZHUANG D， CHANG J M. Discriminative adversarial domain generalization with meta-learning based cross-domain validation［J］. Neurocomputing， 2022， 467： 418-426. 10.1016/j.neucom.2021.09.046
38	CARLUCCI F M， D’INNOCENTE A， BUCCI S， et al. Domain generalization by solving jigsaw puzzles ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 2224-2233. 10.1109/cvpr.2019.00233
39	NAM H， LEE H， PARK J， et al. Reducing domain gap by reducing style bias ［C］// Proceedings of the 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Piscataway： IEEE， 2021： 8686-8695. 10.1109/cvpr46437.2021.00858
40	QIAO F， ZHAO L， PENG X. Learning to learn single domain generalization ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 12553-12562. 10.1109/cvpr42600.2020.01257

数据集	类别	领域数	图像数
PACS	7	4	9 991
VLCS	5	4	12 237
Office-Home	65	4	15 500

数据集	类别	领域数	图像数
PACS	7	4	9 991
VLCS	5	4	12 237
Office-Home	65	4	15 500

方法	PACS				均值
方法	Art	Cartoon	Photo	Sketch	均值
ResNet-18	76.61	73.60	93.31	76.08	79.90
MLDG	79.50	77.30	94.30	71.50	80.65
MMLD	81.28	77.16	96.09	72.29	81.71
FAR	79.30	77.70	95.30	74.70	81.75
MixStyle	84.10	78.80	96.10	75.90	83.73
StableNet	81.74	79.91	96.53	80.50	84.69
StableNet*	83.45	79.60	94.97	78.92	84.24
RSC	83.43	80.31	95.99	80.85	85.15
RSC*	80.55	78.60	94.43	76.02	82.40
MASF	80.29	77.17	94.99	71.79	81.06
FACT	85.37	78.38	95.15	79.15	84.51
本文方法	84.47	81.27	94.61	80.17	85.13

方法	PACS				均值
方法	Art	Cartoon	Photo	Sketch	均值
ResNet-18	76.61	73.60	93.31	76.08	79.90
MLDG	79.50	77.30	94.30	71.50	80.65
MMLD	81.28	77.16	96.09	72.29	81.71
FAR	79.30	77.70	95.30	74.70	81.75
MixStyle	84.10	78.80	96.10	75.90	83.73
StableNet	81.74	79.91	96.53	80.50	84.69
StableNet*	83.45	79.60	94.97	78.92	84.24
RSC	83.43	80.31	95.99	80.85	85.15
RSC*	80.55	78.60	94.43	76.02	82.40
MASF	80.29	77.17	94.99	71.79	81.06
FACT	85.37	78.38	95.15	79.15	84.51
本文方法	84.47	81.27	94.61	80.17	85.13

算法	Office-Home				均值
算法	Art	Clipart	Product	Real-World	均值
MMD-AAE	56.50	47.30	72.10	74.80	62.68
DADG	55.57	48.71	70.90	73.70	62.22
JiGen	53.04	47.51	71.47	72.79	61.20
RSC	58.42	47.90	71.63	74.54	63.12
SagNet	60.20	45.30	70.40	73.30	62.30
本文方法	57.10	52.42	72.25	73.90	63.92

独立性视角下的相频融合领域泛化方法

Domain generalization method of phase-frequency fusion from independent perspective

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 40

相关文章 15

编辑推荐

Metrics

算法	VLCS				均值
算法	Caltech	LabelMe	VOC	Sun	均值
JiGen	96.17	62.06	70.93	71.40	75.14
M-ADA	74.33	48.38	45.13	33.82	50.42
MMLD	97.01	62.20	73.01	72.49	76.18
RSC	96.21	62.51	73.81	72.10	76.16
StableNet	96.67	65.36	73.59	74.97	77.65
本文方法	96.75	67.17	74.61	74.41	78.24

[1]	石锐, 李勇, 朱延晗. 基于特征梯度均值化的调制信号对抗样本攻击算法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2521-2527.
[2]	王东炜, 刘柏辰, 韩志, 王艳美, 唐延东. 基于低秩分解和向量量化的深度网络压缩方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 1987-1994.
[3]	王美, 苏雪松, 刘佳, 殷若南, 黄珊. 时频域多尺度交叉注意力融合的时间序列分类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1842-1847.
[4]	翟飞宇, 马汉达. 基于DenseNet的经典-量子混合分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1905-1910.
[5]	颜梦玫, 杨冬平. 深度神经网络平均场理论综述[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 331-343.
[6]	柴汶泽, 范菁, 孙书魁, 梁一鸣, 刘竟锋. 深度度量学习综述[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 2995-3010.
[7]	谢莉, 舒卫平, 耿俊杰, 王琼, 杨海麟. 结合加权原型和自适应张量子空间的小样本宫颈细胞分类[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3200-3208.
[8]	周雯, 谌雨章, 温志远, 王诗琦. 基于位置编码重叠切块嵌入和多尺度通道交互注意力的鱼类图像分类[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3209-3216.
[9]	陈彤, 位纪伟, 何仕远, 宋井宽, 杨阳. 基于自适应攻击强度的对抗训练方法[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 94-100.
[10]	赵旭剑, 李杭霖. 基于混合机制的深度神经网络压缩算法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2686-2691.
[11]	申云飞, 申飞, 李芳, 张俊. 基于张量虚拟机的深度神经网络模型加速方法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2836-2844.
[12]	李校林, 杨松佳. 基于深度学习的多用户毫米波中继网络混合波束赋形[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2511-2516.
[13]	李淦, 牛洺第, 陈路, 杨静, 闫涛, 陈斌. 融合视觉特征增强机制的机器人弱光环境抓取检测[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2564-2571.
[14]	王彬, 向甜, 吕艺东, 王晓帆. 基于NSGA‑Ⅱ的自适应多尺度特征通道分组优化算法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1401-1408.
[15]	杨海宇, 郭文普, 康凯. 基于卷积长短时深度神经网络的信号调制方式识别方法[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1318-1322.

幅度融合	特征独立性策略	Art	Cartoo	Photo	Sketch	均值
—	—	76.61	73.60	93.31	76.08	79.90
√	—	83.31	81.23	95.63	77.45	84.41
—	√	83.44	79.60	94.97	78.92	84.32
√	√	84.47	81.27	94.61	80.17	85.13

幅度融合	特征独立性策略	Art	Cartoo	Photo	Sketch	均值
—	—	76.61	73.60	93.31	76.08	79.90
√	—	83.31	81.23	95.63	77.45	84.41
—	√	83.44	79.60	94.97	78.92	84.32
√	√	84.47	81.27	94.61	80.17	85.13