渐进式分离的开放集模糊域自适应算法

doi:10.11772/j.issn.1001-9081.2021010061

《计算机应用》唯一官方网站 ›› 2021, Vol. 41 ›› Issue (11): 3127-3131.DOI: 10.11772/j.issn.1001-9081.2021010061

所属专题：人工智能

渐进式分离的开放集模糊域自适应算法

刘晓龙¹(), 王士同²

^1.江南大学人工智能与计算机学院，江苏无锡 214122
^2.江苏省媒体设计与软件技术重点实验室（江南大学），江苏无锡 214122

收稿日期:2021-01-13 修回日期:2021-03-25 接受日期:2021-03-30 发布日期:2021-04-15 出版日期:2021-11-10
通讯作者: 刘晓龙
作者简介:刘晓龙（1995—），男，山东潍坊人，硕士研究生，主要研究方向：人工智能、模式识别、机器学习
王士同（1964—），男，江苏扬州人，教授，博士生导师，博士，CCF会员，主要研究方向：人工智能、模式识别、模糊系统。
基金资助:
国家自然科学基金资助项目(61572236)

Open set fuzzy domain adaptation algorithm via progressive separation

Xiaolong LIU¹(), Shitong WANG²

^1.School of Artificial Intelligence and Computer Science，Jiangnan University，Wuxi Jiangsu 214122，China
^2.Jiangsu Key Laboratory of Media Design and Software Technology （Jiangnan University），Wuxi Jiangsu 214122，China

Received:2021-01-13 Revised:2021-03-25 Accepted:2021-03-30 Online:2021-04-15 Published:2021-11-10
Contact: Xiaolong LIU
About author:LIU Xiaolong， born in 1995， M. S. candidate. His research interests include artificial intelligence， pattern recognition， machine learning.
WANG Shitong，born in 1964，Ph. D.，professor. His research interests include artificial intelligence，pattern recognition，fuzzy system.
Supported by:
the National Natural Science Foundation of China(61572236)

摘要/Abstract

摘要：

域自适应的目的是利用有标记（源）域中的信息来提高未标记（目标）域模型的分类性能，且这种方法已经取得了不错的成果。然而在具有开放性的现实场景下，目标域通常包含源域中未观察到的未知类样本，这被称为开放集域自适应问题。传统的域自适应算法对这样具有挑战性的场景设定无能为力，因此提出了渐进式分离的开放集模糊域自适应算法。首先，基于引进隶属度的开放集模糊域自适应算法，探索了逐步分离目标域中已知类和未知类样本的方法；然后，仅将从目标域中分离出的已知类与源域对齐，从而减小两个域之间的分布差异，进行模糊域自适应。所提算法很好地解决了由于未知类和已知类之间的不匹配而导致的负迁移所带来的影响。在Office数据集上的6组域自适应转化实验结果表明，与传统的域自适应算法比较，所提算法在图像分类中的精度有显著的提升，验证了该算法可以逐步增强域自适应分类模型的准确性和鲁棒性。

关键词: 机器学习, 开放集, 模糊域自适应, 渐进式分离, 迁移学习

Abstract:

The aim of domain adaptation is to use the knowledge in a labeled （source） domain to improve the model classification performance of an unlabeled （target） domain， and this method has achieved good results. However， in the open realistic scenes， the target domain usually contains unknown classes that are not observed in the source domain， which is called open set domain adaptation problem. For such challenging scene setting， the traditional domain adaptation algorithm is powerless. Therefore， an open set fuzzy domain adaptation algorithm via progressive separation was proposed. Firstly， based on the open set fuzzy domain adaptation algorithm with membership degree introduced， the method of separating the known and unknown class samples in the target domain step by step was explored. Then， only known classes separated from the target domain were aligned with the source domain， so as to reduce the distribution difference between the two domains and perform the fuzzy adaptation. The negative transfer effect caused by the mismatch between unknown and known classes was reduced well by the proposed algorithm. Six domain transformation experimental results on Office dataset show that， the accuracy of the proposed algorithm has the significant improvement in image classification compared with the traditional domain adaptation algorithm， and verify that the proposed algorithm can gradually enhance the accuracy and robustness of the domain adaptation classification model.

Key words: machine learning, open set, fuzzy domain adaptation, progressive separation, transfer learning

中图分类号:

TP181

刘晓龙, 王士同. 渐进式分离的开放集模糊域自适应算法[J]. 计算机应用, 2021, 41(11): 3127-3131.

Xiaolong LIU, Shitong WANG. Open set fuzzy domain adaptation algorithm via progressive separation[J]. Journal of Computer Applications, 2021, 41(11): 3127-3131.

图/表 5

图1 开放集域自适应

Fig. 1 Open set domain adaptation

图2 渐进式分离开放集模糊域自适应算法的过程描述

Fig. 2 Process description of open set fuzzy domain adaptation algorithm via progressive separation

表1 封闭集条件下6个Office数据集域转化实验的精度对比 ( %)

Tab. 1 Accuracy comparison of 6 Office dataset domain transformation experiments under close-set condition

算法	A→D	A→W	D→A	D→W	W→A	W→D	平均值
$C o v N e t s r c$	48.84	49.41	65.20	67.20	41.20	76.40	58.42
DAN	88.12	90.05	93.40	96.10	84.90	99.36	91.98
DANN	75.50	60.57	62.70	88.90	63.00	98.32	75.17
SVM	83.44	78.30	80.06	93.56	75.68	98.09	84.85
CORAL	79.62	77.29	81.63	95.93	69.31	99.36	83.86
GFK	80.25	77.29	77.14	90.17	90.17	99.36	82.44
BDA	87.26	82.37	88.72	96.64	96.64	99.36	90.13
SFDA	94.90	89.85	91.86	96.95	90.65	99.36	93.93

表1 封闭集条件下6个Office数据集域转化实验的精度对比 ( %)

Tab. 1 Accuracy comparison of 6 Office dataset domain transformation experiments under close-set condition

算法	A→D	A→W	D→A	D→W	W→A	W→D	平均值
$C o v N e t s r c$	48.84	49.41	65.20	67.20	41.20	76.40	58.42
DAN	88.12	90.05	93.40	96.10	84.90	99.36	91.98
DANN	75.50	60.57	62.70	88.90	63.00	98.32	75.17
SVM	83.44	78.30	80.06	93.56	75.68	98.09	84.85
CORAL	79.62	77.29	81.63	95.93	69.31	99.36	83.86
GFK	80.25	77.29	77.14	90.17	90.17	99.36	82.44
BDA	87.26	82.37	88.72	96.64	96.64	99.36	90.13
SFDA	94.90	89.85	91.86	96.95	90.65	99.36	93.93

表2 不同开放性时6个Office数据集域转化实验精度的均值和方差 ( %)

Tab. 2 Means and variances of accuracies of 6 Office dataset domain transformation experiments with different open degrees

开放性 $Θ$	A→D		A→W			D→A		D→W		W→A		W→D		平均值
开放性 $Θ$	均值	方差	均值	方差		均值	方差	均值	方差	均值	方差	均值	方差	平均值
0.2	95.33	±0.00	88.44	±1.12		91.03	±0.89	91.38	±0.81	91.09	±0.46	95.67	±0.72	92.16
0.4	95.80	±0.08	89.21	±0.95		92.99	±0.54	89.89	±0.31	91.86	±0.63	96.29	±0.08	91.61
0.5	96.22	±0.11	89.30	±1.44		91.97	±1.42	91.37	±0.48	90.18	±1.70	95.81	±0.11	92.48
0.6	96.40	±0.07	89.32	±1.68		90.70	±1.64	91.43	±0.52	90.68	±1.49	95.66	±0.59	91.66
0.8	96.79	±0.07	92.67	±0.36		92.75	±1.90	90.95	±0.53	92.45	±1.58	95.45	±0.08	92.76
1.0	94.28	±0.00	93.79		±0.00	90.65	±0.00	92.20	±0.00	90.19	±0.00	96.10	±0.00	92.87

表2 不同开放性时6个Office数据集域转化实验精度的均值和方差 ( %)

Tab. 2 Means and variances of accuracies of 6 Office dataset domain transformation experiments with different open degrees

开放性 $Θ$	A→D		A→W			D→A		D→W		W→A		W→D		平均值
开放性 $Θ$	均值	方差	均值	方差		均值	方差	均值	方差	均值	方差	均值	方差	平均值
0.2	95.33	±0.00	88.44	±1.12		91.03	±0.89	91.38	±0.81	91.09	±0.46	95.67	±0.72	92.16
0.4	95.80	±0.08	89.21	±0.95		92.99	±0.54	89.89	±0.31	91.86	±0.63	96.29	±0.08	91.61
0.5	96.22	±0.11	89.30	±1.44		91.97	±1.42	91.37	±0.48	90.18	±1.70	95.81	±0.11	92.48
0.6	96.40	±0.07	89.32	±1.68		90.70	±1.64	91.43	±0.52	90.68	±1.49	95.66	±0.59	91.66
0.8	96.79	±0.07	92.67	±0.36		92.75	±1.90	90.95	±0.53	92.45	±1.58	95.45	±0.08	92.76
1.0	94.28	±0.00	93.79		±0.00	90.65	±0.00	92.20	±0.00	90.19	±0.00	96.10	±0.00	92.87

图3 在开放性Θ=1.0的过程中算法每次迭代的精度变化

Fig. 3 Algorithm accuracy in each iteration with process of open degree Θ=1.0

参考文献 25

1	ADAMS N. Dataset shift in machine learning ［J］. Journal of the Royal Statistical Society， 2010， 173（1）：274-274. 10.1111/j.1467-985x.2009.00624_10.x
2	LU J， BEHBOOD V， HAO P， et al. Transfer learning using computational intelligence： a survey ［J］. Knowledge-Based Systems， 2015， 80： 14-23. 10.1016/j.knosys.2015.01.010
3	MOTIION S， PICCIRILLI M， ADJEROH D A， et al. Unified deep supervised domain adaptation and generalization ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 5715-5725. 10.1109/iccv.2017.609
4	WANG J D， CHEN Y Q， HAO S J， et al. Balanced distribution adaptation for transfer learning ［C］// Proceedings of the 2017 IEEE International Conference on Data Mining. Piscataway： IEEE， 2017：1129-1134. 10.1109/icdm.2017.150
5	LONG M S， WANG J M， DING G G， et al. Transfer feature learning with joint distribution adaptation ［C］// Proceedings of the 2013 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2013：2200-2207. 10.1109/iccv.2013.274
6	BUSTO P P， GALL J. Open set domain adaptation ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017：754-763. 10.1109/iccv.2017.88
7	唐宋，陈利娟，陈志贤，等.基于目标域局部近邻几何信息的域自适应图像分类方法［J］.计算机应用，2017，37（4）：1164-1168. 10.11772/j.issn.1001-9081.2017.04.1164
	TANG S， CHEN L J， CHEN Z X， et al. Domain adaptation image classification based on target local-neighbor geometrical information ［J］. Journal of Computer Applications， 2017， 37（4）： 1164-1168. 10.11772/j.issn.1001-9081.2017.04.1164
8	GANIN Y， USTINOVA E， AJAKAN H， et al. Domain-adversarial training of neural networks ［J］. Journal of Machine Learning Research， 2016， 17： 1-35. 10.1007/978-3-319-58347-1_10
9	SUN B C， FENG J S， SAENKO K. Return of frustratingly easy domain adaptation ［C］// Proceedings of the 2016 30th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2016： 2058-2065.
10	LONG M S， CAO Y， WANG J M， et al. Learning transferable features with deep adaptation networks ［C］// Proceedings of the 2015 32nd International Conference on Machine Learning. New York： ACM， 2015： 97-105.
11	BELKIN M， NIYOGI P， SINDHWANI V. Manifold regularization： a geometric framework for learning from labeled and unlabeled examples ［J］. Journal of Machine Learning Research， 2006， 7： 2399-2434.
12	LONG M S， WANG J M， DING G G， et al. Adaptation regularization： a general framework for transfer learning ［J］. IEEE Transactions on Knowledge and Data Engineering， 2014， 26（5）： 1076-1089. 10.1109/tkde.2013.111
13	BAKTASHMOTLAGH M， FARAKI M， DRUMMOND T， et al. Learning factorized representations for open-set domain adaptation ［EB/OL］. ［2020-12-09］. .
14	PAN S J， YANG Q. A survey on transfer learning ［J］. IEEE Transactions on Knowledge and Data Engineering， 2010， 22（10）： 1345-1359. 10.1109/tkde.2009.191
15	刘晓龙，王士同.面向开放集图像分类的模糊域自适应方法［J］.计算机科学与探索，2021，15（3）：515-523. 10.1049/ipr2.12266
	LIU X L， WANG S T. Fuzzy domain adaptation algorithm for open set image classification ［J］. Journal of Frontiers of Computer Science and Technology， 2021， 15（3）： 515-523. 10.1049/ipr2.12266
16	SAITO K， YAMAMOTO S， USHIKU Y， et al. Open set domain adaptation by backpropagation ［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS11209. Cham： Springer， 2018： 156-171.
17	LIU H， CAO Z J， LONG M S， et al. Separate to adapt： open set domain adaptation via progressive separation ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 2922-2931. 10.1109/cvpr.2019.00304
18	SCHEIRER W J， DE REZENDE ROCHA A， SAPKOTA A， et al. Toward open set recognition ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（7）： 1757-1772. 10.1109/tpami.2012.256
19	王骏，王士同.基于混合距离学习的双指数模糊C均值算法［J］.软件学报，2010，21（8）：1878-1888. 10.3724/SP.J.1001.2010.03607
	WANG J， WANG S T. Double indices FCM algorithm based on hybrid distance metric learning ［J］. Journal of Software， 2010， 21（8）： 1878-1888. 10.3724/SP.J.1001.2010.03607
20	ZUO H， ZHANG G Q， PEDRYCZ W， et al. Fuzzy regression transfer learning in Takagi-Sugeno fuzzy models ［J］. IEEE Transactions on Fuzzy Systems， 2017， 25（6）： 1795-1807. 10.1109/tfuzz.2016.2633376
21	SAENKO K， KULIS B， FRITZ M， et al. Adapting visual category models to new domains ［C］// Proceedings of the 2010 European Conference on Computer Vision， LNCS6314. Berlin： Springer， 2010： 213-226.
22	GONG B Q， SHI Y， SHA F， et al. Geodesic flow kernel for unsupervised domain adaptation ［C］// Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2012： 2066-2073. 10.1109/cvpr.2012.6247911
23	FERNANDO B， HABRARD A， SEBBAN M， et al. Unsupervised visual domain adaptation using subspace alignment ［C］// Proceedings of the 2013 IEEE International Conference on Computer Vision. PiscatawayIEEE， 2013： 2960-2967. 10.1109/iccv.2013.368
24	史荧中，王士同，蒋亦樟，等.迁移学习支持向量回归机［J］.计算机应用，2013，33（11）：3084-3089. 10.11772/j.issn.1001-9081.2013.11.3084
	SHI Y Z， WANG S T， JIANG Y Z， et al. Transfer learning support vector regression ［J］. Journal of Computer Applications， 2013， 33（11）： 3084-3089. 10.11772/j.issn.1001-9081.2013.11.3084
25	GOPALAN R， LI R N， CHELLAPPA R. Domain adaptation for object recognition： an unsupervised approach ［C］// Proceedings of the 2011 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2011： 999-1006. 10.1109/iccv.2011.6126344

[1]	陈学斌, 任志强, 张宏扬. 联邦学习中的安全威胁与防御措施综述[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1663-1672.
[2]	翟飞宇, 马汉达. 基于DenseNet的经典-量子混合分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1905-1910.
[3]	姚梓豪, 栗远明, 马自强, 李扬, 魏良根. 基于机器学习的多目标缓存侧信道攻击检测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1862-1871.
[4]	时旺军, 王晶, 宁晓军, 林友芳. 小样本场景下的元迁移学习睡眠分期模型[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1445-1451.
[5]	李鸿天, 史鑫昊, 潘卫国, 徐成, 徐冰心, 袁家政. 融合多尺度和注意力机制的小样本目标检测[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1437-1444.
[6]	王昊冉, 于丹, 杨玉丽, 马垚, 陈永乐. 面向工控系统未知攻击的域迁移入侵检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1158-1165.
[7]	郑毅, 廖存燚, 张天倩, 王骥, 刘守印. 面向城区的基于图去噪的小区级RSRP估计方法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 855-862.
[8]	佘维, 李阳, 钟李红, 孔德锋, 田钊. 基于改进实数编码遗传算法的神经网络超参数优化[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 671-676.
[9]	李博, 黄建强, 黄东强, 王晓英. 基于异构平台的稀疏矩阵向量乘自适应计算优化[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3867-3875.
[10]	陈学斌, 屈昌盛. 面向联邦学习的后门攻击与防御综述[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3459-3469.
[11]	孙仁科, 皇甫志宇, 陈虎, 李仲年, 许新征. 神经架构搜索综述[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 2983-2994.
[12]	柴汶泽, 范菁, 孙书魁, 梁一鸣, 刘竟锋. 深度度量学习综述[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 2995-3010.
[13]	尹春勇, 周永成. 双端聚类的自动调整聚类联邦学习[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3011-3020.
[14]	刘秋杰, 万源, 吴杰. 深度双模态源域对称迁移学习的跨模态检索[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 24-31.
[15]	崔昊阳, 张晖, 周雷, 杨春明, 李波, 赵旭剑. 有序规范实数对多相似度K最近邻分类算法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2673-2678.

渐进式分离的开放集模糊域自适应算法

Open set fuzzy domain adaptation algorithm via progressive separation

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 5

参考文献 25

相关文章 15

编辑推荐

Metrics