基于贝叶斯权函数的模型无关元学习算法

doi:10.11772/j.issn.1001-9081.2021040758

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (3): 708-712.DOI: 10.11772/j.issn.1001-9081.2021040758

• 2021年中国计算机学会人工智能会议(CCFAI 2021) • 上一篇

基于贝叶斯权函数的模型无关元学习算法

许仁杰, 刘宝弟, 张凯, 刘伟锋()

中国石油大学（华东）海洋与空间信息学院，青岛 266580

收稿日期:2021-05-11 修回日期:2021-07-14 接受日期:2021-07-19 发布日期:2022-04-09 出版日期:2022-03-10
通讯作者: 刘伟锋
作者简介:许仁杰（1998—），男，山东青岛人，硕士研究生，主要研究方向：元学习、任务度量
刘宝弟（1984—），男，山东济宁人，副教授，博士，CCF会员，主要研究方向：深度学习、图像处理
张凯（1980—），男，四川南充人，教授，博士，主要研究方向：人工智能、机器学习、油藏数值模拟与油气田开发工程、机器学习、油田大数据分析；
基金资助:
国家自然科学基金资助项目(61671480);中国石油天然气集团公司重大科技项目(ZD2019?183?008);模式识别国家实验室开放项目(202000009)

Model agnostic meta learning algorithm based on Bayesian weight function

Renjie XU, Baodi LIU, Kai ZHANG, Weifeng LIU()

School of Oceanography and Spatial Information，China University of Petroleum （East China），Qingdao Shandong 266580，China

Received:2021-05-11 Revised:2021-07-14 Accepted:2021-07-19 Online:2022-04-09 Published:2022-03-10
Contact: Weifeng LIU
About author:XU Renjie， born in 1998， M. S. candidate. His research interests include meta learning， task measure.
LIU Baodi， born in 1984， Ph. D.， associate professor. His research interests include deep learning， image processing.
ZHANG Kai， born in 1980， Ph. D.， professor. His research interests include artificial intelligence， machine learning， reservoir numerical simulation and oil and gas field development engineering， machine learning， oilfield big data analysis.
Supported by:
National Natural Science Foundation of China(61671480);Major Scientific and Technological Projects of CNPC(ZD2019-183-008);Open Project of National Laboratory of Pattern Recognition(202000009)

摘要/Abstract

摘要：

模型无关的元学习（MAML）是一种多任务的元学习算法，能使用不同的模型，并快速地在不同任务之间进行适应，但MAML在训练速度与准确率上还亟待提高。从高斯随机过程的角度出发对MAML的原理进行分析，提出一种基于贝叶斯权函数的模型无关元学习（BW-MAML）算法，该权函数利用贝叶斯分析设计并用于损失的加权。训练过程中，BW-MAML将每次抽样的任务视为遵循高斯分布，根据贝叶斯分析计算不同任务在分布中的概率，并根据任务在分布中的概率判断该任务重要程度，再以此赋以不同的权重，从而提高每次梯度下降中信息的利用率。在Omniglot与Mini-ImageNet数据集上的小样本图像学习实验结果表明，通过增加贝叶斯权函数，BW-MAML的训练效果在6任务训练2 500步后，在Mini-ImageNet上的准确率比MAML的准确率最高提高了1.9个百分点，并且最终准确率比MAML平均提升了0.907个百分点；在Omniglot上的准确率也平均提升了0.199个百分点。

关键词: 贝叶斯分析, 高斯随机过程, 机器学习, 元学习, 小样本学习

Abstract:

As a multi-task meta learning algorithm， Model Agnostic Meta Learning （MAML） can use different models and adapt quickly to different tasks， but it still needs to be improved in terms of training speed and accuracy. The principle of MAML was analyzed from the perspective of Gaussian stochastic process， and a new Model Agnostic Meta Learning algorithm based on Bayesian Weight function （BW-MAML） was proposed， in which the weight was assigned by Bayesian analysis. In the training process of BW-MAML， each sampling task was regarded as following a Gaussian distribution， and the importance of the task was determined according to the probability of the task in the distribution， and then the weight was assigned according to the importance， thus improving the utilization of information in each gradient descent. The small sample image learning experimental results on Omniglot and Mini-ImageNet datasets show that by adding Bayesian weight function， for training effect of BW-MAML after 2500 step with 6 tasks， the accuracy of BW-MAML is at most 1.9 percentage points higher than that of MAML， and the final accuracy is 0.907 percentage points higher than that of MAML on Mini-ImageNet averagely； the accuracy of BW-MAML on Omniglot is also improved by up to 0.199 percentage points averagely.

Key words: Bayesian analysis, Gaussian stochastic process, machine learning, meta learning, few-shot learning

中图分类号:

TP183

许仁杰, 刘宝弟, 张凯, 刘伟锋. 基于贝叶斯权函数的模型无关元学习算法[J]. 计算机应用, 2022, 42(3): 708-712.

Renjie XU, Baodi LIU, Kai ZHANG, Weifeng LIU. Model agnostic meta learning algorithm based on Bayesian weight function[J]. Journal of Computer Applications, 2022, 42(3): 708-712.

图/表 4

参考文献 23

1	FINN C， ABBEEL P， LEVINE S. Model-agnostic meta-learning for fast adaptation of deep networks ［EB/OL］. ［2021-01-20］. . 10.1109/icra.2017.7989383
2	CARUANA R. Multitask learning［J］. Machine Learning， 1997， 28（1）： 41-75. 10.1023/a:1007379606734
3	HOSPEDALES T， ANTONIOU A， MICAELLI P， et al. Meta-learning in neural networks： a survey ［EB/OL］. ［2021-01-20］. . 10.1109/tpami.2021.3079209
4	THRUN S， PRATT L. Learning to learn： introduction and overview［M］// Learning to Learn. Berlin： Springer， 1998： 3-17. 10.1007/978-1-4615-5529-2_1
5	李凡长，刘洋，吴鹏翔，等.元学习研究综述［J］.计算机学报，2021，44（2）：422-446. 10.11897/SP.J.1016.2021.00422
	LI F Z， LIU Y， WU P X， et al. A review of meta learning［J］. Chinese Journal of Computers， 2021，44（2）：422-446. 10.11897/SP.J.1016.2021.00422
6	YOON J， KIM T， DIA O， et al. Bayesian model-agnostic meta-learning［C］// Proceedings of the 32nd International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2018： 7343-7353.
7	GRANT E， FINN C， LEVINE S， et al. Recasting gradient-based meta-learning as hierarchical Bayes ［EB/OL］. ［2021-01-20］.
8	CAI D， SHETH R， MACKEY L， et al. Weighted meta-learning ［EB/OL］. ［2021-01-20］ .
9	BAIK S， HONG S， LEE K M. Learning to forget for meta-learning［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 2379-2387. 10.1109/cvpr42600.2020.00245
10	NICHOL A， ACHIAM J， SCHULMAN J. On first-order meta-learning algorithms ［EB/OL］. ［2021-01-20］. .
11	XU Z， CAO L， CHEN X. Meta-learning via weighted gradient update［J］. IEEE Access， 2019， 7： 110846-110855. 10.1109/access.2019.2933988
12	YIN M， TUCKER G， ZHOU M， et al. Meta-learning without memorization ［EB/OL］. ［2021-01-20］. .
13	王翠，王璐，解雪琴，等.基于MAML方法的佤语孤立词分类［J］.云南民族大学学报（自然科学版），2020，29（4）：376-381，395.
	WANG C， WANG L， XIE X Q， et al. Classification of Wa isolated words based on MAML method［J］. Journal of Yunnan University for Nationalities （Natural Science Edition）， 2020， 29（4）： 376-381，395.
14	王世英.基于元学习框架的医学图像分类算法研究［D］.成都：电子科技大学，2020：1-79. 10.18240/ijo.2021.06.16
	WANG S Y. Research on medical image classification algorithm based on meta learning framework［D］. Chengdu： University of Electronic Science and Technology of China， 2020： 1-79. 10.18240/ijo.2021.06.16
15	XU Z， CAO L， CHEN X. Meta-learning via weighted gradient update［J］. IEEE Access， 2019， 7： 110846-110855. 10.1109/access.2019.2933988
16	BAIK S， CHOI M， CHOI J， et al. Meta-Learning with adaptive hyperparameters ［EB/OL］. ［2021-01-20］. . 10.1109/cvpr42600.2020.00946
17	ANTONIOU A， EDWARDS H， STORKEY A. How to train your MAML ［EB/OL］. ［2021-01-20］. .
18	SEEGER M. Gaussian processes for machine learning［J］. International Journal of Neural Systems， 2004， 14（2）： 69-106. 10.1142/s0129065704001899
19	BARBER D. Bayesian Reasoning and Machine Learning［M］. Cambridge： Cambridge University Press， 2012： 3-22.
20	RASMUSSEN C E. Gaussian processes in machine learning［C］// ML 2003： Proceedings of the 2003 Advanced Lectures on Machine Learning， LNCS 3176. Berlin： Springer， 2003： 63-71.
21	VINYALS O， BLUNDELL C， LILLICRAP T， et al. Matching networks for one shot learning ［EB/OL］. ［2021-01-20］. .
22	LAKE B M， SALAKHUTDINOV R， GROSS J， et al. One shot learning of simple visual concepts［C］// Proceedings of the 2011 Annual Meeting of the Cognitive Science Society. ［S.l.］： Cognitive Science Society， 2011， 33： 2568-2573.
23	KINGMA D P， BA J. Adam： a method for stochastic optimization ［EB/OL］. ［2021-01-20］. .

算法	5-way		20-way
算法	1-shot	5-shot	1-shot	5-shot
一阶MAML	90.074	96.672	73.929	86.698
一阶BW-MAML	90.167	96.622	73.941	87.439

算法	5-way		20-way
算法	1-shot	5-shot	1-shot	5-shot
一阶MAML	90.074	96.672	73.929	86.698
一阶BW-MAML	90.167	96.622	73.941	87.439

算法	5-way 1-shot	5-way 5-shot
meta-learner LSTM^［21］	43.440	60.600
Reptile^［22］	47.070	62.740
一阶MAML	45.285	60.381
一阶BW-MAML	46.163	60.630
二阶MAML	47.091	59.647
二阶BW-MAML	47.401	61.839

算法	5-way 1-shot	5-way 5-shot
meta-learner LSTM^［21］	43.440	60.600
Reptile^［22］	47.070	62.740
一阶MAML	45.285	60.381
一阶BW-MAML	46.163	60.630
二阶MAML	47.091	59.647
二阶BW-MAML	47.401	61.839

算法	任务数	n值					准确率/%
算法	任务数	500	1 000	1 500	2 000	2 500	准确率/%
MAML	6	31.80	35.23	38.06	40.30	41.40	44.46
BW-MAML	4	30.79	33.15	35.00	35.94	37.57	44.56
	6	33.57	37.23	41.16	43.20	43.30	44.63
	8	32.60	34.33	37.72	40.01	40.65	45.07

基于贝叶斯权函数的模型无关元学习算法

Model agnostic meta learning algorithm based on Bayesian weight function

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 4

参考文献 23

相关文章 15

编辑推荐

Metrics

[1]	陈露, 张晓霞, 于洪. 基于先验知识的非负矩阵半可解释三因子分解算法[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 671-675.
[2]	谢鑫, 张贤勇, 王旋晔, 唐鹏飞. 变精度邻域等价粒的邻域决策树构造算法[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 382-388.
[3]	李艳, 郭劼, 范斌. 元学习的不确定性特征构建及初步分析[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 343-348.
[4]	毛铭泽, 曹芮浩, 闫春钢. 基于权值多样性的半监督分类算法[J]. 计算机应用, 2021, 41(9): 2473-2480.
[5]	郭棉, 张锦友. 移动边缘计算环境中面向机器学习的计算迁移策略[J]. 计算机应用, 2021, 41(9): 2639-2645.
[6]	秦斌斌, 彭良康, 卢向明, 钱江波. 司机分心驾驶检测研究进展[J]. 计算机应用, 2021, 41(8): 2330-2337.
[7]	杜炎, 吕良福, 焦一辰. 基于模糊推理的模糊原型网络[J]. 计算机应用, 2021, 41(7): 1885-1890.
[8]	秦静, 左长青, 汪祖民, 季长清, 王宝凤. 基于堆叠分类器的心电异常监测模型设计[J]. 计算机应用, 2021, 41(3): 887-890.
[9]	姜倩玉, 王凤英, 贾立鹏. 基于感知哈希算法和特征融合的恶意代码检测方法[J]. 计算机应用, 2021, 41(3): 780-785.
[10]	孟祥瑞, 杨文忠, 王婷. 基于图文融合的情感分析研究综述[J]. 《计算机应用》唯一官方网站, 2021, 41(2): 307-317.
[11]	王梅, 许传海, 刘勇. 基于神经正切核的多核学习方法[J]. 《计算机应用》唯一官方网站, 2021, 41(12): 3462-3467.
[12]	成科扬, 孟春运, 王文杉, 师文喜, 詹永照. 解耦表征学习研究进展[J]. 《计算机应用》唯一官方网站, 2021, 41(12): 3409-3418.
[13]	刘晓龙, 王士同. 渐进式分离的开放集模糊域自适应算法[J]. 《计算机应用》唯一官方网站, 2021, 41(11): 3127-3131.
[14]	楼豪杰, 郑元林, 廖开阳, 雷浩, 李佳. 基于Siamese-YOLOv4的印刷品缺陷目标检测[J]. 《计算机应用》唯一官方网站, 2021, 41(11): 3206-3212.
[15]	魏淳武, 赵涓涓, 唐笑先, 强彦. 基于多时期蒸馏网络的随访数据知识提取方法[J]. 计算机应用, 2021, 41(10): 2871-2878.