基于教与学优化的可变卷积自编码器的医学图像分类方法

doi:10.11772/j.issn.1001-9081.2021061109

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (2): 592-598.DOI: 10.11772/j.issn.1001-9081.2021061109

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于教与学优化的可变卷积自编码器的医学图像分类方法

李薇¹^,², 樊瑶驰¹(), 江巧永¹, 王磊², 徐庆征³

^1.西安理工大学计算机科学与工程学院, 西安 710048
^2.陕西省网络计算与安全技术重点实验室(西安理工大学), 西安 710048
^3.国防科技大学信息通信学院, 西安 710106

收稿日期:2021-06-28 修回日期:2021-07-14 接受日期:2021-07-15 发布日期:2022-02-11 出版日期:2022-02-10
通讯作者: 樊瑶驰
作者简介:李薇（1973—），女，黑龙江哈尔滨人，副教授，博士，CCF会员，主要研究方向：演化优化、数据挖掘；
樊瑶驰（1996—），男，陕西西安人，硕士研究生，CCF学生会员，主要研究方向：演化优化、机器学习；
江巧永（1987—），男，浙江台州人，讲师，博士，CCF会员，主要研究方向：演化优化；
王磊（1972—），男，陕西白水人，教授，博士，CCF高级会员，主要研究方向：演化优化、大数据；
徐庆征（1980—），男，山东临清人，副教授，博士，CCF高级会员，主要研究方向：演化优化、最优化理论与应用。

Variable convolutional autoencoder method based on teaching-learning-based optimization for medical image classification

Wei LI¹^,², Yaochi FAN¹(), Qiaoyong JIANG¹, Lei WANG², Qingzheng XU³

^1.School of Computer Science and Engineering，Xi’an University of Technology，Xi’an Shaanxi 710048，China
^2.Shaanxi Key Laboratory for Network Computing and Security Technology （Xi’an University of Technology），Xi’an Shaanxi 710048，China
^3.College of Information and Communication，National University of Defense Technology，Xi’an Shaanxi 710106，China

Received:2021-06-28 Revised:2021-07-14 Accepted:2021-07-15 Online:2022-02-11 Published:2022-02-10
Contact: Yaochi FAN
About author:LI Wei， born in 1973， Ph. D.， associate professor. Her research interests include evolutionary optimization， data mining.
FAN Yaochi， born in 1996， M. S. candidate. His research interests include evolutionary optimization， machine learning.
JIANG Qiaoyong， born in 1987， Ph. D.， lecturer. His research interests include evolutionary optimization.
WANG Lei， born in 1972， Ph. D.， professor. His research interests include evolutionary optimization， big data.
XU Qingzheng， born in 1980， Ph. D.， associate professor. His research interests include evolutionary optimization， optimization theory and application.

摘要/Abstract

摘要：

针对传统手工方法优化卷积神经网络（CNN）参数时存在耗时长、不准确，以及参数设置影响算法性能等问题，提出一种基于教与学优化（TLBO）的可变卷积自编码器（CAE）算法。该算法设计了可变长度的个体编码策略，从而快速构建CAE结构，并堆叠CAE为一个CNN；此外，充分利用优秀个体的结构信息来引导算法朝着更有希望的区域搜索，从而提高算法性能。实验结果表明，所提算法在解决医学图像分类问题时，分类精度达到89.84%，高于传统CNN和同类型神经网络。该算法通过优化CAE结构和堆叠CNN解决医学图像分类问题，有效提高了医学图像分类性能。

关键词: 卷积自编码器, 卷积神经网络, 教与学优化, 演化算法, 医学图像

Abstract:

In order to solve the problems such as high time cost， inaccuracy and influence of parameter setting on algorithm performance when optimizing parameters of Convolutional Neural Network （CNN） by traditional manual methods， a variable Convolutional AutoEncoder （CAE） method based on Teaching-Learning-Based Optimization （TLBO） was proposed. In the algorithm， a variable-length individual encoding strategy was designed to quickly construct the CAE structure， and stack CAEs to a CNN. In addition， the excellent individual structure information was fully utilized to guide the algorithm to search the regions with more possibility， thereby improving the algorithm performance. Experimental results show that the classification accuracy of the proposed algorithm achieves 89.84% when solving medical image classification problems， which is higher than those of traditional CNN and similar neural networks. The proposed algorithm solves the medical image classification problems by optimizing the CAE structure and stacking CNN， and effectively improves the classification accuracy of medical image classification.

Key words: Convolutional AutoEncoder (CAE), Convolutional Neural Network (CNN), Teaching-Learning-Based Optimization (TLBO), Evolutionary Algorithm (EA), medical image

中图分类号:

TP18

李薇, 樊瑶驰, 江巧永, 王磊, 徐庆征. 基于教与学优化的可变卷积自编码器的医学图像分类方法[J]. 计算机应用, 2022, 42(2): 592-598.

Wei LI, Yaochi FAN, Qiaoyong JIANG, Lei WANG, Qingzheng XU. Variable convolutional autoencoder method based on teaching-learning-based optimization for medical image classification[J]. Journal of Computer Applications, 2022, 42(2): 592-598.

图/表 11

图1 CAE的结构

Fig. 1 Structure of CAE

图2 TVCAE的结构

Fig. 2 Structure of TVCAE

表1 在TVCAE的卷积层和池化层中编码信息

Tab. 1 Encoded information in convolutional layer and pooling layer of TVCAE

类别	编码信息
Convolution layer	the filter size， the number of feature maps， the stride size， the convolutional type， the mean value of filter elements， and the coefficient of L2
Pooling layer	the kernel size， the stride size， the pooling type

图3 三个来自TLBOAO的不同编码信息的个体

Fig. 3 Three individuals with different encoded information from TLBOAO

图4 TLBOAO的隐藏结构编码

Fig. 4 Hidden structure coding for TLBOAO

图5 图3中3个个体的平均值

Fig. 5 Average values of three individuals in Figure 3

图6 来自BreastMNIST数据集的示例

Fig. 6 Examples from BreastMNIST dataset

表2 TVCAE与CAE和FCAE的BreastMNIST分类精度对比

Tab. 2 Comparison of classification accuracy of TVCAE， CAE and FCAE for BreastMNIST

算法	分类精度
CAE	0.843 8
FCAE	0.843 8
TVCAE	0.8516

图7 单层网络的分类精度准确率趋势

Fig. 7 Classification accuracy trend of one-layer networks

表3 堆叠TVCAE与Alexnet、VGGnet-11、CAE、FCAE的BreastMNIST分类精度对比

Tab. 3 Comparison of classification accuracy of TVCAE with Alexnet， VGGnet-11， CAE and FCAE for BreastMNIST

算法	分类精度
Alexnet	0.867 2
VGGnet-11	0.890 6
CAE-2	0.867 2
FCAE-2	0.875 0
FCAE-3	0.882 8
TVCAE-2	0.882 8
TVCAE-3	0.8984

图8 复杂网络的分类精度准确率趋势

Fig. 8 Classification accuracy and accuracy trend of complex networks

参考文献 27

1	HINTON G E， ZEMEL R S. Autoencoders， minimum description length and Helmholtz free energy ［C］// Proceedings of the 6th International Conference on Neural Information Processing Systems. San Francisco： Morgan Kaufmann Publishers Inc.， 1993： 3-10.
2	BOURLARD H， KAMP Y. Auto-association by multilayer perceptrons and singular value decomposition［J］. Biological Cybernetics， 1988， 59（4/5）： 291-294. 10.1007/bf00332918
3	DU B， XIONG W， WU J， et al. Stacked convolutional denoising auto-encoders for feature representation［J］. IEEE Transactions on Cybernetics， 2017， 47（4）： 1017-1027. 10.1109/tcyb.2016.2536638
4	LeCUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition［J］. Proceedings of the IEEE， 1998， 86（11）： 2278-2324. 10.1109/5.726791
5	PLUIM J P W， MAINTZ J B A， VIERGEVER M A. Mutual-information-based registration of medical images： a survey［J］. IEEE Transactions on Medical Imaging， 2003， 22（8）： 986-1004. 10.1109/tmi.2003.815867
6	PENG X， ZHAO B， YAN R， et al. Bag of events： an efficient probability-based feature extraction method for AER image sensors［J］. IEEE Transactions on Neural Networks and Learning Systems， 2017， 28（4）： 791-803. 10.1109/tnnls.2016.2536741
7	MASCI J， MEIER U， CIREŞAN D， et al. Stacked convolutional auto-encoders for hierarchical feature extraction ［C］// Proceedings of the 2011 International Conference on Artificial Neural Networks， LNCS6791. Berlin： Springer， 2011： 52-59.
8	LAWRENCE S， GILES C L， TSOI A C， et al. Face recognition： a convolutional neural-network approach［J］. IEEE Transactions on Neural Networks， 1997， 8（1）： 98-113. 10.1109/72.554195
9	NEBAUER C. Evaluation of convolutional neural networks for visual recognition［J］. IEEE Transactions on Neural Networks， 1998， 9（4）： 685-696. 10.1109/72.701181
10	KAVUKCUOGLU K， SERMANET P， BOUREAU Y L， et al. Learning convolutional feature hierarchies for visual recognition ［C］// Proceedings of the 23rd International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2010： 1090-1098.
11	LI F F， QIAO H， ZHANG B. Discriminatively boosted image clustering with fully convolutional auto-encoders［J］. Pattern Recognition， 2018， 83： 161-173. 10.1016/j.patcog.2018.05.019
12	LIN X C， TANG Y， TIANFIELD H， et al. A novel approach to reconstruction based saliency detection via convolutional neural network stacked with auto-encoder［J］. Neurocomputing， 2019， 349： 145-155. 10.1016/j.neucom.2019.01.041
13	YU J B. Evolutionary manifold regularized stacked denoising autoencoders for gearbox fault diagnosis［J］. Knowledge-Based Systems， 2019， 178： 111-122. 10.1016/j.knosys.2019.04.022
14	SUN Y N， XUE B， ZHANG M J， et al. A particle swarm optimization-based flexible convolutional autoencoder for image classification［J］. IEEE Transactions on Neural Networks and Learning Systems， 2019， 30（8）： 2295-2309. 10.1109/tnnls.2018.2881143
15	GAO Z K， LI Y L， YANG Y X， et al. A GPSO-optimized convolutional neural networks for EEG-based emotion recognition［J］. Neurocomputing， 2020， 380： 225-235. 10.1016/j.neucom.2019.10.096
16	满芮，杨萍，季程雨，等.乳腺癌组织病理学图像分类方法研究综述［J］.计算机科学， 2020， 47（11A）： 145-150. 10.11896/jsjkx.191100098
	MAN R， YANG P， JI C Y， et al. Survey of classification methods of breast cancer histopathological images［J］. Computer Science， 2020， 47（11A）： 145-150. 10.11896/jsjkx.191100098
17	宋杰，肖亮，练智超，等.基于深度学习的数字病理图像分割综述与展望［J］.软件学报， 2021， 32（5）： 1427-1460. 10.13328/j.cnki.jos.006205
	SONG J， XIAO L， LIAN Z C， et al. Overview and prospect of deep learning for image segmentation in digital pathology［J］. Journal of Software， 2021， 32（5）： 1427-1460. 10.13328/j.cnki.jos.006205
18	MOON W K， LEE Y W， KE H H， et al. Computer-aided diagnosis of breast ultrasound images using ensemble learning from convolutional neural networks［J］. Computer Methods and Programs in Biomedicine， 2020， 190： No.105361. 10.1016/j.cmpb.2020.105361
19	RAO R V， SAVSANI V J， VAKHARIA D P. Teaching-learning-based optimization： a novel method for constrained mechanical design optimization problems［J］. Computer-Aided Design， 2011， 43（3）： 303-315. 10.1016/j.cad.2010.12.015
20	FERNANDES JUNIOR F E， YEN G G. Particle swarm optimization of deep neural networks architectures for image classification［J］. Swarm and Evolutionary Computation， 2019， 49： 62-74. 10.1016/j.swevo.2019.05.010
21	WANG B， SUN Y N， XUE B， et al. Evolving deep convolutional neural networks by variable-length particle swarm optimization for image classification ［C］// Proceedings of the 2018 IEEE Congress on Evolutionary Computation. Piscataway： IEEE， 2018： 1-8. 10.1109/cec.2018.8477735
22	SU J W， VARGAS D V， SAKURAI K. One pixel attack for fooling deep neural networks［J］. IEEE Transactions on Evolutionary Computation， 2019， 23（5）： 828-841. 10.1109/tevc.2019.2890858
23	KRIZHEVSKY A， SUTSKEVER I， HINTON G E. ImageNet classification with deep convolutional neural networks ［C］// Proceedings of the 25th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2012： 1097-1105.
24	SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］. （2015-04-10）［2021-04-20］. . 10.5244/c.28.6
25	YANG J C， SHI R， NI B B. MedMNIST classification decathlon： a lightweight AutoML benchmark for medical image analysis ［C］// Proceedings of the IEEE 18th International Symposium on Biomedical Imaging. Piscataway： IEEE， 2021： 191-195. 10.1109/isbi48211.2021.9434062
26	AL-DHABYANI W， GOMAA M， KHALED H， et al. Dataset of breast ultrasound images［J］. Data in Brief， 2020， 28： No.104863. 10.1016/j.dib.2019.104863
27	HUANG G， LIU Z， MAATEN L VAN DER， et al. Densely connected convolutional networks ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 2261-2269. 10.1109/cvpr.2017.243

[1]	李云, 王富铕, 井佩光, 王粟, 肖澳. 基于不确定度感知的帧关联短视频事件检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2903-2910.
[2]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[3]	力尚龙, 刘建华, 贾鹤鸣. 融合多狩猎协调策略的爬行动物搜索算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2818-2828.
[4]	赵宇博, 张丽萍, 闫盛, 侯敏, 高茂. 基于改进分段卷积神经网络和知识蒸馏的学科知识实体间关系抽取[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2421-2429.
[5]	张春雪, 仇丽青, 孙承爱, 荆彩霞. 基于两阶段动态兴趣识别的购买行为预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2365-2371.
[6]	陈虹, 齐兵, 金海波, 武聪, 张立昂. 融合1D-CNN与BiGRU的类不平衡流量异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2493-2499.
[7]	王东炜, 刘柏辰, 韩志, 王艳美, 唐延东. 基于低秩分解和向量量化的深度网络压缩方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 1987-1994.
[8]	高阳峄, 雷涛, 杜晓刚, 李岁永, 王营博, 闵重丹. 基于像素距离图和四维动态卷积网络的密集人群计数与定位方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2233-2242.
[9]	黄梦源, 常侃, 凌铭阳, 韦新杰, 覃团发. 基于层间引导的低光照图像渐进增强算法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1911-1919.
[10]	李健京, 李贯峰, 秦飞舟, 李卫军. 基于不确定知识图谱嵌入的多关系近似推理模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1751-1759.
[11]	沈君凤, 周星辰, 汤灿. 基于改进的提示学习方法的双通道情感分析模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1796-1806.
[12]	姚迅, 秦忠正, 杨捷. 生成式标签对抗的文本分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1781-1785.
[13]	高文烁, 陈晓云. 基于节点结构的点云分类网络[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1471-1478.
[14]	席治远, 唐超, 童安炀, 王文剑. 基于双路时空网络的驾驶员行为识别[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1511-1519.
[15]	孙敏, 成倩, 丁希宁. 基于CBAM-CGRU-SVM的Android恶意软件检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1539-1545.

基于教与学优化的可变卷积自编码器的医学图像分类方法

Variable convolutional autoencoder method based on teaching-learning-based optimization for medical image classification

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 27

相关文章 15

编辑推荐

Metrics