基于特征聚合的铜合金金相图分类识别方法

doi:10.11772/j.issn.1001-9081.2022060893

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (8): 2593-2601.DOI: 10.11772/j.issn.1001-9081.2022060893

• 多媒体计算与计算机仿真 • 上一篇

基于特征聚合的铜合金金相图分类识别方法

黄学雨¹^,², 贺怀宇¹, 林慧敏¹, 陈金水³^,⁴()

^1.江西理工大学软件工程学院，南昌 330013
^2.江西理工大学南昌市虚拟数字工厂与文化传播重点实验室，南昌 330013
^3.江西理工大学材料冶金化学学部，江西赣州 341000
^4.江西理工大学先进铜产业研究院，江西鹰潭 335000

收稿日期:2022-06-20 修回日期:2022-09-05 接受日期:2022-09-09 发布日期:2022-09-22 出版日期:2023-08-10
通讯作者: 陈金水
作者简介:黄学雨（1970—），男，江西赣州人，教授，博士，主要研究方向：企业信息化、智能工厂
贺怀宇（1996—），男，山西大同人，硕士研究生，主要研究方向：图像识别
林慧敏（1997—），女，江苏徐州人，硕士研究生，主要研究方向：智能计算、图像处理；
基金资助:
国家重点研发计划重点专项(2020YFB1713700)

Classification and recognition method of copper alloy metallograph based on feature aggregation

Xueyu HUANG¹^,², Huaiyu HE¹, Huimin LIN¹, Jinshui CHEN³^,⁴()

^1.School of Software Engineering，Jiangxi University of Science and Technology，Nanchang Jiangxi 330013，China
^2.Nanchang Key laboratory of Virtual Digital Factory and Cultural Communications，Jiangxi University of Science and Technology，Nanchang Jiangxi 330013，China
^3.Faculty of Materials Metallurgy and Chemistry，Jiangxi University of Science and Technology，Ganzhou Jiangxi 341000，China
^4.Jiangxi Advanced Copper Industry Research Institute，Jiangxi University of Science and Technology，Yingtan Jiangxi 335000，China

Received:2022-06-20 Revised:2022-09-05 Accepted:2022-09-09 Online:2022-09-22 Published:2023-08-10
Contact: Jinshui CHEN
About author:HUANG Xueyu， born in 1970， Ph. D.， professor. His research interests include enterprise informatization， smart factory.
HE Huaiyu， born in 1996， M. S. candidate. His research interests include image recognition.
LIN Huimin， born in 1997， M. S. candidate. Her research interests include intelligent computing， image processing.
Supported by:
Special Program of National Key Research and Development Project(2020YFB1713700)

摘要/Abstract

摘要：

针对铜合金成分检测过程中产生的时滞问题，提出一种基于特征聚合的铜合金金相图分类识别方法。首先，在特征提取阶段，构建灰度共生矩阵（GLCM）和基于卷积注意力模块的残差网络（ResNet）模型分别提取图像的全局与局部特征；其次，在特征聚合阶段，将提取到的特征规范化后进行简单的级联；最后，在分类识别阶段，使用支持向量机（SVM）精确分类。实验结果表明，所提方法的准确率达到了98.963%、宏F1达到了98.996%，优于基于单特征的机器学习方法。可见，不同的方法提取的特征经过聚合后可以更全面地描述铜合金金相图的纹理及边缘信息，所提方法可以通过金相图识别不同铜合金，提升了识别的准确率，且具有良好的鲁棒性。

关键词: 特征聚合, 纹理特征, 残差网络, 灰度共生矩阵, 支持向量机, 铜合金, 金相图

Abstract:

Focusing on the issue of long delay in detection of copper alloy composition， a classification and recognition method of copper alloy metallograph based on feature aggregation was proposed. Firstly，in the feature extraction stage， the Gray-Level Co-occurrence Matrix （GLCM） and the Residual Network （ResNet） model based on convolutional block attention module were constructed to extract the global and local features of the image， respectively. Secondly， in the feature aggregation stage， the extracted features were normalized and then cascaded in a simple way. Finally， in the classification and recognition stage， a Support Vector Machine （SVM） was used for accurate classification. Experimental results show that the proposed method achieves the accuracy of 98.963% and macro-F1 of 98.996%， which are better than those of machine learning methods based on single feature. It can be seen that the features extracted by different methods can describe the texture and edge information of copper alloy metallographs more comprehensively after aggregation， and the proposed method can identify different copper alloys by metallographs， which improves the accuracy of identification and has good robustness.

Key words: feature aggregation, texture feature, Residual Network （ResNet）, Gray-Level Co-occurrence Matrix (GLCM), Support Vector Machine (SVM), copper alloy, metallograph

中图分类号:

TP391.41

黄学雨, 贺怀宇, 林慧敏, 陈金水. 基于特征聚合的铜合金金相图分类识别方法[J]. 计算机应用, 2023, 43(8): 2593-2601.

Xueyu HUANG, Huaiyu HE, Huimin LIN, Jinshui CHEN. Classification and recognition method of copper alloy metallograph based on feature aggregation[J]. Journal of Computer Applications, 2023, 43(8): 2593-2601.

图/表 15

图1 基于特征聚合的铜合金金相图分类识别方法框架

Fig. 1 Framework of classification and recognition method of copper alloy metallograph based on feature aggregation

图2 数据集中每个类别的图像样本

Fig. 2 Samples of images of each category in dataset

表1 预处理后的数据集分布情况

Tab. 1 Distribution of pre-processed dataset

数据集类型	不同成分的铜合金
数据集类型	Cu-Cr-Zr	Cu-Fe	Cu-Fe-Cr	Cu-Fe-Mg
训练集	1 020	878	824	324
验证集	348	296	276	108
测试集	336	272	266	90

图3 预处理后的4种类别的图像样本

Fig. 3 Four categories of image samples after pre-processing

表2 ResNet-CBAM网络参数

Tab. 2 ResNet-CBAM network parameters

阶段	输出大小	ResNet-CBAM
Stage0：Conv 1	224 $×$ 224	3 $×$ 3，64，stride 1
Stage1：CBMA	224 $×$ 224	1 $×$ 1，4，stride 1 1 $×$ 1，64，stride 1
Stage1：CBMA	224 $×$ 224	7 $×$ 7，1，stride 1，padding 3
Stage2：Conv2	224 $×$ 224	3 $×$ 3 max pool，stride 2
Stage2：Conv2	224 $×$ 224	$1 × 1,64 3 × 3,64 1 × 1,255 * 3$
Stage3：Conv3	112 $×$ 112	$1 × 1,128 3 × 3,128 1 × 1,512 * 4$
Stage4：Conv4	56 $×$ 56	$1 × 1,256 3 × 3,256 1 × 1,1 024 * 6$
Stage5：Conv5	28 $×$ 28	$1 × 1,512 3 × 3,512 1 × 1,2 048 * 3$
Stage6：CBMA	28 $×$ 28	1 $×$ 1，4，stride 1 1 $×$ 1，64，stride 1
Stage6：CBMA	28 $×$ 28	7 $×$ 7，1，stride 1，padding 3
Stage7	1 $×$ 1	Average pool，1 024 -d fc

表2 ResNet-CBAM网络参数

Tab. 2 ResNet-CBAM network parameters

阶段	输出大小	ResNet-CBAM
Stage0：Conv 1	224 $×$ 224	3 $×$ 3，64，stride 1
Stage1：CBMA	224 $×$ 224	1 $×$ 1，4，stride 1 1 $×$ 1，64，stride 1
Stage1：CBMA	224 $×$ 224	7 $×$ 7，1，stride 1，padding 3
Stage2：Conv2	224 $×$ 224	3 $×$ 3 max pool，stride 2
Stage2：Conv2	224 $×$ 224	$1 × 1,64 3 × 3,64 1 × 1,255 * 3$
Stage3：Conv3	112 $×$ 112	$1 × 1,128 3 × 3,128 1 × 1,512 * 4$
Stage4：Conv4	56 $×$ 56	$1 × 1,256 3 × 3,256 1 × 1,1 024 * 6$
Stage5：Conv5	28 $×$ 28	$1 × 1,512 3 × 3,512 1 × 1,2 048 * 3$
Stage6：CBMA	28 $×$ 28	1 $×$ 1，4，stride 1 1 $×$ 1，64，stride 1
Stage6：CBMA	28 $×$ 28	7 $×$ 7，1，stride 1，padding 3
Stage7	1 $×$ 1	Average pool，1 024 -d fc

图4 ResNet-CBAM结构

Fig. 4 Structure of ResNet-CBAM

图5 训练过程中不同卷积神经网络模型的损失曲线对比

Fig. 5 Comparison of loss curves of different convolutional neural network models during training

图6 训练过程中不同卷积神经网络模型的准确率对比

Fig. 6 Accuracy comparison of different convolutional neural network models during training

表3 测试集上不同卷积神经网络模型的性能比较 (%)

Tab. 3 Performance comparison of different convolutional neural network models on test set

模型	accuracy	macro-P	macro-R	macro-F1
ResNet50	95.746	96.151	95.324	95.735
ResNet101	96.784	97.025	97.375	97.199
DenseNet121	97.925	98.213	98.325	98.162
Xception	96.887	97.174	96.875	97.024
ResNet-CBAM	97.510	97.525	97.662	97.662

表4 测试集上基于GLCM的不同分类方法性能比较 (%)

Tab. 4 Performance comparison of different GLCM-based classification methods on test set

方法	accuracy	macro-P	macro-R	macro-F1
GLCM-KNN	81.327	81.988	79.831	79.995
GLCM-DT	73.236	73.804	72.788	73.144
GLCM-SVM	92.738	93.714	93.234	93.412

表5 测试集上基于卷积特征的不同分类方法比较 (%)

Tab. 5 Comparison of different classification methods based on convolutional features on test set

方法	accuracy	macro-P	macro-R	macro-F1
ResNet50-KNN	98.237	97.893	97.362	97.617
ResNet50-DT	96.577	95.958	96.218	96.079
ResNet50-SVM	98.340	98.412	98.178	98.278
ResNet101-KNN	98.432	97.981	98.241	98.102
ResNet101-DT	97.303	97.141	97.692	97.379
ResNet101-SVM	98.651	98.114	98.235	98.171
ResNet-CBAM-KNN	98.651	98.635	98.483	98.552
ResNet-CBAM-DT	96.888	97.292	96.732	96.992
ResNet-CBAM-SVM	98.444	98.445	98.441	98.440
DenseNet121-KNN	98.548	98.313	98.313	98.408
DenseNet121-DT	96.058	95.374	96.266	95.732
DenseNet121-SVM	98.548	98.534	98.543	98.521
Xception-KNN	98.029	97.272	98.289	97.742
Xception-DT	96.680	96.450	95.893	96.130
Xception-SVM	98.029	97.644	98.300	97.950

图7 ResNet-CBAM模块的可视化效果

Fig. 7 Visualization effect of ResNet-CBAM module

表6 测试集上基于聚合特征的不同分类方法性能比较 ( %)

Tab. 6 Performance comparison of different classification methods based on aggregated features on test set

方法	accuracy	macro-P	macro-R	macro-F1
GLCM+ResNet50-KNN	98.237	97.760	97.706	97.732
GLCM+ResNet50-DT	97.822	97.495	97.538	97.506
GLCM+ResNet50-SVM	98.859	98.703	98.615	98.655
GLCM+ResNet101-KNN	98.444	98.449	98.513	98.475
GLCM+ResNet101-DT	96.058	95.426	95.823	95.580
GLCM+ResNet101-SVM	98.859	98.819	98.619	98.712
GLCM+ResNet-CBAM-KNN	98.652	98.055	98.853	98.441
GLCM+ResNet-CBAM-DT	96.992	97.401	97.005	97.182
GLCM+ResNet-CBAM-SVM（本文方法）	98.963	99.077	98.927	98.996
GLCM+DenseNet121-KNN	98.652	98.794	98.637	98.700
GLCM+DenseNet121-DT	95.954	96.498	96.394	96.361
GLCM+DenseNet121-SVM	98.963	98.832	98.895	98.856
GLCM+Xception-KNN	97.925	97.178	98.198	97.650
GLCM+Xception-DT	97.199	96.691	97.291	96.979
GLCM+Xception-SVM	98.029	97.644	98.300	97.950

表7 测试集上文献［11］中两种方法的性能比较 ( %)

Tab. 7 Performance comparison of two methods in literature ［11］ on test set

方法	accuracy	macro-P	macro-R	macro-F1
冻结全部卷积层权值	94.605	94.925	93.875	94.397
微调部分卷积层权值	94.605	95.175	93.925	94.545

图8 基于t-SNE的特征可视化

Fig. 8 t-SNE-based feature visualization

参考文献 21

1	中国机械工程学会热处理学会. 热处理手册：第四卷热处理质量控制和检验［M］. 4版. 北京：机械工业出版社， 2008： 126-266.
	Chinese Heat Treatment Society. Heat Treatment Handbook： Volume IV Quality Control and Inspection of Heat Treatment［M］. 4th ed. Beijing： China Machine Press， 2008： 126-266.
2	张宏伟. 基于图像分析的废杂铜熔炼过程控制［D］. 杭州：浙江大学， 2014：2-19.
	ZHANG H W. Image analysis-based control system of scrap copper smelting processes［D］. Hangzhou： Zhejiang University， 2014：2-19.
3	KIM C W， KIM H G， SUK H G. A study on the composition determination of Cu alloys by image processing technology［J］. Solid State Phenomena， 2006， 116/117： 795-798. 10.4028/www.scientific.net/ssp.116-117.795
4	ZHANG H W， GE Z Q， YUAN X F， et al. Rapid vision-based system for secondary copper content estimation［J］. Transactions of Nonferrous Metals Society of China， 2014， 24（8）： 2665-2676. 10.1016/s1003-6326(14)63397-5
5	LI H， YAN W J， LI Z X， et al. Numerical and experimental study of the hot cracking phenomena in 6061/7075 dissimilar aluminum alloy resistance spot welding［J］. Journal of Manufacturing Processes， 2022， 77： 794-808. 10.1016/j.jmapro.2022.04.001
6	丛明，卢长奇，刘冬，等. 基于Refine-ACTDD的铸件外观微小缺陷检测方法［J］. 计算机集成制造系统， 2022， 28（9）：2815-2824.
	CONG M， LU C Q， LIU D， et al. Detection method for tiny defects in casting appearance based on Refine-ACTDD［J］. Computer Integrated Manufacturing Systems， 2022， 28（9）：2815-2824.
7	CHEN Q L， LI W， CHEN Z. Analysis of microstructure characteristics of high sulfur steel based on computer image processing technology［J］. Results in Physics， 2019， 12： 392-397. 10.1016/j.rinp.2018.10.037
8	WANG M， YANG L， ZHAO Z B， et al. Intelligent prediction of wear location and mechanism using image identification based on improved Faster R-CNN model［J］. Tribology International， 2022， 169： No.107466. 10.1016/j.triboint.2022.107466
9	LI Y F， LI S H. Deep learning based phase transformation model for the prediction of microstructure and mechanical properties of hot-stamped parts［J］. International Journal of Mechanical Sciences， 2022， 220： No.107134. 10.1016/j.ijmecsci.2022.107134
10	FERNANDEZ-ZELAIA P， ROSSY A M， CAMPBELL Q， et al. Austenitic parent grain reconstruction in martensitic steel using deep learning［J］. Materials Characterization， 2022， 185： No.111759. 10.1016/j.matchar.2022.111759
11	PAPA J P， NAKAMURA R Y M， DE ALBUQUERQUE V H C， et al. Computer techniques towards the automatic characterization of graphite particles in metallographic images of industrial materials［J］. Expert Systems with Applications， 2013， 40（2）： 590-597. 10.1016/j.eswa.2012.07.062
12	DeCOST B L， HOLM E A. A computer vision approach for automated analysis and classification of microstructural image data［J］. Computational Materials Science， 2015， 110： 126-133. 10.1016/j.commatsci.2015.08.011
13	张永志，辛全忠，王永亮，等. 基于迁移学习的钢金相组织分类与识别方法的研究［J］. 材料导报， 2021， 35（24）： 24152-24157. 10.11896/cldb.20070022
	ZHANG Y Z， XIN Q Z， WANG Y L， et al. Research on classification and recognition method of steel metallographic structure based on transfer learning［J］. Materials Reports， 2021， 35（24）： 24152-24157. 10.11896/cldb.20070022
14	AZIMI S M， BRITZ D， ENGSTLER M， et al. Advanced steel microstructural classification by deep learning methods［J］. Scientific Reports， 2018， 8： No.2128. 10.1038/s41598-018-20037-5
15	HUMEAU-HEURTIER A. Texture feature extraction methods： a survey［J］. IEEE Access， 2019， 7： 8975-9000. 10.1109/access.2018.2890743
16	BRYNOLFSSON P， NILSSON D， TORHEIM T， et al. Haralick texture features from Apparent Diffusion Coefficient （ADC） MRI images depend on imaging and pre-processing parameters［J］. Scientific Reports， 2017， 7： No.4041. 10.1038/s41598-017-04151-4
17	WEBEL J， GOLA J， BRITZ D， et al. A new analysis approach based on Haralick texture features for the characterization of microstructure on the example of low-alloy steels［J］. Materials Characterization， 2018， 144： 584-596. 10.1016/j.matchar.2018.08.009
18	LIN T Y， DOLLÁR P， GIRSHICK R， et al. Feature pyramid networks for object detection［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 936-944. 10.1109/cvpr.2017.106
19	王志伟，普园媛，王鑫，等. 基于多特征融合的多尺度服装图像精准化检索［J］. 计算机学报， 2020， 43（4）： 740-754. 10.11897/SP.J.1016.2020.00740
	WANG Z W， PU Y Y， WANG X， et al. Accurate retrieval of multi-scale clothing images based on multi-feature fusion［J］. Chinese Journal of Computers， 2020， 43（4）： 740-754. 10.11897/SP.J.1016.2020.00740
20	HARALICK R M， SHANMUGAM K， DINSTEIN I， et al. Textural features for image classification［J］. IEEE Transactions on Systems， Man， and Cybernetics， 1973， SMC-3（6）： 610-621. 10.1109/tsmc.1973.4309314
21	WOO S， PARK J， LEE J Y， et al. CBAM： convolutional block attention module［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11211. Cham： Springer， 2018： 3-19.

[1]	张慧斌, 冯丽萍, 郝耀军, 王一宁. 基于注意力机制和迁移学习的古壁画朝代识别[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1826-1832.
[2]	蒋瑞林, 覃仁超. 基于深度可分离卷积的多神经网络恶意代码检测模型[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1527-1533.
[3]	申利华, 李波. 基于特征金字塔网络和密集网络的肺部CT图像超分辨率重建[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1612-1619.
[4]	廖列法, 李志明, 张赛赛. 基于深度残差网络的迭代量化哈希图像检索方法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2845-2852.
[5]	贺怀清, 闫建青, 惠康华. 基于深度残差网络的轻量级人脸识别方法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2030-2036.
[6]	张杨, 郝江波. 基于注意力机制和残差网络的恶意代码检测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1708-1715.
[7]	张仲华, 赵福媛, 郭钧枫, 赵高长. 柯西自适应回溯搜索与最小二乘支持向量机的集成预测模型[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1829-1836.
[8]	杨磊, 赵红东, 于快快. 基于多头注意力机制的端到端语音情感识别[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1869-1875.
[9]	董明宇, 严迪群. 基于ResNet的音频场景声替换造假的检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1724-1728.
[10]	屈震, 李堃婷, 冯志玺. 基于有效通道注意力的遥感图像场景分类[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1431-1439.
[11]	王汇丰, 徐岩, 魏一铭, 王会真. 基于并联卷积与残差网络的图像超分辨率重建[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1570-1576.
[12]	乔桂芳, 侯守明, 刘彦彦. 基于改进卷积神经网络与支持向量机结合的面部表情识别算法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1253-1259.
[13]	邱云志, 汪廷华, 戴小路. 双重特征加权模糊支持向量机[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 683-687.
[14]	祁祥洲, 邢红杰. 基于中心核对齐的多核单类支持向量机[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 349-356.
[15]	谭旺, 李轶. 循环程序的界函数合成[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 565-573.

基于特征聚合的铜合金金相图分类识别方法

Classification and recognition method of copper alloy metallograph based on feature aggregation

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 15

参考文献 21

相关文章 15

编辑推荐

Metrics