Batch process quality prediction model using improved time-domain convolutional network with multi-head self-attention mechanism

doi:10.11772/j.issn.1001-9081.2024070945

Journal of Computer Applications ›› 2025, Vol. 45 ›› Issue (7): 2245-2252.DOI: 10.11772/j.issn.1001-9081.2024070945

• Data science and technology • Previous Articles Next Articles

Batch process quality prediction model using improved time-domain convolutional network with multi-head self-attention mechanism

Xiaoqiang ZHAO¹^,²^,³(), Yongyong LIU¹, Yongyong HUI¹^,²^,³, Kai LIU¹

^1.College of Electrical and Information Engineering，Lanzhou University of Technology，Lanzhou Gansu 730050，China
^2.Gansu Key Laboratory of Advanced Control for Industrial Processes （Lanzhou University of Technology），Lanzhou Gansu 730050，China
^3.National Experimental Teaching Center of Electrical and Control Engineering （Lanzhou University of Technology），Lanzhou Gansu 730050，China

Received:2024-07-08 Revised:2024-09-27 Accepted:2024-09-29 Online:2025-07-10 Published:2025-07-10
Contact: Xiaoqiang ZHAO
About author:ZHAO Xiaoqiang， born in 1969， Ph. D.， professor. His research interests include fault diagnosis， image processing and data mining.
LIU Yongyong， born in 1998， M. S. candidate. His research interests include fault diagnosis and quality prediction of batch processes.
HUI Yongyong， born in 1992， Ph. D.， associate professor. His research interests include fault diagnosis.
LIU Kai， born in 1996， Ph. D. candidate. His research interests include fault detection and diagnosis of batch processes.
Supported by:
National Natural Science Foundation of China(62263021)

基于改进时域卷积网络与多头自注意力机制的间歇过程质量预测模型

赵小强¹^,²^,³(), 柳勇勇¹, 惠永永¹^,²^,³, 刘凯¹

^1.兰州理工大学电气工程与信息工程学院，兰州 730050
^2.甘肃省工业过程先进控制重点实验室（兰州理工大学），兰州 730050
^3.国家级电气与控制工程实验教学中心（兰州理工大学），兰州 730050

通讯作者: 赵小强
作者简介:赵小强（1969—），男，陕西岐山人，教授，博士，博士生导师，主要研究方向：故障诊断、图像处理与数据挖掘 xqzhao@lut.edu.cn
柳勇勇（1998—），男，甘肃平凉人，硕士研究生，主要研究方向：间歇过程的故障诊断与质量预测
惠永永（1992—），男，甘肃天水人，副教授，博士，主要研究方向：故障诊断
刘凯（1996—），男，甘肃白银人，博士研究生，主要研究方向：间歇过程故障检测与诊断。
基金资助:
国家自然科学基金资助项目(62263021)

Abstract

Abstract:

To improve the training stability of temporal convolutional networks （TCNs） under varying batch sizes and address the issue of low prediction accuracy caused by the inability of batch process quality prediction to capture long-term dependencies and global correlations， a Batch Group Normalization （BGN） and Mish activation function-enhanced residual structure TCN （BMTCN） combined with multi-head self-attention mechanism （MHSA） for batch process quality prediction （BMTCN-MHSA） was proposed. First， the three-dimensional data of the batch process was unfolded into a two-dimensional matrix form， and the data was normalized. Then， singular spectrum analysis （SSA） decomposition was introduced to reconstruct the data. Second， BGN was integrated into the residual part of the time-domain convolution to reduce the network model’s sensitivity to changes in batch size， the Mish activation function was introduced to enhance the model’s generalization ability， and the multi-head self-attention mechanism was utilized to associate and weight feature information from different positions in the sequence， thereby further extracting key feature information and interdependencies within the sequence， and better capturing the dynamic characteristics of the batch process. Finally， the model was validated using penicillin simulation experiment data. The experimental results show that compared to the TCN model， the BMTCN-MHSA model reduces the Mean Absolute Error （MAE） by 56.86%， the Mean Squared Error （MSE） by 48.80%， and achieves a coefficient of determination （R2） of 99.48%， indicating that the BMTCN-MHSA model improves the accuracy of quality prediction for batch processes.

Key words: batch process, quality prediction, Singular Spectrum Analysis (SSA), Time-domain Convolutional Network (TCN), Multi-Head Self-Attention mechanism (MHSA)

摘要：

为提高时域卷积网络（TCN）在批量大小变化时的训练稳定性，并解决间歇过程质量预测在捕捉长期依赖性和全局关联性上存在不足而导致的预测准确度不高的问题，提出一种基于批量组规范化（BGN）和Mish激活函数改进残差结构的TCN（BMTCN）与多头自注意力机制（MHSA）的间歇过程质量预测模型（BMTCN-MHSA）。首先，将间歇过程的三维数据展开为二维矩阵形式，并对数据进行归一化处理，再引入奇异谱分析法（SSA）分解重构数据；其次，在时域卷积的残差部分融入BGN以降低网络模型在批量大小变化时的敏感度，引入Mish激活函数以提高模型的泛化能力，并利用多头自注意力机制对序列中不同位置的特征信息进行关联和权重分配，从而进一步提取序列中的关键特征信息和相互依赖关系，进而更好地捕捉间歇过程的动态特征；最后，使用青霉素仿真实验数据进行实验验证。实验结果表明，相较于TCN模型，BMTCN-MHSA模型的平均绝对误差（MAE）降低了56.86%，均方误差（MSE）降低了48.80%，而决定系数（R2）达到了99.48%，这表明BMTCN-MHSA模型提高了间歇过程质量预测的准确性。

关键词: 间歇过程, 质量预测, 奇异谱分析法, 时域卷积网络, 多头自注意力机制

CLC Number:

TP277

Xiaoqiang ZHAO, Yongyong LIU, Yongyong HUI, Kai LIU. Batch process quality prediction model using improved time-domain convolutional network with multi-head self-attention mechanism[J]. Journal of Computer Applications, 2025, 45(7): 2245-2252.

赵小强, 柳勇勇, 惠永永, 刘凯. 基于改进时域卷积网络与多头自注意力机制的间歇过程质量预测模型[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2245-2252.

Figures/Tables 18

References 24

[1]	王雅琳，潘雨晴，刘晨亮.基于GSA-LSTM动态结构特征提取的间歇过程监测方法［J］.化工学报，2022， 73（9）： 3994-4002.
	WANG Y L， PAN Y Q， LIU C L. Intermittent process monitoring based on GSA-LSTM dynamic structural feature extraction ［J］. CIESC Journal， 2022， 73（9）： 3994-4002.
[2]	卢静宜，曹志兴，高福荣.批次过程控制——回顾与展望［J］.自动化学报，2017， 43（6）： 933-943.
	LU J Y， CAO Z X， GAO F R. Batch process control — overview and outlook ［J］. Acta Automatica Sinica， 2017， 43（6）： 933-943.
[3]	YAMAGUCHI T， YAMASHITA Y. Quality prediction for multi-grade batch process using sparse flexible clustered multi-task learning ［J］. Computers and Chemical Engineering， 2021， 150： No.107320.
[4]	王硕，王培良.基于深层长短期记忆网络与批规范化的间歇过程故障检测方法［J］.计算机应用，2019， 39（2）： 370-375.
	WANG S， WANG P L. Fault detection method for batch process based on deep long short-term memory network and batch normalization ［J］. Journal of Computer Applications， 2019， 39（2）： 370-375.
[5]	李征，王普，高学金，等.基于信息增量矩阵的多阶段间歇过程质量预测［J］.化工学报，2018， 69（12）： 5164-5172.
	LI Z， WANG P， GAO X J， et al. Information increment matrix based quality prediction for multi-phase batch processes ［J］. CIESC Journal， 2018， 69（12）： 5164-5172.
[6]	SUN Y N， QIN W， XU H W， et al. A multiphase information fusion strategy for data-driven quality prediction of industrial batch processes ［J］. Information Sciences， 2022， 608： 81-95.
[7]	CHO K， VAN MERRIËNBOER B， GULCEHRE C， et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation ［C］// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2014： 1724-1734.
[8]	CHU F， CHANG X， JIA R， et al. Final quality prediction method for new batch processes based on improved JYKPLS process transfer model ［J］. Chemometrics and Intelligent Laboratory Systems， 2018， 183： 1-10.
[9]	JIANG Q， YAN X， YI H， et al. Data-driven batch-end quality modeling and monitoring based on optimized sparse partial least squares ［J］. IEEE Transactions on Industrial Electronics， 2020， 67（5）： 4098-4107.
[10]	ZHAO X， TUO B， HUI Y. Deep learning with CBAM-based CNN for batch process quality prediction ［J］. Measurement Science and Technology， 2023， 34（11）： No.115123.
[11]	BAI S， KOLTER J Z， KOLTUN V. An empirical evaluation of generic convolutional and recurrent networks for sequence modeling ［EB/OL］. ［2024-06-21］. .
[12]	汪琪，段湘煜.基于注意力卷积的神经机器翻译［J］.计算机科学，2018， 45（11）： 226-230.
	WANG Q， DUAN X Y. Neural machine translation based on attention convolution ［J］. Computer Science， 2018， 45（11）： 226-230.
[13]	石磊，王毅，成颖，等.自然语言处理中的注意力机制研究综述［J］.数据分析与知识发现，2020， 4（5）： 1-14.
	SHI L， WANG Y， CHENG Y， et al. Review of attention mechanism in natural language processing ［J］. Data Analysis and Knowledge Discovery， 2020， 4（5）： 1-14.
[14]	张振坤，张冬梅，李江，等.基于多头自注意力机制的LSTM-MH-SA滑坡位移预测模型研究［J］.岩土力学，2022， 43（S2）： 477-486， 507.
	ZHANG Z K， ZHANG D M， LI J， et al. LSTM-MH-SA landslide displacement prediction model based on multi-head self-attention mechanism ［J］. Rock and Soil Mechanics， 2022， 43（S2）： 477-486， 507.
[15]	李磊，林珊，贾颉辉.基于TCN-Attention神经网络的短期负荷预测［J］.电力信息与通信技术，2023， 21（3）： 10-16.
	LI L， LIN S， JIA J H. Short-term load forecasting based on TCN-Attention neural network ［J］. Electric Power Information and Communication Technology， 2023， 21（3）： 10-16.
[16]	WAN R， MEI S， WANG J， et al. Multivariate temporal convolutional network： a deep neural networks approach for multivariate time series forecasting ［J］. Electronics， 2019， 8（8）： No.876.
[17]	翟乃举，周晓锋，李帅，等.基于迁移学习和知识蒸馏的加热炉温度预测［J］.计算机集成制造系统，2022， 28（6）： 1860-1869.
	ZHAI N J， ZHOU X F， LI S， et al. Prediction method of furnace temperature based on transfer learning and knowledge distillation ［J］. Computer Integrated Manufacturing Systems， 2022， 28（6）： 1860-1869.
[18]	LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation ［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 3431-3440.
[19]	孙衍宁，王无印，许鸿伟，等.基于非线性因果效应的间歇过程软测量方法［J］.华中科技大学学报（自然科学版）， 2022， 50（6）： 48-54.
	SUN Y N， WANG W Y， XU H W， et al. A nonlinear causal effect-based soft sensing method for batch processes ［J］. Journal of Huazhong University of Science and Technology （Natural Science Edition）， 2022， 50（6）： 48-54.
[20]	赵小强，脱奔奔，惠永永，等.基于ISTA-LSTM模型的间歇过程质量预测［J］.控制与决策，2023， 38（11）： 3279-3289.
	ZHAO X Q， TUO B B， HUI Y Y， et al. Batch process quality prediction based on ISTA-LSTM model ［J］. Control and Decision， 2023， 38（11）： 3279-3289.
[21]	ZHOU X Y， SUN J， YE N， et al. Batch group normalization ［EB/OL］. ［2024-06-21］. .
[22]	MISRA D. Mish： a self regularized non-monotonic activation function ［C］// Proceedings of the 2020 British Machine Vision Conference. Durham： BMVA Press， 2020： No.928.
[23]	BIROL G， ÜNDEY C， ÇINAR A. A modular simulation package for fed-batch fermentation： penicillin production ［J］. Computers and Chemical Engineering， 2002， 26（11）： 1553-1565.
[24]	LOSHCHILOV I， HUTTER F. Decoupled weight decay regularization ［EB/OL］. ［2024-06-21］. .

模式	参数	值
离线建模	历史数据总量	16 000
	历史数据特征数	11
	历史数据缺失值统计	0
	历史数据异常值统计	0
	数据预处理时间/s	0.014 1
	离线建模时间/s	618.3
	训练模型时内存占比/%	46.1
	数据存储空间/MB	1.34
	模型参数存储空间/MB	0.25
在线预测	数据预处理时间/s	0.063
在线预测	模型计算与推理时间/s	0.027

模式	参数	值
离线建模	历史数据总量	16 000
	历史数据特征数	11
	历史数据缺失值统计	0
	历史数据异常值统计	0
	数据预处理时间/s	0.014 1
	离线建模时间/s	618.3
	训练模型时内存占比/%	46.1
	数据存储空间/MB	1.34
	模型参数存储空间/MB	0.25
在线预测	数据预处理时间/s	0.063
在线预测	模型计算与推理时间/s	0.027

序号	变量名称（单位）
1	通风速率（L/h）
2	搅拌速率（r/min）
3	底物流加速率（L/h）
4	补料温度（K）
5	溶解氧浓度（mmol/L）
6	反应器体积（L）
7	CO₂浓度（mmol/L）
8	pH值
9	发酵罐温度（K）
10	产生热（cal）
11	青霉素浓度（g/L）

序号	变量名称（单位）
1	通风速率（L/h）
2	搅拌速率（r/min）
3	底物流加速率（L/h）
4	补料温度（K）
5	溶解氧浓度（mmol/L）
6	反应器体积（L）
7	CO₂浓度（mmol/L）
8	pH值
9	发酵罐温度（K）
10	产生热（cal）
11	青霉素浓度（g/L）

参数	设置
输入维度	10
批大小	128
基础学习率	0.001
权重衰减系数	0.001
Dropout	0.1
Epoch	100
输出维度	1

Batch process quality prediction model using improved time-domain convolutional network with multi-head self-attention mechanism

基于改进时域卷积网络与多头自注意力机制的间歇过程质量预测模型

RichHTML

PDF

Knowledge

Abstract

Cite this article

share this article

Figures/Tables 18

References 24

Related Articles 15

Recommended Articles

Metrics

模型	MSE	MAE	R²	RMSE	Test_loss	运行时间/s
LSTM	0.004 91	0.037 29	0.985 12	0.025 68	0.134 90	8 979.480
GRU	0.003 93	0.021 55	0.988 11	0.019 77	0.107 85	793.491
TCN	0.003 34	0.027 49	0.989 82	0.017 43	0.031 42	248.216
BMTCN	0.003 10	0.025 77	0.990 59	0.016 69	0.024 77	230.384
TCN-MHSA	0.002 50	0.012 73	0.992 43	0.014 15	0.014 03	816.454
BMTCN-MHSA	0.001 71	0.011 86	0.994 82	0.008 43	0.006 98	727.576

模型	Mish激活函数	BGN	奇异谱分解	多头自注意力机制	MSE	MAE	RMSE	R²	Test loss
M_1	√				0.003 39	0.025 87	0.018 82	0.989 36	0.030 67
M_2	√	√			0.003 14	0.025 53	0.016 48	0.990 33	0.024 61
M_3	√	√	√		0.002 82	0.020 64	0.014 71	0.991 94	0.018 63
本文模型	√	√	√	√	0.001 74	0.012 05	0.008 581	0.994 76	0.007 24

[1]	Handa MA, Yadong WU. Multi-domain spatiotemporal hierarchical graph neural network for air quality prediction [J]. Journal of Computer Applications, 2025, 45(2): 444-452.
[2]	Qianhong SHI, Yan YANG, Yongquan JIANG, Xiaocao OUYANG, Wubo FAN, Qiang CHEN, Tao JIANG, Yuan LI. Multi-granularity abrupt change fitting network for air quality prediction [J]. Journal of Computer Applications, 2024, 44(8): 2643-2650.
[3]	Yanan PAN, Qingxian PAN, Zhaoyi YU, Jiajing CHU, Song YU. Online incentive mechanism based on quality perception in spatio-temporal crowdsourcing [J]. Journal of Computer Applications, 2023, 43(7): 2091-2099.
[4]	Jiahao ZHU, Wei ZHENG, Fengyu YANG, Xin FAN, Peng XIAO. Software quality prediction based on back propagation neural network optimized by ant colony optimization algorithm [J]. Journal of Computer Applications, 2023, 43(11): 3568-3573.
[5]	HUANG Weijian, LI Danyang, HUANG Yuan. Spatio-temporal hybrid prediction model for air quality [J]. Journal of Computer Applications, 2020, 40(11): 3385-3392.
[6]	WANG Shuo, WANG Peiliang. Fault detection method for batch process based on deep long short-term memory network and batch normalization [J]. Journal of Computer Applications, 2019, 39(2): 370-375.
[7]	ZHANG Cheng, GUO Qingxiu, LI Yuan. Batch process monitoring based on k nearest neighbors in discriminated kernel principle component space [J]. Journal of Computer Applications, 2018, 38(8): 2185-2191.
[8]	TANG Qi, HE Lamei. Unscented Kalman filtering method with nonlinear equality constraint [J]. Journal of Computer Applications, 2018, 38(5): 1481-1487.
[9]	CHENG Jin, WANG Jian. Endpoint prediction method for steelmaking based on multi-task learning [J]. Journal of Computer Applications, 2017, 37(3): 889-895.
[10]	JIN Liyan, CHEN Li, FAN Taiting, GAO Jing. Speech denoising algorithm based on singular spectrum analysis and Wiener filtering [J]. Journal of Computer Applications, 2015, 35(8): 2336-2340.
[11]	KONG Xiaoguang GUO Jinyu LIN Aijun. Fault diagnosis for batch processes based on two-dimensional principal component analysis [J]. Journal of Computer Applications, 2013, 33(02): 350-352.
[12]	. Adaptive rate control algorithm of Speex codec based on speech quality prediction [J]. Journal of Computer Applications, 2010, 30(3): 761-764.
[13]	. Forecasting method for water quality time series of few and abnormal data [J]. Journal of Computer Applications, 2010, 30(2): 486-489.
[14]	. Water quality parameter forecast based on grey neural network modeling [J]. Journal of Computer Applications, 2009, 29(06): 1529-1535.
[15]	;;. Application of neural network based on particle swarm algorithm for the prediction of oil quality [J]. Journal of Computer Applications, 2006, 26(5): 1122-1124.