基于因果干预的微服务系统故障根因分析方法

doi:10.11772/j.issn.1001-9081.2024010054

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (1): 196-203.DOI: 10.11772/j.issn.1001-9081.2024010054

基于因果干预的微服务系统故障根因分析方法

丁建立¹, 何雨峰¹, 王静²^,³()

^1.中国民航大学计算机科学与技术学院，天津 300300
^2.中国民航大学安全科学与工程学院，天津 300300
^3.中国民航大学信息安全测评中心，天津 300300

收稿日期:2024-01-19 修回日期:2024-03-21 接受日期:2024-03-21 发布日期:2024-05-09 出版日期:2025-01-10
通讯作者: 王静
作者简介:丁建立（1963—），男，河南洛阳人，教授，博士，CCF会员，主要研究方向：民航信息系统主动容灾、民航大数据；
何雨峰（1996—），男，四川成都人，硕士研究生，主要研究方向：智能运维、根因定位；
基金资助:
国家自然科学基金资助项目(U2033205)

Causal intervention-based root cause analysis method for microservice system faults

Jianli DING¹, Yufeng HE¹, Jing WANG²^,³()

^1.College of Computer Science and Technology，Civil Aviation University of China，Tianjin 300300，China
^2.College of Safety Science and Engineering，Civil Aviation University of China，Tianjin 300300，China
^3.Information Security Evaluation Center，Civil Aviation University of China，Tianjin 300300，China

Received:2024-01-19 Revised:2024-03-21 Accepted:2024-03-21 Online:2024-05-09 Published:2025-01-10
Contact: Jing WANG
About author:DING Jianli， born in 1963， Ph. D.， professor. His research interests include proactive disaster recovery in civil aviation information system， civil aviation big data.
HE Yufeng，born in 1996， M. S. candidate. His research interests include intelligent operation and maintenance， root cause positioning.
Supported by:
National Natural Science Foundation of China(U2033205)

摘要/Abstract

摘要：

针对现有故障根因分析方法因果关系丢失、在复杂环境中分析效率低下以及缺乏对于非机器指标故障类型分析能力的问题，提出一种基于因果干预的微服务系统故障根因分析（CIMF-RCA）方法。首先，利用马尔可夫假设和调用模式对调用链和微服务进行筛选，从而缩减干预识别的搜索空间并提高故障根因分析方法在复杂环境中的效率；其次，通过解析并融合非结构化的日志数据，实现机器指标数据和日志数据的联合分析；最后，引入因果贝叶斯网络（CBN）和干预数据，提出一种改进的干预识别算法及分治的故障根因分析方式。在大规模微服务基准平台Train-Ticket上进行实验的结果表明，对比表现最优的根本原因发现（RCD）方法，所提CIMF-RCA方法的Top-5平均准确率提高了26.33个百分点，所需时间减少了41.61%；而在RCD无法识别的非机器指标故障类型中，所提方法的Top-5准确率达到了77.00%。可见，所提方法能有效地分析微服务系统中的故障根因。

关键词: 微服务系统, 根因分析, 干预识别, 因果结构发现, 数据融合

Abstract:

To address the causality loss， low analysis efficiency in complex environments and lack of analytical capability for non-machine indicator fault type in the existing fault root cause analysis methods， a Causal Intervention-based Microservice system Fault Root Cause Analysis （CIMF-RCA） was proposed. Firstly， the call chains and microservices were filtered by Markov assumption and call patterns， resulting in a reduced search space for intervention recognition and enhanced efficiency of the root cause analysis method in complex environments. Secondly， the joint analysis of machine indicator data and log data was achieved by parsing and integrating unstructured log data. Finally， an improved intervention recognition algorithm and a divide-and-conquer method for fault root cause analysis were proposed by introducing Causal Bayesian Network （CBN） and intervention data. Experimental results on Train-Ticket， a large-scale microservice benchmark platform show that， compared to the best-performing Root Cause Discovery （RCD） method， the proposed method increases the Top-5 average accuracy by 26.33 percentage points and reduces the required time by 41.61%. In type of non-machine indicator faults that RCD cannot recognize， the proposed method has the Top-5 accuracy reached 77.00%. It can be seen that the proposed method can analyze root causes of faults in microservice system effectively.

Key words: microservice system, root cause analysis, intervention recognition, causal structure discovery, data fusion

中图分类号:

TP393

丁建立, 何雨峰, 王静. 基于因果干预的微服务系统故障根因分析方法[J]. 计算机应用, 2025, 45(1): 196-203.

Jianli DING, Yufeng HE, Jing WANG. Causal intervention-based root cause analysis method for microservice system faults[J]. Journal of Computer Applications, 2025, 45(1): 196-203.

图/表 10

图1 CIMF-RCA的总体框架

Fig. 1 Overall framework of CIMF-RCA

图2 CBN的基本骨架生成

Fig. 2 Generation of basic framework for CBN

图3 调用链示例

Fig. 3 Call chain example

图4 日志解析树

Fig. 4 Log parse tree

图5 分治的故障分析方式

Fig. 5 Divide-and-conquer method for fault analysis

表1 故障类型

Tab. 1 Fault types

故障类型	描述
网络故障	通过注入网络延迟模拟微服务网络的故障
CPU故障	通过注入消耗CPU的任务模拟微服务上CPU的故障
内存故障	通过注入占用大量内存的应用模拟内存泄漏故障
非机器指标故障	通过不合理的数据库配置和Tomcat容器配置模拟非机器指标故障

表2 本文方法和其他方法的Top-k准确率 ( %)

Tab. 2 Top-k accuracies of proposed method and other methods

故障类型	Top- $k$	CausualInfo	MicroCause	ϵ-Diagnosis	RCD	本文方法
网络故障	Top-1	15	23	27	39	61
	Top-3	28	38	40	51	74
	Top-5	31	45	52	51	81
CPU故障	Top-1	16	24	35	34	52
	Top-3	25	32	35	45	68
	Top-5	25	41	36	53	76
内存故障	Top-1	12	24	25	36	47
	Top-3	24	32	31	45	58
	Top-5	32	47	31	45	71
非机器指标故障	Top-1	—	—	—	—	52
	Top-3	—	—	—	—	68
	Top-5	—	—	—	—	77

表2 本文方法和其他方法的Top-k准确率 ( %)

Tab. 2 Top-k accuracies of proposed method and other methods

故障类型	Top- $k$	CausualInfo	MicroCause	ϵ-Diagnosis	RCD	本文方法
网络故障	Top-1	15	23	27	39	61
	Top-3	28	38	40	51	74
	Top-5	31	45	52	51	81
CPU故障	Top-1	16	24	35	34	52
	Top-3	25	32	35	45	68
	Top-5	25	41	36	53	76
内存故障	Top-1	12	24	25	36	47
	Top-3	24	32	31	45	58
	Top-5	32	47	31	45	71
非机器指标故障	Top-1	—	—	—	—	52
	Top-3	—	—	—	—	68
	Top-5	—	—	—	—	77

图6 筛选模块的准确率

Fig. 6 Accuracy of filtering module

图7 IR任务搜索空间的大小对比

Fig. 7 IR task search space size comparison

表3 消融实验结果

Tab. 3 Results of ablation experiments

实验对象	准确率/%			分析时间/s
实验对象	Top-1	Top-3	Top-5	分析时间/s
RCD	36.33	47.00	49.67	12.88
$ψ ‑ C B N$	42.67	55.33	59.00	13.13
$ψ ‑ C B N$ +筛选	53.33	68.33	76.67	7.32
$ψ ‑ C B N$ +筛选+日志融合	53.33	66.67	76.00	7.52

表3 消融实验结果

Tab. 3 Results of ablation experiments

实验对象	准确率/%			分析时间/s
实验对象	Top-1	Top-3	Top-5	分析时间/s
RCD	36.33	47.00	49.67	12.88
$ψ ‑ C B N$	42.67	55.33	59.00	13.13
$ψ ‑ C B N$ +筛选	53.33	68.33	76.67	7.32
$ψ ‑ C B N$ +筛选+日志融合	53.33	66.67	76.00	7.52

参考文献 20

1	NERI D， SOLDANI J， ZIMMERMANN O， et al. Design principles， architectural smells and refactorings for microservices： a multivocal review ［J］. SICS Software-Intensive Cyber-Physical Systems， 2020， 35（1/2）： 3-15.
2	于庆洋，白晓颖，李明杰，等.基于调用链控制流分析的大型微服务系统性能建模与异常定位［J］.软件学报， 2022， 33（5）： 1849-1864.
	YU Q Y， BAI X Y， LI M J， et al. Performance modeling and anomaly location of large microservice systems based on trace control flow analysis ［J］. Journal of Software， 2022， 33（5）： 1849-1864.
3	张齐勋，吴一凡，杨勇，等.微服务系统服务依赖发现技术综述［J］.软件学报， 2024， 35（1）： 118-135.
	ZHANG Q X， WU Y F， YANG Y， et al. Survey on service dependency discovery technologies in microservices systems ［J］. Journal of Software， 2024， 35（1）： 118-135.
4	LI Z， ZHAO N， LI M， et al. Actionable and interpretable fault localization for recurring failures in online service systems ［C］// Proceedings of the 30th ACM Joint European Software Engineering Conference and Symposium on the Foundations of Software Engineering. New York： ACM， 2022： 996-1008.
5	KIM M， SUMBALY R， SHAH S. Root cause detection in a service- oriented architecture ［J］. ACM SIGMETRICS Performance Evaluation Review， 2013， 41（1）： 93-104.
6	SHAN H， CHEN Y， LIU H， et al. ϵ-Diagnosis： unsupervised and real-time diagnosis of small-window long-tail latency in large-scale microservice platforms ［C］// Proceedings of the 2019 World Wide Web Conference. New York： ACM， 2019： 3215-3222.
7	PEARL J. Causality： models， reasoning and inference ［M］. 2nd ed. Cambridge： Cambridge University Press， 2009： 17-72.
8	CHEN P， QI Y， HOU D. CauseInfer： automated end-to-end performance diagnosis with hierarchical causality graph in cloud environment ［J］. IEEE Transactions on Services Computing， 2019， 12（2）： 214-230.
9	KALISCH M， BÜHLMANN P. Estimating high-dimensional directed acyclic graphs with the PC-algorithm ［J］. Journal of Machine Learning Research， 2007， 8： 613-636.
10	MENG Y， ZHANG S， SUN Y， et al. Localizing failure root causes in a microservice through causality inference ［C］// Proceedings of the IEEE/ACM 28th International Symposium on Quality of Service. Piscataway： IEEE， 2020： 1-10.
11	LI M， LI Z， YIN K， et al. Causal inference-based root cause analysis for online service systems with intervention recognition ［C］// Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. New York： ACM， 2022： 3230-3240.
12	IKRAM A， CHAKRABORTY S， MITRA S， et al. Root cause analysis of failures in microservices through causal discovery ［C］// Proceedings of the 36th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2022： 31158-31170.
13	WHITE G， DIUWE J， FONSECA E， et al. MMRCA： multimodal root cause analysis ［C］// Proceedings of the 2021 International Conference on Service-Oriented Computing， LNCS 13236. Cham： Springer， 2022： 177-189.
14	黄梓程，陈鹏飞，余广坝，等.面向Java微服务系统的透明请求追踪及采样方法［J］.软件学报， 2023， 34（7）： 3167-3187.
	HUANG Z C， CHEN P F， YU G B， et al. Transparent request tracking and sampling method for Java-based microservice system ［J］. Journal of Software， 2023， 34（7）： 3167-3187.
15	RUAN H， LIU Z， DING Y. Large-scale log-based failure diagnosis of server groups： a two-stage mining approach based on Drain 3 and weight-based optimization algorithm ［C］// Proceedings of the 2023 Asia-Pacific Conference on Image Processing， Electronics and Computers. Piscataway： IEEE， 2023： 302-306.
16	JABER A， KOCAOGLU M， SHANMUGAM K， et al. Causal discovery from soft interventions with unknown targets： characterization and learning ［C］// Proceedings of the 34th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2020： 9551-9561.
17	ZHOU X， PENG X， XIE T， et al. Fault analysis and debugging of microservice systems： industrial survey， benchmark system， and empirical study ［J］. IEEE Transactions on Software Engineering， 2021， 47（2）： 243-260.
18	SÖYLEMEZ M， TEKINERDOGAN B， TARHAN A K. Microservice reference architecture design： a multi-case study ［J］. Software： Practice and Experience， 2024， 54（1）： 58-84.
19	LI Z， CHEN J， JIAO R， et al. Practical root cause localization for microservice systems via trace analysis ［C］// Proceedings of the IEEE/ACM 29th International Symposium on Quality of Service. Piscataway： IEEE， 2021： 1-10.
20	SOLDANI J， BROGI A. Anomaly detection and failure root cause analysis in （micro） service-based cloud applications： a survey ［J］. ACM Computing Surveys， 2023， 55（3）： No.59.

[1]	刘艺, 杨国利, 郑奇斌, 李翔, 周杨森, 陈德鹏. 无人系统数据融合流水线架构设计[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2536-2543.
[2]	罗玮, 刘金全, 张铮. 融合秘密分享技术的双重纵向联邦学习框架[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1872-1879.
[3]	徐海文, 史家财, 汪腾. 基于深度全连接神经网络的离港航班延误预测模型[J]. 《计算机应用》唯一官方网站, 2022, 42(10): 3283-3291.
[4]	屈景怡, 曹磊, 陈敏, 董樑, 曹烨琇. 基于团簇随机连接的CliqueNet航班延误预测模型[J]. 计算机应用, 2020, 40(8): 2420-2427.
[5]	林政, 吕霞付. 基于改进模糊算法的水面无人艇自主避障[J]. 计算机应用, 2019, 39(9): 2523-2528.
[6]	黄丰雨, 吴业福, 陈镜任, 吴冰. 基于区域道路实况数据的交通行为谱分析方法[J]. 计算机应用, 2019, 39(3): 907-912.
[7]	丁景全, 马博, 李晓. 基于融合时空数据的车辆加油行为多视图深度异常检测框架[J]. 计算机应用, 2019, 39(11): 3370-3375.
[8]	邱津怡, 罗俊, 李秀, 贾伟, 倪福川, 冯慧. 基于卷积神经网络的多尺度葡萄图像识别方法[J]. 计算机应用, 2019, 39(10): 2930-2936.
[9]	吴仁彪, 李佳怡, 屈景怡. 基于双通道卷积神经网络的航班延误预测模型[J]. 计算机应用, 2018, 38(7): 2100-2106.
[10]	徐爽, 张谦, 李琰, 刘嘉勇. 基于距离类别的多源兴趣点融合算法[J]. 计算机应用, 2018, 38(5): 1334-1338.
[11]	屈立成, 高芬芬, 柏超, 李萌萌, 赵明. 雷达引导的视频联动监控模型及算法[J]. 计算机应用, 2018, 38(12): 3625-3630.
[12]	任晓旭, 吕良福, 崔广泰. 耦合图像间的数据融合算法[J]. 计算机应用, 2018, 38(10): 2862-2868.
[13]	刘佳俊, 喻钢, 胡珉. 面向城市基础设施智慧管养的大数据智能融合方法[J]. 计算机应用, 2017, 37(10): 2983-2990.
[14]	谢琳, 彭舰, 刘唐, 刘华山. 基于多级能量异构的无线传感器网络能量空洞避免策略[J]. 计算机应用, 2016, 36(6): 1475-1479.
[15]	杨文文马春光黄予洛. 基于分布式认证的完整性保护数据融合方案[J]. 计算机应用, 2014, 34(3): 714-719.

基于因果干预的微服务系统故障根因分析方法

Causal intervention-based root cause analysis method for microservice system faults

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 20

相关文章 15

编辑推荐

Metrics