事件驱动的微服务调用链路数据动态采集方法

doi:10.11772/j.issn.1001-9081.2021101735

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (11): 3493-3499.DOI: 10.11772/j.issn.1001-9081.2021101735

所属专题： CCF 2021中国数字服务大会

• CCF 2021中国数字服务大会 • 上一篇下一篇

事件驱动的微服务调用链路数据动态采集方法

李鹏¹^,²(), 赵卓峰¹^,², 李寒¹^,²

^1.北方工业大学信息学院，北京 100144
^2.大规模流数据集成与分析技术北京市重点实验室（北方工业大学），北京 100144

收稿日期:2021-10-09 修回日期:2021-11-08 接受日期:2021-11-17 发布日期:2022-01-24 出版日期:2022-11-10
通讯作者: 李鹏
作者简介:李鹏（1996—），男，山东济南人，硕士，CCF会员，主要研究方向：微服务、大数据 lipeng_2@126.com
赵卓峰（1977—），男，山东济南人，研究员，博士，CCF会员，主要研究方向：云计算、海量感知数据处理、服务计算、智慧城市
李寒（1981—），女，辽宁沈阳人，副研究员，博士，CCF会员，主要研究方向：大数据分析、数据质量管理。
基金资助:
国家重点研发计划项目(2019YFB1405100);北京市自然科学基金资助项目(4202021)

Event‑driven dynamic collection method for microservice invocation link data

Peng LI¹^,²(), Zhuofeng ZHAO¹^,², Han LI¹^,²

^1.School of Information Science and Technology，North China University of Technology，Beijing 100144，China
^2.Beijing Key Laboratory on Integration and Analysis of Large?Scale Stream Data （North China University of Technology），Beijing 100144，China

Received:2021-10-09 Revised:2021-11-08 Accepted:2021-11-17 Online:2022-01-24 Published:2022-11-10
Contact: Peng LI
About author:LI Peng， born in 1996， M. S. His research interests include microservices， big data.
ZHAO Zhuofeng， born in 1977， Ph. D.， research fellow. His research interests include cloud computing， massive perceptual data processing， service computing， smart city.
LI Han， born in 1981， Ph. D.， associate research fellow. Her research interests include big data analysis， data quality management.
Supported by:
National Key Research and Development Program of China(2019YFB1405100);Beijing Natural Science Foundation(4202021)

摘要/Abstract

摘要：

微服务调用链路数据是微服务应用系统日常运行中产生的一类重要数据，它以链路形式记录了微服务应用中一次用户请求对应的一系列服务调用信息。由于系统的分布性，微服务调用链路数据产生在不同的微服务部署节点，当前对这些分布数据的采集一般采用全量采集和采样采集两种方法。全量采集会产生较大数据传输和数据存储等成本，而采样采集则可能会漏掉关键的链路数据。因此，提出一种基于事件驱动和流水线采样的微服务调用链路数据动态采集方法，并基于开源软件Zipkin设计实现了一个微服务调用链路数据动态采集系统。该系统首先对不同节点符合预定义事件特征的链路数据进行流水线采样，即数据采集服务端只在某节点产生事件定义的数据时对所有节点采集同一链路数据；同时，针对不同节点的数据产生速率不一致问题，采用基于时间窗口的多线程流式数据处理和数据同步技术实现不同节点的数据采集和传递；最后，针对各节点链路数据到达服务端先后顺序不一的问题，通过时序对齐方式进行全链路数据的同步和汇总。在公开的微服务调用链路数据集上的实验结果表明，相较于全量采集和采样采集方法，所提方法对于包含异常、慢响应等特定事件的链路数据具有采集准确性高、效率好的效果。

关键词: 微服务, 调用链路数据, 动态采样, 事件匹配, 缓存机制, 服务链路追踪

Abstract:

Microservice invocation link data is a type of important data generated in the daily operation of the microservice application system， which records a series of service invocation information corresponding to a user request in the microservice application in the form of link. Microservice invocation link data are generated at different microservice deployment nodes due to the distribution characteristic of the system， and the current collection methods for these distributed data include full collection and sampling collection. Full collection may bring large data transmission and data storage costs， while sampling collection may miss critical invocation data. Therefore， an event?driven and pipeline sampling based dynamic collection method for microservice invocation link data was proposed， and a microservice invocation link system that supports dynamic collection of invocation link data was designed and implemented based on the open?source software Zipkin. Firstly， the pipeline sampling was performed on the link data of different nodes that met the predefined event features， that is the same link data of all nodes were collected by the data collection server only when the event defined data was generated by a node； meanwhile， to address the problem of inconsistent data generation rates of different nodes， multi?threaded streaming data processing technology based on time window and data synchronization technology were used to realize the data collection and transmission of different nodes. Finally， considering the problem that the link data of each node arrives at the server in different sequential order， the synchronization and summary of the full link data were realized through the timing alignment method. Experimental results on the public microservice lrevocation ink dataset prove that compared to the full collection and sampling collection methods， the proposed method has higher accuracy and more efficient collection on link data containing specific events such as anomalies and slow responces.

Key words: microservice, invocation link data, dynamic sampling, event matching, caching mechanism, service link tracing

中图分类号:

TP311.5

李鹏, 赵卓峰, 李寒. 事件驱动的微服务调用链路数据动态采集方法[J]. 计算机应用, 2022, 42(11): 3493-3499.

Peng LI, Zhuofeng ZHAO, Han LI. Event‑driven dynamic collection method for microservice invocation link data[J]. Journal of Computer Applications, 2022, 42(11): 3493-3499.

图/表 11

图1 定频采样示意图

Fig. 1 Schematic diagram of fixed frequency sampling

图2 服务链路追踪示意图

Fig. 2 Schematic diagram of service link tracking

表1 服务调用链路数据示例

Tab. 1 Example of service invocation link data

traceid	spanid	parentSpanid	spanName	startTime	endTime	tag
123	0		请求A	14：00：01	14：00：08	http：//localhost：9004/getPromotion？id=4&peer.port=9004&http.method=GET
123	1	0	A调用B	14：00：02	14：00：06	db.instance=db&component=java‑jdbc&db.type=h2&span.kind=client&__sql_id=bx9jth&peer.address=localhost：8082
123	2	1	B调用D	14：00：03	14：00：04	http.status_code=200&component=java‑spring‑rest‑template&span.kind=client&http.url=http：//tracing.console.aliyun.com
123	3	2	A调用C	14：00：05	14：00：08	&component=java‑web‑servlet&span.kind=server&http.url=http：//tracing.console.aliyun.com/getOrder&http.method=GET

图3 Zipkin系统架构

Fig. 3 Zipkin system architecture

图4 事件驱动的调用链路数据动态采集方法流程

Fig. 4 Flowchart of dynamic collection method for event?driven invocation link data

图5 微服务调用数据缓存结构

Fig. 5 Microservice invocation data cache structure

图6 客户端流处理与重要特征数据同步机制

Fig. 6 Client stream processing and important feature data synchronization mechanism

图7 微服务调用链路数据采集系统架构

Fig. 7 Microservice invocation link data collection system architecture

图8 准确率测试结果

Fig. 8 Accuracy test results

图9 两种方法的采集时间比较

Fig. 9 Comparison of collection time of two methods

图10 多客户端节点采集时间比较

Fig. 10 Multi?client node collection time comparison

参考文献 21

1	NEWMAN S. 微服务设计［M］. 崔力强，张骏，译. 北京：人民邮电出版社， 2016：263-266.
	NEWMAN S. Building Microservices［M］. CUI L Q， ZHANG J. Beijing： Posts and Telecom Press， 2016：263-266.
2	辛园园，钮俊，谢志军，等. 微服务体系结构实现框架综述［J］. 计算机工程与应用， 2018， 54（19）：10-17. 10.3778/j.issn.1002-8331.1808-0014
	XIN Y Y， NIU J， XIE Z J， et al. Survey of implementation framework for microservices architecture［J］. Computer Engineering and Applications， 2018， 54（19）： 10-17. 10.3778/j.issn.1002-8331.1808-0014
3	李春阳，刘迪，崔蔚，等. 基于微服务架构的统一应用开发平台［J］. 计算机系统应用， 2017， 26（4）：43-48. 10.15888/j.cnki.csa.005757
	LI C Y， LIU D， CUI W， et al. Unified application development platform based on micro‑service architecture［J］. Computer Systems and Applications， 2017， 26（4）： 43-48. 10.15888/j.cnki.csa.005757
4	杨勇，李影，吴中海. 分布式追踪技术综述［J］. 软件学报， 2020， 31（7）：2019-2039. 10.13328/j.cnki.jos.006047
	YANG Y， LI Y， WU Z H. Survey of state‑of‑the‑art distributed tracing technology［J］. Journal of Software， 2020， 31（7）：2019-2039. 10.13328/j.cnki.jos.006047
5	陆龙龙. 分布式链路跟踪系统的设计与实现［D］. 南京：南京大学， 2018：21-30.
	LU L L. The design and implementation of distributed tracing system［D］. Nanjing： Nanjing University， 2018： 21-30.
6	刘家严. 定频采样变窗口周期信号幅值计算［J］. 计算机产品与流通， 2020（4）：282-282.
	LIU J Y. Amplitude calculation of fixed frequency sampling variable window periodic signal［J］. Computer Products and Circulation， 2020（4）：282-282.
7	CAMALAN M. Simulating probabilistic sampling on particle populations to assess the threshold sample sizes for particle size distributions［J］. Particulate Science and Technology， 2021， 39（4）： 511-520. 10.1080/02726351.2020.1790066
8	KONDAPALLI R. Packet sampling using rate‑limiting mechanisms： 20070258370［P］. 2007-11-08.
9	SIGELMAN B H， BARROSO L A， BURROWS M， et al. Dapper， a large‑scale distributed systems tracing infrastructure： Google Technical Report dapper‑ 2010‑1［R/OL］. ［2021-09-21］..
10	任天. CAT监控系统服务端的设计与实现［D］. 南京：南京大学， 2018： 42-51.
	REN T. The design and implementation of CAT monitoring server‑side system［D］. Nanjing： Nanjing University， 2018： 42-51.
11	杨帆. 基于zipkin协议的分布式调用跟踪方案［J］. 福建电脑， 2018， 34（1）：124-124， 152. 10.16707/j.cnki.fjpc.2018.01.061
	YANG F. Distributed revocation tracking scheme based on zipkin protocol［J］. Fujian Computer， 2018， 34（1）：124-124， 152. 10.16707/j.cnki.fjpc.2018.01.061
12	吴晟. Apache SkyWalking，开源监控生态［J］. 软件和集成电路， 2021（6）：62-62.
	WU S. Apache Skywalking， open source monitoring ecology［J］. Software and Integrated Circuit， 2021（6）：62-62.
13	李敏，熊灿，肖扬. 基于事件驱动的动态分簇网络的协作传输方法［J］. 电子与信息学报， 2021， 43（8）：2232-2239. 10.11999/JEIT200707
	LI M， XIONG C， XIAO Y. An event‑driven cooperative transmission scheme for dynamic clustering networks［J］. Journal of Electronics and Information Technology， 2021， 43（8）： 2232-2239. 10.11999/JEIT200707
14	WANG J， LIU H P， ZHANG Z. Constrained route planning based on the regular expression［C］// Processing of the 2017 International Conference on Collaborative Computing： Networking， Applications and Worksharing， LNICST 252. Cham： Springer， 2018：98-108.
15	OpenTracing. Specification［EB/OL］.［2021-05-11］.. 10.3403/00085318
16	卢晨曦. 面向大数据流的分布式B+树索引构建［D］. 杭州：浙江工业大学， 2019： 34-42.
	LU C X. A distributed B+ tree for big data stream［D］. Hangzhou： Zhejiang University of Technology， 2019： 34-42.
17	李双，古良铃，贺媛媛. 从编程和性能看B树和B+树［J］. 电脑编程技巧与维护， 2020（10）：47-49.
	LI S， GU L L， HE Y Y. Seeing B tree and B+ tree from programming and performance perspectives［J］. Computer Programming Skills and Maintenance， 2020（10）： 47-49.
18	HU J K， CHEN Y M， LU Y Y， et al. Understanding and analysis of B+ trees on NVM towards consistency and efficiency［J］. CCF Transactions on High Performance Computing， 2020， 2（1）：36-49. 10.1007/s42514-020-00022-z
19	王洪润. 微服务架构中服务监控系统的设计与实现［D］. 北京：北京邮电大学， 2020： 56-67.
	WANG H R. Design and implementation of service monitoring system in microservice architecture［D］. Beijing： Beijing University of Posts and Telecommunications， 2020： 56-67.
20	赵来. 面向微服务的运维监控系统的设计与实现［D］. 西安：西安电子科技大学， 2020： 42-53.
	ZHAO L. Design and implementation of a microservice‑oriented operation and maintenance monitoring system［D］. Xi'an： Xidian University， 2020： 42-53.
21	于晓虹. 微服务架构在分布式系统的设计和应用［J］.电子技术与软件工程，2021（6）：28-29.
	YU X H. Design and application of microservice architecture in distributed systems［J］. Electronic Technology and Software Engineering， 2021（6）： 28-29.

[1]	叶盛, 王菁, 辛建峰, 王桂玲, 郭陈虹. 云边环境下微服务组合系统的动态演化方法[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1696-1704.
[2]	邵建伟, 刘其群, 王焕强, 陈耀旺, 俞东进, SALAMAT Boranbaev. 资源约束下的基于类依赖关系的微服务识别方法[J]. 计算机应用, 2020, 40(12): 3604-3611.
[3]	毛昕怡, 钮俊, 丁雪儿, 张开乐. 基于模型检测的微服务组合平台QoS验证[J]. 计算机应用, 2020, 40(11): 3267-3272.
[4]	宋洋, 黄志清, 张严心, 李梦佳. 基于压缩感知的无线传感器网络动态采样方法[J]. 计算机应用, 2017, 37(1): 183-187.
[5]	贺庆，卢显良，宋杰. 轻型永久对象管理器缓存机制的设计与实现[J]. 计算机应用, 2005, 25(01): 69-72.

事件驱动的微服务调用链路数据动态采集方法

Event‑driven dynamic collection method for microservice invocation link data

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 21

相关文章 5

编辑推荐

Metrics