工业多元时序数据质量评估方法

doi:10.11772/j.issn.1001-9081.2023060824

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (6): 1743-1750.DOI: 10.11772/j.issn.1001-9081.2023060824

• CCF第38届中国计算机应用大会 (CCF NCCA 2023) • 上一篇

工业多元时序数据质量评估方法

宋洪涛, 于江生, 韩启龙()

哈尔滨工程大学计算机科学与技术学院，哈尔滨 150001

收稿日期:2023-07-04 修回日期:2023-08-09 接受日期:2023-08-09 发布日期:2023-08-28 出版日期:2024-06-10
通讯作者: 韩启龙
作者简介:宋洪涛（1980—），男，河北昌黎人，副教授，博士，CCF会员，主要研究方向：工业数据质量分析与智能处理
于江生（1996—），男，内蒙古丰镇人，硕士研究生，主要研究方向：工业数据质量评估；
基金资助:
国家重点研发计划项目(2020YFB1710200)

Industrial multivariate time series data quality assessment method

Hongtao SONG, Jiangsheng YU, Qilong HAN()

College of Computer Science and Technology，Harbin Engineering University，Harbin Heilongjiang 150001，China

Received:2023-07-04 Revised:2023-08-09 Accepted:2023-08-09 Online:2023-08-28 Published:2024-06-10
Contact: Qilong HAN
About author:SONG Hongtao， born in 1980， Ph. D.， associate professor. His research interests include industrial data quality analysis and intelligent processing.
YU Jiangsheng， born in 1996， M. S. candidate. His research interests include industrial data quality assessment.
Supported by:
National Key Research and Development Program of China(2020YFB1710200)

摘要/Abstract

摘要：

现有的数据质量评估（DQA）方法通常只从特定数据质量维度（DQD）的基本概念分析，忽略了能够反映数据质量（DQ）关键信息的细粒度的子维度对评估结果的影响。针对上述问题，提出一种工业多元时序数据质量评估（IMTSDQA）方法。首先，对于待评估的DQD，如完整性、规范性、一致性、唯一性和准确性等进行细粒度划分，考虑同一DQD内或不同DQD间各子维度的相关性以确定这些子维度的度量；其次，对完整性的属性完整性、记录完整性、数值完整性，规范性的类型规范性、精度规范性，一致性的顺序一致性、逻辑一致性，唯一性的属性唯一性、记录唯一性，准确性的范围准确性、数值准确性等子维度进行权重分配，进而充分挖掘DQD的深层次信息，从而获得反映DQ详情的评估结果。实验结果表明，与现有的基于框架定性分析、依据DQD基本定义构建模型的方法相比，IMTSDQA能更详细、更全面地评估DQ，且不同DQD的评估结果更能客观准确地反映DQ问题。

关键词: 数据质量, 多元时序数据, 数据质量维度, 数据质量评估, 相关性

Abstract:

The existing Data Quality Assessment （DQA） methods often only analyze the basic concept of a specific Data Quality Dimension （DQD）， ignoring the influence of fine-grained sub-dimensions that reflect key information of Data Quality （DQ） on the assessment results. To address these problems， an Industrial Multivariate Time Series Data Quality Assessment （IMTSDQA） method was proposed. Firstly， the DQDs to be evaluated such as completeness， normativeness， consistency， uniqueness， and accuracy were fine-grainedly divided， and the correlation of the sub-dimensions within the same DQD or between different DQDs was considered to determine the measurements of these sub-dimensions. Secondly， the sub-dimensions of attribute completeness， record completeness， numerical completeness， type normativeness， precision normativeness， sequential consistency， logical consistency， attribute uniqueness， record uniqueness， range accuracy， and numerical accuracy were weighted to fully mine the deep-level information of DQDs， so as to obtain the evaluation results reflecting the details of DQ. Experimental results show that compared to existing approaches based on qualitative analysis of frameworks and model construction according to basic definitions of DQDs， the proposed method can assess DQ more effectively and comprehensively， and the assessment results of different DQDs can reflect DQ problems more objectively and accurately.

Key words: Data Quality (DQ), multivariate time series data, Data Quality Dimension (DQD), Data Quality Assessment (DQA), correlation

中图分类号:

TP311.132

宋洪涛, 于江生, 韩启龙. 工业多元时序数据质量评估方法[J]. 计算机应用, 2024, 44(6): 1743-1750.

Hongtao SONG, Jiangsheng YU, Qilong HAN. Industrial multivariate time series data quality assessment method[J]. Journal of Computer Applications, 2024, 44(6): 1743-1750.

图/表 9

图1 IMTSDQA方法

Fig. 1 IMTSDQA method

表1 多元时间序列数据结构

Tab. 1 Multivariate time series data structure

记录	属性
记录	$a 1$	$a 2$	…	$a n$
$r 1$	y₁₁	y₁₂	…	y₁_n
$r 2$	y₂₁	y₂₂	…	y₂_n
︙	︙	︙		︙
$r m$	y_m₁	y_m₂	…	y_mn

表1 多元时间序列数据结构

Tab. 1 Multivariate time series data structure

记录	属性
记录	$a 1$	$a 2$	…	$a n$
$r 1$	y₁₁	y₁₂	…	y₁_n
$r 2$	y₂₁	y₂₂	…	y₂_n
︙	︙	︙		︙
$r m$	y_m₁	y_m₂	…	y_mn

表2 模拟数据集评估结果

Tab. 2 Assessment results for simulation dataset

维度	维度得分	子维度	子维度得分	子维度权重
完整性	1	属性完整性	1
		记录完整性	1	0.6
		数值完整性	1	0.4
规范性	1	类型规范性	1	0.2
规范性	1	精度规范性	1	0.8
一致性	1	顺序一致性	1	0.7
一致性	1	逻辑一致性	1	0.3
及时性	1	及时性	1	1.0
唯一性	1	属性唯一性	1	0.5
唯一性	1	记录唯一性	1	0.5
准确性	1	范围准确性	1	0.5
准确性	1	数值准确性	1	0.5

表3 原始数据集的差错处理

Tab. 3 Error handling of original dataset

维度	子维度	描述
完整性	属性完整性	删除属性A5的所有数据值
	记录完整性	删除2条记录
	数值完整性	删除5个数据值，其中2个数据值在同一条记录上
规范性	类型规范性	修改2个数据值为字符型
规范性	精度规范性	不做任何修改
一致性	顺序一致性	提前2条记录的位置
一致性	逻辑一致性	不做任何修改
及时性	及时性	将1条记录的时间戳增加1 s
唯一性	属性唯一性	不做任何修改
唯一性	记录唯一性	修改3条记录使它与相邻记录重复
准确性	范围准确性	修改10个数据值使它超出规定范围
准确性	数值准确性	修改3个数据值使它在规定范围内但不准确

表4 差错模拟数据集评估结果

Tab. 4 Assessment results for error simulation dataset

维度	维度得分	子维度	子维度得分	子维度权重
完整性	0.698 9	属性完整性	0.800 0
		记录完整性	0.940 0	0.6
		数值完整性	0.774 0	0.4
规范性	0.993 1	类型规范性	0.993 1	0.2
规范性	0.993 1	精度规范性	0.993 1	0.8
一致性	0.970 4	顺序一致性	0.979 6	0.7
一致性	0.970 4	逻辑一致性	0.949 0	0.3
及时性	0.898 0	及时性	0.898 0	1.0
唯一性	0.984 7	属性唯一性	1.000 0	0.5
唯一性	0.984 7	记录唯一性	0.969 4	0.5
准确性	0.702 8	范围准确性	0.706 6	0.5
准确性	0.702 8	数值准确性	0.699 0	0.5

表5 差错模拟数据集整体DQ得分

Tab. 5 Overall DQ score for error simulation dataset

整体DQ	维度	维度得分	维度权重
0.874 7	完整性	0.698 9	1/6
	规范性	0.993 1	1/6
	一致性	0.970 4	1/6
	及时性	0.898 0	1/6
	唯一性	0.984 7	1/6
	准确性	0.702 8	1/6

表6 英特尔实验室数据集评估结果

Tab. 6 Assessment results for Intel Lab dataset

维度	维度得分	子维度	子维度得分	子维度权重
完整性	0.480 1	属性完整性	1.000 0
		记录完整性	0.480 1	0.6
		数值完整性	0.480 1	0.4
规范性	0.845 2	类型规范性	1.000 0	0.2
规范性	0.845 2	精度规范性	0.806 5	0.8
一致性	0.819 5	顺序一致性	0.819 5	1.0
一致性	0.819 5	逻辑一致性	—	0.0
及时性	0.339 5	及时性	0.339 5	1.0
唯一性	1.000 0	属性唯一性	1.000 0	0.5
唯一性	1.000 0	记录唯一性	1.000 0	0.5
准确性	0.932 3	范围准确性	0.934 7	0.5
准确性	0.932 3	数值准确性	0.929 8	0.5

表7 英特尔实验室数据集整体DQ得分

Tab. 7 Overall DQ score for Intel Lab dataset

整体DQ	维度	维度得分	维度权重
0.736 1	完整性	0.480 1	1/6
	规范性	0.845 2	1/6
	一致性	0.819 5	1/6
	及时性	0.339 5	1/6
	唯一性	1.000 0	1/6
	准确性	0.932 3	1/6

表8 现有DQA方法与本文方法的比较

Tab. 8 Comparison of existing DQA methods and proposed method

维度	子维度	不同方法的子维度评估实现情况
维度	子维度	文献［4］方法	文献［16］方法	文献［17］方法	文献［18］方法	文献［12］方法	本文方法
完整性	属性完整性	×	×	×	√	×	√
	记录完整性	×	×	√	√	×	√
	数值完整性	×	√	√	√	×	√
规范性	类型规范性	×	×	×	×	×	√
规范性	精度规范性	×	×	×	×	×	√
一致性	顺序一致性	×	×	×	×	×	√
一致性	逻辑一致性	×	×	×	×	×	√
及时性	及时性	×	×	×	√	×	√
唯一性	属性唯一性	×	×	×	×	×	√
唯一性	记录唯一性	×	×	×	√	×	√
准确性	范围准确性	×	×	×	√	×	√
准确性	数值准确性	×	×	√	×	×	√
是否考虑维度间相关性		×	×	×	×	×	√

参考文献 25

1	国务院. 国务院关于深化“互联网+先进制造业”发展工业互联网的指导意见［EB/OL］. （2017-11-27）［2023-04-20］. “Internet+ Advanced Manufacturing” and developing industrial Internet ［EB/OL］. （2017-11-27）［2023-04-20］. ）
2	REDMAN T C. Bad data costs the US $3 trillion per year ［J/OL］. Harvard Business Review（2016-09-22）［2023-05-30］. .
3	GUALO F， RODRÍGUEZ M， VERDUGO J， et al. Data quality certification using ISO/IEC 25012： industrial experiences ［J］. Journal of Systems and Software， 2021， 176： 110938.
4	DE AQUINO G R C， DE FARIAS C M， PIRMEZ L. Data quality assessment and enhancement on social and sensor data ［C/OL］ // Proceedings of the Poster Track of the Workshop on Big Social Data and Urban Computing Co-located with BiDU 2018 at VLDB 2018. （2018）［2023-05-30］. .
5	ALWAN A A， CIUPALA M A， BRIMICOMBE A J， et al. Data quality challenges in large-scale cyber-physical systems： a systematic review ［J］. Information Systems， 2022， 105： 101951.
6	ZHANG L， JEONG D， LEE S. Data quality management in the internet of things ［J］. Sensors， 2021， 21（17）： 5834.
7	WANG R Y， STRONG D M. Beyond accuracy： what data quality means to data consumers ［J］. Journal of Management Information Systems， 1996， 12（4）： 5-33.
8	ORR K. Data quality and systems theory ［J］. Communications of the ACM， 1998， 41（2）： 66-71.
9	KARKOUCH A， MOUSANNIF H， MOATASSIME H AL， et al. Data quality in internet of things： a state-of-the-art survey ［J］. Journal of Network and Computer Applications， 2016， 73： 57-81.
10	GABR M I， HELMY Y M， ELZANFALY D S. Data quality dimensions， metrics， and improvement techniques ［J］. Future Computing and Informatics Journal， 2021， 6（1）： 25-44.
11	LIU C， NITSCHKE P， WILLIAMS S P， et al. Data quality and the internet of things ［J］. Computing， 2020， 102（2）： 573-599.
12	WU H， LIN A， CLARKE K C， et al. A comprehensive quality assessment framework for linear features from volunteered geographic information ［J］. International Journal of Geographical Information Science， 2021， 35（9）： 1826-1847.
13	AL-MASRI E A M， BAI Y. A service-oriented approach for assessing the quality of data for the internet of things ［C］// Proceedings of the 2019 IEEE International Conference on Service-Oriented System Engineering. Piscataway： IEEE， 2019： 9-97.
14	DE AQUINO G R C， DE FARIAS C M， PIRMEZ L. Hygieia： data quality assessment for smart sensor network ［C］// Proceedings of the 34th ACM/SIGAPP Symposium on Applied Computing. New York： ACM， 2019： 889-891.
15	ENGEMANN K. Measuring data quality for ongoing improvement： a data quality assessment framework ［J］. Benchmarking： An International Journal， 2014， 21（3）： 481-482.
16	KIRCHEN I， SCHÜTZ D， FOLMER J， et al. Metrics for the evaluation of data quality of signal data in industrial processes ［C］// Proceedings of the 2017 IEEE 15th International Conference on Industrial Informatics. Piscataway： IEEE， 2017： 819-826.
17	FIZZA K， JAYARAMAN P P， BANERJEE A， et al. Evaluating sensor data quality in internet of things smart agriculture applications ［J］. IEEE Micro， 2022， 42（1）： 51-60.
18	G-O MERITXELL， SIERRA B， FERREIRO S. On the evaluation， management and improvement of data quality in streaming time series ［J］. IEEE Access， 2022， 10： 81458-81475.
19	LI W， XU S， PENG X. Research on comprehensive evaluation of data source quality in big data environment ［J］. International Journal of Computational Intelligence Systems， 2021， 14（1）： 1831-1841.
20	KWAK S G， KIM J H. Central limit theorem： the cornerstone of modern statistics ［J］. Korean Journal of Anesthesiology， 2017， 70（2）： 144-156.
21	NEVIL S. How to calculate z-score and its meaning ［EB/OL］. （2017-03-31）［2023-04-20］. .
22	VAIDYA O S， KUMAR S. Analytic hierarchy process： an overview of applications［J］. European Journal of Operational Research， 2006， 169（1）： 1-29.
23	JIANG Y， FANG M， LIU Z， et al. Comprehensive evaluation of power quality based on an improved TOPSIS method considering the correlation between indices ［J］. Applied Sciences， 2019， 9（17）： 3603.
24	LIU Y， XU Q， LIU Y， et al. Comprehensive evaluation of power quality based on improved TOPSIS method and combination weights ［C］// Proceedings of the 2022 IEEE 5th International Electrical and Energy Conference. Piscataway： IEEE， 2022： 2609-2614.
25	SAMUEL M. Intel lab data ［DB/OL］. （2004-06-06）［2023-04-20］. .

[1]	付顺旺, 陈茜, 李智, 王国美, 卢妤. 用于篡改图像检测和定位的双通道渐进式特征过滤网络[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1303-1309.
[2]	孟圣洁, 于万钧, 陈颖. 最大相关和最大差异的高维数据特征选择算法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 767-771.
[3]	陈佳, 张鸿. 基于特征增强和语义相关性匹配的图像文本检索方法[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 16-23.
[4]	林于翔, 吴运兵, 阴爱英, 廖祥文. 基于语义相关性分析的多模态摘要模型[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 65-72.
[5]	魏远, 林彦, 郭晟楠, 林友芳, 万怀宇. 融合出发地与目的地时空相关性的城市区域间出租车需求预测[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2100-2106.
[6]	赵静, 韩京宇, 钱龙, 毛毅. 基于改进的RAKEL算法的心电图诊断分类[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1892-1897.
[7]	罗长银, 王君宇, 陈学斌, 马春地, 张淑芬. 改进的联邦加权平均算法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1131-1136.
[8]	李艳, 郭劼, 范斌. 元学习的不确定性特征构建及初步分析[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 343-348.
[9]	刘长红, 曾胜, 张斌, 陈勇. 基于语义关系图的跨模态张量融合网络的图像文本检索[J]. 《计算机应用》唯一官方网站, 2022, 42(10): 3018-3024.
[10]	李恒鑫, 常侃, 谭宇飞, 凌铭阳, 覃团发. 应用通道间相关性及增强信息蒸馏的彩色图像去马赛克网络[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 245-251.
[11]	王磊. 改进粗糙集属性约简结合K-means聚类的网络入侵检测方法[J]. 计算机应用, 2020, 40(7): 1996-2002.
[12]	曹堉, 王成, 王鑫, 高悦尔. 基于时空节点选择和深度学习的城市道路短时交通流预测[J]. 计算机应用, 2020, 40(5): 1488-1493.
[13]	张伍, 陈红梅. 基于核模糊粗糙集的高光谱波段选择算法[J]. 计算机应用, 2020, 40(1): 258-263.
[14]	黄永鑫, 唐雪飞. 基于近邻传播聚类和TANE算法的高校数据中函数依赖的发现[J]. 计算机应用, 2020, 40(1): 90-95.
[15]	程玉胜, 钱坤, 王一宾, 赵大卫. 融合萤火虫方法的多标签懒惰学习算法[J]. 计算机应用, 2019, 39(5): 1305-1311.

工业多元时序数据质量评估方法

Industrial multivariate time series data quality assessment method

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 25

相关文章 15

编辑推荐

Metrics