面向城市排水管网缺陷诊断的鲁棒无监督多任务异常检测方法

doi:10.11772/j.issn.1001-9081.2024050739

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (6): 1833-1840.DOI: 10.11772/j.issn.1001-9081.2024050739

• 人工智能 • 上一篇

面向城市排水管网缺陷诊断的鲁棒无监督多任务异常检测方法

闫龙博¹, 毛文涛¹^,²(), 仲志鸿³, 范黎林¹

^1.河南师范大学计算机与信息工程学院，河南新乡 453007
^2.智慧商务与物联网技术河南省工程实验室，河南新乡 453007
^3.常州市排水管理处，江苏常州 213001

收稿日期:2024-06-04 修回日期:2025-01-07 接受日期:2025-02-18 发布日期:2025-06-16 出版日期:2025-06-10
通讯作者: 毛文涛
作者简介:闫龙博（1999—），男，河南鹤壁人，硕士研究生，主要研究方向：机器学习、异常检测
毛文涛（1980—），男，河南卫辉人，教授，博士，CCF高级会员，主要研究方向：机器学习、工业大数据分析 maowt@htu.edu.cn
仲志鸿（1980—），女，河南洛阳人，硕士，主要研究方向：城市排水管理
范黎林（1970—），男，河南周口人，副教授，博士，主要研究方向：商务智能、工业大数据分析。
基金资助:
国家自然科学基金-河南联合基金资助项目(U1704158);教育部学位与研究生教育发展中心2023年度主题案例项目(ZT-231047608);江苏省建设系统科技项目(2022ZD084)

Robust unsupervised multi-task anomaly detection method for defect diagnosis of urban drainage pipe network

Longbo YAN¹, Wentao MAO¹^,²(), Zhihong ZHONG³, Lilin FAN¹

^1.College of Computer and Information Engineering，Henan Normal University，Xinxiang Henan 453007，China
^2.Engineering Laboratory of Intelligence Business and Internet of Things，Xinxiang Henan 453007，China
^3.Changzhou Drainage Management Office，Changzhou Jiangsu 213001，China

Received:2024-06-04 Revised:2025-01-07 Accepted:2025-02-18 Online:2025-06-16 Published:2025-06-10
Contact: Wentao MAO
About author:YAN Longbo， born in 1999， M. S. candidate. His research interests include machine learning， anomaly detection.
MAO Wentao， born in 1980， Ph. D.， professor. His research interests include machine learning， big data analytics in industry.
ZHONG Zhihong， born in 1980， M. S. Her research interests include urban drainage management.
FAN Lilin， born in 1970， Ph. D.， associate professor. His research interests include business intelligence， big data analytics in industry.
Supported by:
National Natural Science Foundation of China-Henan Joint Foundation(U1704158);2023 Thematic Case Project of China Academic Degrees and Graduate Education Development Center(ZT-231047608);Construction System Science and Technology Project of Jiangsu Province(2022ZD084)

摘要/Abstract

摘要：

目前利用机器学习技术对城市排水管网渗漏等典型缺陷状态检测异常已成为城市智能管理的焦点；但实际场景下采集的管网监测数据包含了大量噪声，尤其是降雨造成的液位数据突变，会严重影响管网渗漏检测结果的准确性和可靠性。为解决上述问题，提出一种面向排水管网缺陷诊断的鲁棒无监督多任务异常检测方法。首先，构建融合多个物理监测站点时空信息的深度多任务支持向量数据描述（SVDD）模型，针对各站点分别建立基于超球的单分类判别器，以提取各站点异常检测规则，并建立规则适配机制，获得多个站点的公共特征表示；其次，基于所获得的特征表示，对各站点的SVDD模型进一步引入滑动窗口，连续识别管网监测数据中的异常波动，进而确定管网监测数据序列中公共干扰因素造成的噪声点，并对噪声点进行多项式插值修正，由此排除降雨等产生的不规则噪声干扰；最后，使用修正后的监测序列进行基于自编码器（AE）重构误差的管网渗漏检测。利用常州市清潭水务管理系统采集的2017—2018年城区排水管网监测数据进行验证，结果显示，所提方法和人工检修结果相符合，同时相较于基于统计方法和传统机器学习方法，检测结果更准确，误检率更低。以清潭东区域为例，该方法在应对降雨干扰时的误检率较次优方法USAD（Unsupervised Anomaly Detection）降低了5.47个百分点，显著提升了模型在强噪声场景下的鲁棒性，进一步验证了所提方法的准确性与实用性。

关键词: 排水管网, 异常检测, 时间序列, 多任务学习, 支持向量数据描述模型

Abstract:

Currently， applying machine learning techniques to anomaly detection of drainage pipe defects， e.g.， pipe leakage， has become the focus of urban intelligent management. However， monitoring data of drainage pipe network collected from the real-world scenarios contains much noise， particularly sudden water level fluctuations caused by rainfall， significantly reduce the accuracy and reliability of detect results. To address the above problems， a robust unsupervised multi-task anomaly detection method was proposed for drainage network defect diagnosis. Firstly， by integrating the spatial-temporal information from multiple physical monitoring stations， a deep multi-task Support Vector Data Description （SVDD） model was established， individual hypersphere-based one-class classifiers were established for each station to extract anomaly detection rules， thus constructing a rule adaptation mechanism to obtain the common feature representation of multiple stations. Secondly， based on the obtained feature representations， sliding windows were introduced into each station’s SVDD model to continuously identify abnormal fluctuations in the pipeline monitoring data， thereby determining noise points caused by common interference factors in the monitoring data sequences. These noise points were corrected by polynomial interpolation to exclude irregular noise interference caused by rainfall. Finally， the modified monitoring sequences were employed to detect pipe network leakage based on AutoEncoder （AE） reconstruction errors. Experimental results on the real-world monitoring data collected from 2017 to 2018 by Qingtan Water Management System in Changzhou City demonstrate that the proposed method is consistent with the hand-operated maintenance records， moreover， the proposed method has higher detection accuracy and lower false alarm rate compared with statistical methods and traditional machine learning approaches. Taking the Qingtan East area as an example， the false detection rate of the method proposed in this paper when dealing with rainfall interference is 5.47 percentage points lower than that of the suboptimal method USAD （UnSupervised Anomaly Detection）， significantly improving the robustness of the model in strong noise scenarios and further verifying the accuracy and practicability of the proposed method.

Key words: drainage pipe network, anomaly detection, time series, multi-task learning, Support Vector Data Description (SVDD) model

中图分类号:

TP183

闫龙博, 毛文涛, 仲志鸿, 范黎林. 面向城市排水管网缺陷诊断的鲁棒无监督多任务异常检测方法[J]. 计算机应用, 2025, 45(6): 1833-1840.

Longbo YAN, Wentao MAO, Zhihong ZHONG, Lilin FAN. Robust unsupervised multi-task anomaly detection method for defect diagnosis of urban drainage pipe network[J]. Journal of Computer Applications, 2025, 45(6): 1833-1840.

图/表 12

图1 排水管网渗漏状态示例

Fig. 1 Examples of leakage in drainage pipe network

图2 本文方法的整体框架

Fig. 2 Overall framework of proposed method

图3 常州市排水管网监测站点示意图

Fig. 3 Schematic diagram of monitoring stations for drainage pipelines in Changzhou City

表1 部分检修报告信息

Tab. 1 Part of repair report information

检修区域

轻度

缺陷数

中度

缺陷数

严重

缺陷数

重大

缺陷数

共计

清潭东

清潭南

图4 清潭东区域排水管网缺陷情况示例

Fig.4 Examples of defects in drainage pipe network in Qingtan East area

图5 本文方法提取到的各站点特征表示

Fig. 5 Feature representation of each station extracted by proposed method

图6 本文方法的特征表示散点图

Fig. 6 Scatter plot of feature representation of proposed method

图7 各站点监测序列修正前后效果

Fig. 7 Effect of monitoring sequence of each station before and after correction

图8 各监测站点特征表示修正前后降雨权重值

Fig. 8 Rainfall weights before and after feature representation correction at various monitoring stations

图9 常州市排水管网各站点监测序列修正前后管网渗漏检测结果

Fig. 9 Detection results of pipeline leakage in Changzhou’s drainage network before and after correction of monitoring sequences at various stations

表2 对比方法介绍

Tab. 2 Description of comparative methods

方法类型	方法名称	方法核心
基于统计的方法	Z-score^［19］	衡量数据点与均值的标准偏差之间的关系
基于统计的方法	MGD^［20］	多维数据的高维概率分布建模
传统机器学习方法	SVDD^［21］	使用SVM找到数据集最小超球体检测异常
	IForest^［22］	使用随机树检测异常点
	OCSVM^［23］	使用正常样本密度估计寻找超平面区分异常值
深度学习方法	AE^［24］	衡量预测值与实际值之间的绝对误差
	LSTM-AE^［25］	LSTM替换AE的前馈网络
	USAD^［11］	AE+GANs

表3 各异常检测方法的性能比较

Tab. 3 Performance comparison of various anomaly detection methods

方法	降雨权重				优先检修区域
方法	清潭南	怀德东	清潭东	清潭西	优先检修区域
Z-score	0.115 2	0.174 8	0.130 7	0.093 2	怀德东
MGD	0.070 4	0.130 7	0.100 3	0.088 2	清潭西
SVDD	0.129 6	0.204 2	0.132 2	0.128 1	怀德东
IForest	0.147 2	0.186 3	0.106 4	0.109 8	清潭东
OCSVM	0.150 4	0.199 3	0.121 6	0.131 4	怀德东
AE	0.120 0	0.081 6	0.121 6	0.104 8	清潭南
LSTM-AE	0.118 4	0.150 3	0.050 2	0.101 5	怀德东
USAD	0.112 0	0.142 2	0.063 8	0.096 5	怀德东
本文方法	0.020 8	0.018 0	0.009 1	0.005 0	清潭东

参考文献 25

1	YIN X， CHEN Y， BOUFERGUENE A， et al. A deep learning-based framework for an automated defect detection system for sewer pipes ［J］. Automation in Construction， 2020， 109： 102967.
2	李翊君，张文涛.城市新型智慧排水系统总体设计探讨［J］.城市道桥与防洪，2021（12）：75-78.
	LI Y J， ZHANG W T. Discussion on overall design of new urban smart drainage system ［J］. Urban Roads Bridges and Flood Control， 2021（12）： 75-78.
3	李萌，郭效琛，赵冬泉，等.在线监测技术在排水诊断中的应用［J］.给水排水，2021，47（10）：124-129.
	LI M， GUO X C， ZHAO D Q， et al. Application of on-line monitoring technology in water drainage diagnose ［J］. Water and Wastewater Engineering， 2021， 47（10）： 124-129.
4	CHANDOLA V， BANERJEE A， KUMAR V. Anomaly detection： a survey ［J］. ACM Computing Surveys， 2009， 41（3）： No. 15.
5	TOLEDANO M， COHEN I， BEN-SIMHON Y， et al. Real-time anomaly detection system for time series at scale［C］// Proceedings of the 2018 Workshop on Anomaly Detection in Finance. ［S.l.］： PMLR， 2018： 56-65.
6	NI X， YANG D， ZHANG H， et al. Time-series transfer learning： an early stage imbalance fault detection method based on feature enhancement and improved support vector data description［J］. IEEE Transactions on Industrial Electronics， 2022， 70（8）： 8488-8498.
7	MAO W， WANG G， KOU L， et al. Deep domain-adversarial anomaly detection with one-class transfer learning［J］. IEEE/CAA Journal of Automatica Sinica， 2023， 10（2）： 524-546.
8	MORADI M， HAMIDZADEH J， MONSEFI R. ABT-SVDD： a method for uncertainty handling in domain adaptation using belief function theory［J］. Applied Soft Computing， 2023， 147（C）： 110787.
9	MALHOTRA P， RAMAKRISHNAN A， ANAND G， et al. LSTM-based encoder-decoder for multi-sensor anomaly detection［C/OL］// Proceedings of the 2016 International Conference on Machine Learning： Anomaly Detection Workshop. New York： ACM， 2016 ［2024-01-22］. .
10	PARK D， HOSHI Y， KEMP C C. A multimodal anomaly detector for robot-assisted feeding using an LSTM-based variational autoencoder［J］. IEEE Robotics and Automation Letters， 2018， 3（3）： 1544-1551.
11	AUDIBERT J， MICHIARDI P， GUYARD F， et al. USAD： unsupervised anomaly detection on multivariate time series［C］// Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York： ACM， 2020： 3395-3404.
12	KIEU T， YANG B， JENSEN C S. Outlier detection for multidimensional time series using deep neural networks［C］// Proceedings of the 2018 19th IEEE International Conference on Mobile Data Management. Piscataway： IEEE， 2018： 125-134.
13	唐伦，赵禹辰，薛呈呈，等.一种基于时间序列分解和时空信息提取的云服务器异常检测模型［J］.电子与信息学报，2024，46（6）：2638-2646.
	TANG L， ZHAO Y C， XUE C C， et al. A cloud server anomaly detection model based on time series decomposition and spatiotemporal information extraction ［J］. Journal of Electronics & Information Technology， 2024， 46（6）： 2638-2646.
14	WANG W， LIANG C， TANG L， et al. Federated multi-discriminator BiWGAN-GP based collaborative anomaly detection for virtualized network slicing［J］. IEEE Transactions on Mobile Computing， 2023， 22（11）： 6445-6459.
15	姜昊，郭文明.提取时空特征的无监督时间序列异常检测［J］.计算机科学与应用，2022，12（3）：610-621.
	JIANG H， GUO W M. Time series anomaly detection model based on deep mining of spatio-temporal features［J］. Computer Science and Application， 2022， 12（3）： 610-621.
16	SIMONYAN K， ZISSERMAN A. Very deep convolutional networks for large-scale image recognition［EB/OL］. ［2023-12-06］. .
17	RUFF L， VANDERMEULEN R， GOERNITZ N， et al. Deep one-class classification ［C］// Proceedings of the 35th International Conference on Machine Learning， PMLR 80. New York： ACM， 2018： 4393-4402.
18	TAX D M J， DUIN R P W. Support vector data description［J］. Machine Learning， 2004， 54： 45-66.
19	WU D， MA X， OLSON D L. Financial distress prediction using integrated Z-score and multilayer perceptron neural networks［J］. Decision Support Systems， 2022， 159（4）： 113814.
20	KHARAL A Y， KHALID H A， GASTLI A， et al. A novel features-based multivariate Gaussian distribution method for the fraudulent consumers detection in the power utilities of developing countries ［J］. IEEE Access， 2021， 9： 81057-81067.
21	ZHANG C， PENG K， DONG J. An incipient fault detection and self-learning identification method based on robust SVDD and RBM-PNN ［J］. Journal of Process Control， 2020， 85： 173-183.
22	LIU F T， TING K M， ZHOU Z-H. Isolation-based anomaly detection［J］. ACM Transactions on Knowledge Discovery from Data， 2012， 6（1）： No. 3.
23	SCHÖLKOPF B， PLATT J C， SHAWE-TAYLOR J， et al. Estimating the support of a high-dimensional distribution［J］. Neural Computation， 2001， 13（7）： 1443-1471.
24	WEI Y， JANG-JACCARD J， SABRINA F， et al. AE-MLP： a hybrid deep learning approach for DDoS detection and classification ［J］. IEEE Access， 2021， 9： 146810-146821.
25	CHEN H， LIU H， CHU X， et al. Anomaly detection and critical SCADA parameters identification for wind turbines based on LSTM-AE neural network［J］. Renewable Energy， 2021， 172： 829-840.

[1]	李岚皓, 严皓钧, 周号益, 孙庆赟, 李建欣. 基于神经网络的多尺度信息融合时间序列长期预测模型[J]. 《计算机应用》唯一官方网站, 2025, 45(6): 1776-1783.
[2]	王文鹏, 秦寅畅, 师文轩. 工业缺陷检测无监督深度学习方法综述[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1658-1670.
[3]	陈子和, 陈斌. 基于多表征融合的无监督点云异常检测[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1677-1685.
[4]	杨光局, 罗天健, 王开军, 杨思琪. 多分支多视图的时间序列上下文对比表征学习方法[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1042-1052.
[5]	党伟超, 宋楚君, 高改梅, 刘春霞. 基于级联残差图卷积网络的多行为推荐[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1223-1231.
[6]	潘理虎, 彭守信, 张睿, 薛之洋, 毛旭珍. 面向运动前景区域的视频异常检测[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1300-1309.
[7]	薛振华, 李强, 黄超. 视觉基础模型驱动的像素级图像异常检测方法[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 823-831.
[8]	张倩婷, 胡丽莹, 陈黎飞. 时间序列的鲁棒形态表征方法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 436-443.
[9]	张翰林, 王俊陆, 宋宝燕. 融合衍生特征的时间序列事件分类方法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 428-435.
[10]	王地欣, 王佳昊, 李敏, 陈浩, 胡光耀, 龚宇. 面向水声通信网络的异常攻击检测[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 526-533.
[11]	邓淼磊, 阚雨培, 孙川川, 徐海航, 樊少珺, 周鑫. 基于深度学习的网络入侵检测系统综述[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 453-466.
[12]	任志强, 陈学斌. 基于历史模型更新的自适应防御机制FedAud[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 490-496.
[13]	王猛, 张大千, 周冰艳, 马倩影, 吕继东. 基于时序知识图谱补全的CTCS-3级列控车载接口设备故障诊断方法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 677-684.
[14]	徐欣然, 张绍兵, 成苗, 张洋, 曾尚. 基于多路层次化混合专家模型的轴承故障诊断方法[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 59-68.
[15]	张思齐, 张金俊, 王天一, 秦小林. 基于信号时态逻辑的深度时序事件检测算法[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 90-97.

面向城市排水管网缺陷诊断的鲁棒无监督多任务异常检测方法

Robust unsupervised multi-task anomaly detection method for defect diagnosis of urban drainage pipe network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 12

参考文献 25

相关文章 15

编辑推荐

Metrics