基于自监督特征提取的骨骼X线影像异常检测方法

doi:10.11772/j.issn.1001-9081.2023010002

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (1): 175-181.DOI: 10.11772/j.issn.1001-9081.2023010002

• 人工智能 • 上一篇

基于自监督特征提取的骨骼X线影像异常检测方法

张雨宁¹, 阿布都克力木·阿布力孜¹(), 梅悌胜², 徐春¹, 麦尔达娜·买买提热依木³, 哈里旦木·阿布都克里木¹, 侯钰涛¹

^1.新疆财经大学信息管理学院, 乌鲁木齐 830012
^2.新疆财经大学统计与数据科学学院, 乌鲁木齐 830012
^3.陕西中医药大学第一临床医学院, 西安 712046

收稿日期:2023-01-04 修回日期:2023-04-13 接受日期:2023-04-13 发布日期:2023-06-06 出版日期:2024-01-10
通讯作者: 阿布都克力木·阿布力孜
作者简介:张雨宁（2000—），女，河北定州人，硕士研究生，CCF学生会员，主要研究方向：人工智能、医学人工智能；
梅悌胜（2001—），男，新疆沙湾人，CCF学生会员，主要研究方向：人工智能、医学人工智能；
徐春（1977—），女，新疆乌鲁木齐人，教授，博士，CCF专业会员，主要研究方向：人工智能、医学人工智能；
麦尔达娜·买买提热依木（2000—），女（维吾尔族），新疆乌鲁木齐人，主要研究方向：人工智能、医学人工智能；
哈里旦木·阿布都克里木（1978—），女（维吾尔族），新疆伊宁人，副教授，博士，CCF专业会员，主要研究方向：人工智能、医学人工智能；
侯钰涛（1998—），女，山西吕梁人，硕士研究生，CCF会员，主要研究方向：人工智能、医学人工智能。
第一联系人：阿布都克力木·阿布力孜（1983—），男（维吾尔族），新疆叶城人，副教授，博士，CCF专业会员，主要研究方向：人工智能、医学人工智能；
基金资助:
国家自然科学基金资助项目(62266041)

Anomaly detection method for skeletal X-ray images based on self-supervised feature extraction

Yuning ZHANG¹, Abudukelimu ABULIZI¹(), Tisheng MEI², Chun XU¹, Maierdana MAIMAITIREYIMU³, Halidanmu ABUDUKELIMU¹, Yutao HOU¹

^1.School of Information Management，Xinjiang University of Finance and Economics，Urumqi Xinjiang 830012，China
^2.School of Statistics and Data Science，Xinjiang University of Finance and Economics，Urumqi Xinjiang 830012，China
^3.The First Clinical Medical College，Shaanxi University of Chinese Medicine，Xi’an Shaanxi 712046，China

Received:2023-01-04 Revised:2023-04-13 Accepted:2023-04-13 Online:2023-06-06 Published:2024-01-10
Contact: Abudukelimu ABULIZI
About author:ZHANG Yuning， born in 2000， M. S. candidate. Her research interests include artificial intelligence， medical artificial intelligence.
MEI Tisheng， born in 2001. His research interests include artificial intelligence， medical artificial intelligence.
XU Chun， born in 1977， Ph. D.， professor. Her research interests include artificial intelligence， medical artificial intelligence.
MAIMAITIREYIMU Maierdana， born in 2000. Her research interests include artificial intelligence， medical artificial intelligence.
ABUDUKELIMU Halidanmu， born in 1978， Ph. D.， associate professor. Her research interests include artificial intelligence， medical artificial intelligence.
HOU Yutao， born in 1998， M. S. candidate. Her research interests include artificial intelligence， medical artificial intelligence.
Supported by:
National Natural Science Foundation of China(62266041)

摘要/Abstract

摘要：

为探索自监督特征提取方法在骨骼X线影像异常检测方面的可行性，提出了基于自监督特征提取的骨骼X线影像异常检测方法。将自监督学习框架与ViT（Vision Transformer）模型结合用于骨骼异常检测的特征提取，并通过线性分类器进行异常检测分类，在特征提取阶段可有效避免有监督模型对大规模有标注数据的依赖性。在公开的骨骼X线影像数据集上进行实验，采用准确率分别评估预训练的卷积神经网络（CNN）和自监督特征提取的骨骼异常检测模型。实验结果表明，自监督特征提取模型相较于一般的CNN模型效果更优，在7个部位分类结果与有监督的CNN模型ResNet50相差无几，但在肘部、手指、肱骨的异常检测中准确率均取得了最优值，平均准确率提升了5.37个百分点。所提方法易于实现，可以作为放射科医生初步诊断的可视化辅助工具。

关键词: 自监督学习, 特征提取, X线影像, 深度学习, 异常检测

Abstract:

In order to explore the feasibility of a self-supervised feature extraction method in skeletal X-ray image anomaly detection， an anomaly detection method for skeletal X-ray images based on self-supervised feature extraction was proposed. The self-supervised learning framework and Vision Transformer （ViT） model were combined for feature extraction in skeletal anomaly detection， and anomaly detection classification was carried out by linear classifiers， which can effectively avoid the dependence of supervised models on large-scale labeled data in feature extraction stage. Experiments were performed on publicly available skeletal X-ray image datasets， the skeletal anomaly detection models based on pre-trained Convolutional Neural Network （CNN） and self-supervised feature extraction were evaluated with accuracy. Experimental results show that self-supervised feature extraction model has better effect than the general CNN models， its classification results in seven parts are similar to those of supervised CNN models， but the abnormal detection accuracy for elbow， finger and humerus achieved optimal values， and the average accuracies increases by 5.37 percentage points compared to ResNet50. The proposed method is easy to implement and can be used as a visual assistant tool for radiologist initial diagnosis.

Key words: self-supervised learning, feature extraction, X-ray image, deep learning, anomaly detection

中图分类号:

TP391.1

张雨宁, 阿布都克力木·阿布力孜, 梅悌胜, 徐春, 麦尔达娜·买买提热依木, 哈里旦木·阿布都克里木, 侯钰涛. 基于自监督特征提取的骨骼X线影像异常检测方法[J]. 计算机应用, 2024, 44(1): 175-181.

Yuning ZHANG, Abudukelimu ABULIZI, Tisheng MEI, Chun XU, Maierdana MAIMAITIREYIMU, Halidanmu ABUDUKELIMU, Yutao HOU. Anomaly detection method for skeletal X-ray images based on self-supervised feature extraction[J]. Journal of Computer Applications, 2024, 44(1): 175-181.

图/表 8

参考文献 41

1	MBOI N， SURBAKTI I M， TRIHANDINI I， et al. On the road to universal health care in Indonesia， 1990-2016： a systematic analysis for the Global Burden of Disease Study 2016 ［J］. Lancet， 2018， 392（10147）： 581-591. 10.1016/s0140-6736(18)30595-6
2	AI-AYYOUB M， HMEIDI I， RABABAH H. Detecting hand bone fractures in X-ray images ［J］. Journal of Multimedia Processing and Technologies， 2013， 4（3）： 155-168.
3	ZEELAN BASHA C M A K， MARUTHI PADMAJA T， BALAJI G N. Automatic X-ray image classification system ［C］// Proceedings of the First International Conference on Smart Computing and Informatics. Cham： Springer， 2018： 43-52. 10.1007/978-981-10-5547-8_5
4	林广，张志强.人工智能医学影像在骨关节系统中的应用进展［J］.中国医学影像学杂志， 2022， 30（2）： 184-187. 10.3969/j.issn.1005-5185.2022.02.017
	LIN G， ZHANG Z Q. Advances in the application of artificial intelligence in osteoarticular medical imaging ［J］. Chinese Journal of Medical Imaging， 2022， 30（2）： 184-187. 10.3969/j.issn.1005-5185.2022.02.017
5	SPAHR A， BOZORGTABAR B， THIRAN J P. Self-taught semi-supervised anomaly detection on upper limb X-rays ［C］// Proceedings of the 2021 IEEE 18th International Symposium on Biomedical Imaging. Piscataway： IEEE， 2021： 1632-1636. 10.1109/isbi48211.2021.9433771
6	SCHMARJE L， SANTAROSSA M， SCHRÖDER S M， et al. A survey on semi-， self- and unsupervised techniques in image classification ［J］. IEEE Access， 2021， 9： 82146-82168. 10.1109/access.2021.3084358
7	HUANG G， LARADJI I， VÁZQUEZ D， et al. A survey of self-supervised and few-shot object detection ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（4）： 4071-4089.
8	CARON M， TOUVRON H， MISRA I， et al. Emerging properties in self-supervised vision transformers ［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 9630-9640. 10.1109/iccv48922.2021.00951
9	DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16×16 words： Transformers for image recognition at scale ［EB/OL］. ［2023-03-21］. .
10	RAJPURKAR P， IRVIN J， BAGUL A， et al. MURA： Large dataset for abnormality detection in musculoskeletal radiographs ［EB/OL］. ［2023-03-21］. . 10.3390/reports2040026
11	JAISWAL A， BABU A R， ZADEH M Z， et al. A survey on contrastive self-supervised learning ［J］. Technologies， 2020， 9（1）： No. 2. 10.3390/technologies9010002
12	PATHAK D， KRÄHENBÜHL P， DONAHUE J， et al. Context encoders： feature learning by in painting ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2536-2544. 10.1109/cvpr.2016.278
13	ZHANG R， ISOLA P， EFROS A A. Colorful image colorization ［C］// Proceedings of the 2016 European Conference on Computer Vision. Cham： Springer， 2016： 649-666. 10.1007/978-3-319-46487-9_40
14	GOODFELLOW I， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial networks ［J］. Communications of the ACM， 2020， 63（11）： 139-144. 10.1145/3422622
15	ZHU J-Y， PARK T， ISOLA P， et al. Unpaired image-to-image translation using cycle-consistent adversarial networks ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2242-2251. 10.1109/iccv.2017.244
16	KARRAS T， LAINE S， AILA T. A style-based generator architecture for generative adversarial networks ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 4396-4405. 10.1109/cvpr.2019.00453
17	李希，刘喜平，李旺才，等.对比学习研究综述［J］.小型微型计算机系统， 2023， 44（4）： 787-797.
	LI X， LIU X P， LI W C， et al. Survey on contrastive learning research ［J］. Journal of Chinese Computer Systems， 2023， 44（4）： 787-797.
18	HE K， FAN H， WU Y， et al. Momentum contrast for unsupervised visual representation learning ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 9726-9735. 10.1109/cvpr42600.2020.00975
19	CHEN T， KORNBLITH S， NOROUZI M， et al. A simple framework for contrastive learning of visual representations ［C］// Proceedings of the 37th International Conference on Machine Learning. New York： JMLR.org， 2020： 1597-1607.
20	J-B GRILL， STRUB F， ALTCHÉ F， et al. Bootstrap your own latent — a new approach to self-supervised learning ［C］// Proceedings of the 34th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2020， 33： 21271-21284.
21	CARON M， MISRA I， MAIRAL J， et al. Unsupervised learning of visual features by contrasting cluster assignments ［C］// Proceedings of the 34th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2020： 9912-9924.
22	FERNANDO T， GAMMULLE H， DENMAN S， et al. Deep learning for medical anomaly detection-a survey ［J］. ACM Computing Surveys， 2021， 54（7）： No. 141. 10.1145/3464423
23	MAHENDRAN S K， SANTHOSH BABOO S. An enhanced tibia fracture detection tool using image processing and classification fusion techniques in X-ray images ［J］. Global Journal of Computer Science and Technology， 2011， 11（14）： 23-28.
24	CHUNG S W， HAN S S， LEE J W， et al. Automated detection and classification of the proximal humerus fracture by using deep learning algorithm ［J］. Acta Orthopaedica， 2018， 89（4）： 468-473. 10.1080/17453674.2018.1453714
25	MIAH M B A， AKTER A. Detecting and determining the types of hand bone fracture using K-means clustering ［J］. Journal of Computer Science Applications and Information Technology， 2018， 3（3）： 1-10.
26	BANGA D， WAIGANJO P. Abnormality detection in musculoskeletal radiographs with convolutional neural networks （ensembles） and performance optimization ［EB/OL］. ［2023-03-21］. .
27	TANTAWI M， THABET R， SAYED A M， et al. Bone X-rays classification and abnormality detection ［J］. Internet of Things — Applications and Future， 2020， 114： 277-286. 10.1007/978-981-15-3075-3_20
28	El-SAADAWY H， TANTAWI M， SHEDEED H A， et al. A two-stage method for bone X-rays abnormality detection using MobileNet network ［C］// Proceedings of the 2020 International Conference on Artificial Intelligence and Computer Vision. Cham： Springer， 2020： 372-380. 10.1007/978-3-030-44289-7_35
29	HE M， WANG X， ZHAO Y. A calibrated deep learning ensemble for abnormality detection in musculoskeletal radiographs ［J］. Scientific Reports， 2021， 11（1）： 9097. 10.1038/s41598-021-88578-w
30	王鑫.基于深度神经网络的骨骼异常检测方法研究［D］.呼和浩特：内蒙古大学， 2020： 20-35.
	WANG X. Research on skeletal abnormally detection method based on deep neural learning ［D］. Hohhot： Inner Mongolia University， 2020： 20-35.
31	黄彩云，陈德武，何吉福，等.基于改进双路径网络的上肢肌肉骨骼异常检测［J］.山东大学学报（工学版）， 2022， 52（3）： 25-33， 41.
	HUANG C Y， CHEN D W， HE J F， et al. Detection of upper limb musculoskeletal abnormality based on improved dual path network ［J］. Journal of Shandong University （Engineering Science）， 2022， 52（3）： 25-33， 41.
32	YAO J， GUO Z， YU W. Enhanced deep residual network for bone classification and abnormality detection. ［J］. Medical Physics， 2022， 49（11）： 6914-6929. 10.1002/mp.15966
33	El-SAADAWY H， TANTAWI M， SHEDEED H A， et al. A hybrid two-stage GNG-Modified VGG method for bone X-rays classification and abnormality detection ［J］. IEEE Access， 2021， 9： 76649-76661. 10.1109/access.2021.3081915
34	王浩.人体骨骼医学影像的异常检测方法研究［D］.荆州：长江大学， 2022： 1-5. 10.25221/fee.455.2
	WANG H. Research on anomaly detection method of human bone medical image ［D］. Jingzhou： Yangtze University， 2022： 1-5. 10.25221/fee.455.2
35	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 6000-6010.
36	SIMONYAN K， ZISSERMAN A. Very Deep convolutional networks for large-scale image recognition ［EB/OL］. ［2023-03-21］. .
37	SZEGEDY C， VANHOUCKE V， IOFFE S， et al. Rethinking the inception architecture for computer vision ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2818-2826. 10.1109/cvpr.2016.308
38	CHOLLET F. Xception： Deep learning with depthwise separable convolutions ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 1800-1807. 10.1109/cvpr.2017.195
39	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
40	HUANG G， LIU Z， VAN DER MAATEN L， et al. Densely connected convolutional networks ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 2261-2269. 10.1109/cvpr.2017.243
41	RAGHU M， UNTERTHINER T， KORNBLITH S， et al. Do vision transformers see like convolutional neural networks？［EB/OL］. （2022-03-03）［2022-06-02］. . 10.1016/s0004-3702(98)00055-1

类型	训练集样本数		测试集样本数		样本总数
类型	正常	异常	正常	异常	样本总数
合计	8 280	5 177	661	537	14 656
肘部	1 094	660	92	66	1 912
手指	1 280	655	92	83	2 110
手部	1 497	521	101	66	2 185
肱骨	321	271	68	67	727
前臂	950	287	69	64	1 010
肩部	1 364	1 457	99	95	3 015
手腕	2 134	1 326	140	97	3 697

类型	训练集样本数		测试集样本数		样本总数
类型	正常	异常	正常	异常	样本总数
合计	8 280	5 177	661	537	14 656
肘部	1 094	660	92	66	1 912
手指	1 280	655	92	83	2 110
手部	1 497	521	101	66	2 185
肱骨	321	271	68	67	727
前臂	950	287	69	64	1 010
肩部	1 364	1 457	99	95	3 015
手腕	2 134	1 326	140	97	3 697

实验参数	设置	实验参数	设置
Patch大小	16	优化器	AdamW
ViT模型层数	12	教师网络优化动量	0.996
ViT模型注意力头	6	教师网络温度参数	0.04
Batch大小	16	Dropout率	0.1
迭代次数	300

实验参数	设置	实验参数	设置
Patch大小	16	优化器	AdamW
ViT模型层数	12	教师网络优化动量	0.996
ViT模型注意力头	6	教师网络温度参数	0.04
Batch大小	16	Dropout率	0.1
迭代次数	300

模型	准确率	模型	准确率
Inception	94.43	ResNet152	87.86
VGG16‎	93.50	DenseNet121	95.44
VGG19	89.84	DenseNet169	76.35
Xception	95.78	DenseNet201	65.99
ResNet50	95.07	DINO（ViT）	95.50
ResNet101	94.71

基于自监督特征提取的骨骼X线影像异常检测方法

Anomaly detection method for skeletal X-ray images based on self-supervised feature extraction

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 41

相关文章 15

编辑推荐

Metrics

模型	准确率							平均准确率
模型	肩膀	肘部	手指	前臂	手部	肱骨	手腕	平均准确率
Inception	79.00	82.97	60.32	65.61	88.16	80.38	71.09	75.36
VGG16	50.00	65.00	70.00	89.00	81.36	56.94	73.93	69.46
VGG19	50.00	60.00	75.00	87.00	80.70	56.94	84.00	70.52
Xception	81.00	78.45	69.74	68.58	79.61	56.60	75.00	72.71
ResNet50	79.00	69.18	64.69	78.72	85.75	77.78	74.09	75.60
ResNet101	80.00	74.78	63.82	62.84	81.14	80.21	77.13	74.27
ResNet152	76.00	72.84	69.52	70.72	78.07	78.82	74.70	74.31
DenseNet121	78.00	67.03	63.60	61.82	73.03	84.00	75.91	71.91
DenseNet169	79.00	68.10	51.97	76.35	72.81	78.47	67.84	70.65
DenseNet201	78.00	73.92	61.18	70.61	74.12	80.90	78.35	73.87
DINO（ResNet50）	70.52	73.33	76.10	70.10	71.30	79.86	77.24	74.06
DINO（ViT）	77.26	83.01	78.31	78.74	78.70	87.15	83.61	80.97

部位	DINO（ViT）		DINO（ResNet50）
部位	灵敏度	特异度	灵敏度	特异度
平均值	76.36	85.98	70.71	80.55
肩膀	74.92	80.24	67.66	74.78
肘部	81.85	82.01	68.94	80.81
手指	73.68	80.25	72.03	80.44
前臂	73.09	94.23	64.56	82.11
手部	78.03	78.71	68.93	80.65
肱骨	88.73	84.93	78.85	81.06
手腕	79.39	90.74	73.99	84.03

[1]	朱俊宏, 赖俊宇, 甘炼强, 陈智勇, 刘华烁, 徐国尧. 结合内卷与卷积算子的视频预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 113-122.
[2]	田悦霖, 黄瑞章, 任丽娜. 融合局部语义特征的学者细粒度信息提取方法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2707-2714.
[3]	张涵钰, 李振波, 李蔚然, 杨普. 基于机器视觉的水产养殖计数研究综述[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2970-2982.
[4]	陈俊韬, 朱子奇. 基于多尺度特征提取与融合的图像复制-粘贴伪造检测[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2919-2924.
[5]	何子仪, 杨燕, 张熠玲. 深度融合多视图聚类网络[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2651-2656.
[6]	郭祥, 姜文刚, 王宇航. 基于改进Inception-ResNet的加密流量分类方法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2471-2476.
[7]	崔雨萌, 王靖亚, 刘晓文, 闫尚义, 陶知众. 融合注意力和裁剪机制的通用文本分类模型[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2396-2405.
[8]	张琨, 杨丰玉, 钟发, 曾广东, 周世健. 基于混合代码表示的源代码脆弱性检测[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2517-2526.
[9]	马胜位, 黄瑞章, 任丽娜, 林川. 基于多层语义融合的结构化深度文本聚类模型[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2364-2369.
[10]	李校林, 杨松佳. 基于深度学习的多用户毫米波中继网络混合波束赋形[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2511-2516.
[11]	王一, 谢杰, 程佳, 豆立伟. 基于深度学习的RGB图像目标位姿估计综述[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2546-2555.
[12]	梁敏, 刘佳艺, 李杰. 融合迭代反馈与注意力机制的图像超分辨重建方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2280-2287.
[13]	叶坤佩, 熊熙, 丁哲. 基于领域融合和时间权重的招工推荐模型[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2133-2139.
[14]	拓雨欣, 薛涛. 融合指针网络与关系嵌入的三元组联合抽取模型[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2116-2124.
[15]	岑黎彬, 李靖东, 林淳波, 王晓玲. 基于深度自回归模型的近似查询处理方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2034-2039.