基于自监督特征提取的骨骼X线影像异常检测方法

doi:10.11772/j.issn.1001-9081.2023010002

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (1): 175-181.DOI: 10.11772/j.issn.1001-9081.2023010002

所属专题：人工智能

基于自监督特征提取的骨骼X线影像异常检测方法

张雨宁¹, 阿布都克力木·阿布力孜¹(), 梅悌胜², 徐春¹, 麦尔达娜·买买提热依木³, 哈里旦木·阿布都克里木¹, 侯钰涛¹

^1.新疆财经大学信息管理学院, 乌鲁木齐 830012
^2.新疆财经大学统计与数据科学学院, 乌鲁木齐 830012
^3.陕西中医药大学第一临床医学院, 西安 712046

收稿日期:2023-01-04 修回日期:2023-04-13 接受日期:2023-04-13 发布日期:2023-06-06 出版日期:2024-01-10
通讯作者: 阿布都克力木·阿布力孜
作者简介:张雨宁（2000—），女，河北定州人，硕士研究生，CCF学生会员，主要研究方向：人工智能、医学人工智能；
梅悌胜（2001—），男，新疆沙湾人，CCF学生会员，主要研究方向：人工智能、医学人工智能；
徐春（1977—），女，新疆乌鲁木齐人，教授，博士，CCF专业会员，主要研究方向：人工智能、医学人工智能；
麦尔达娜·买买提热依木（2000—），女（维吾尔族），新疆乌鲁木齐人，主要研究方向：人工智能、医学人工智能；
哈里旦木·阿布都克里木（1978—），女（维吾尔族），新疆伊宁人，副教授，博士，CCF专业会员，主要研究方向：人工智能、医学人工智能；
侯钰涛（1998—），女，山西吕梁人，硕士研究生，CCF会员，主要研究方向：人工智能、医学人工智能。
第一联系人：阿布都克力木·阿布力孜（1983—），男（维吾尔族），新疆叶城人，副教授，博士，CCF专业会员，主要研究方向：人工智能、医学人工智能；
基金资助:
国家自然科学基金资助项目(62266041)

Anomaly detection method for skeletal X-ray images based on self-supervised feature extraction

Yuning ZHANG¹, Abudukelimu ABULIZI¹(), Tisheng MEI², Chun XU¹, Maierdana MAIMAITIREYIMU³, Halidanmu ABUDUKELIMU¹, Yutao HOU¹

^1.School of Information Management，Xinjiang University of Finance and Economics，Urumqi Xinjiang 830012，China
^2.School of Statistics and Data Science，Xinjiang University of Finance and Economics，Urumqi Xinjiang 830012，China
^3.The First Clinical Medical College，Shaanxi University of Chinese Medicine，Xi’an Shaanxi 712046，China

Received:2023-01-04 Revised:2023-04-13 Accepted:2023-04-13 Online:2023-06-06 Published:2024-01-10
Contact: Abudukelimu ABULIZI
About author:ZHANG Yuning， born in 2000， M. S. candidate. Her research interests include artificial intelligence， medical artificial intelligence.
MEI Tisheng， born in 2001. His research interests include artificial intelligence， medical artificial intelligence.
XU Chun， born in 1977， Ph. D.， professor. Her research interests include artificial intelligence， medical artificial intelligence.
MAIMAITIREYIMU Maierdana， born in 2000. Her research interests include artificial intelligence， medical artificial intelligence.
ABUDUKELIMU Halidanmu， born in 1978， Ph. D.， associate professor. Her research interests include artificial intelligence， medical artificial intelligence.
HOU Yutao， born in 1998， M. S. candidate. Her research interests include artificial intelligence， medical artificial intelligence.
Supported by:
National Natural Science Foundation of China(62266041)

摘要/Abstract

摘要：

为探索自监督特征提取方法在骨骼X线影像异常检测方面的可行性，提出了基于自监督特征提取的骨骼X线影像异常检测方法。将自监督学习框架与ViT（Vision Transformer）模型结合用于骨骼异常检测的特征提取，并通过线性分类器进行异常检测分类，在特征提取阶段可有效避免有监督模型对大规模有标注数据的依赖性。在公开的骨骼X线影像数据集上进行实验，采用准确率分别评估预训练的卷积神经网络（CNN）和自监督特征提取的骨骼异常检测模型。实验结果表明，自监督特征提取模型相较于一般的CNN模型效果更优，在7个部位分类结果与有监督的CNN模型ResNet50相差无几，但在肘部、手指、肱骨的异常检测中准确率均取得了最优值，平均准确率提升了5.37个百分点。所提方法易于实现，可以作为放射科医生初步诊断的可视化辅助工具。

关键词: 自监督学习, 特征提取, X线影像, 深度学习, 异常检测

Abstract:

In order to explore the feasibility of a self-supervised feature extraction method in skeletal X-ray image anomaly detection， an anomaly detection method for skeletal X-ray images based on self-supervised feature extraction was proposed. The self-supervised learning framework and Vision Transformer （ViT） model were combined for feature extraction in skeletal anomaly detection， and anomaly detection classification was carried out by linear classifiers， which can effectively avoid the dependence of supervised models on large-scale labeled data in feature extraction stage. Experiments were performed on publicly available skeletal X-ray image datasets， the skeletal anomaly detection models based on pre-trained Convolutional Neural Network （CNN） and self-supervised feature extraction were evaluated with accuracy. Experimental results show that self-supervised feature extraction model has better effect than the general CNN models， its classification results in seven parts are similar to those of supervised CNN models， but the abnormal detection accuracy for elbow， finger and humerus achieved optimal values， and the average accuracies increases by 5.37 percentage points compared to ResNet50. The proposed method is easy to implement and can be used as a visual assistant tool for radiologist initial diagnosis.

Key words: self-supervised learning, feature extraction, X-ray image, deep learning, anomaly detection

中图分类号:

TP391.1

张雨宁, 阿布都克力木·阿布力孜, 梅悌胜, 徐春, 麦尔达娜·买买提热依木, 哈里旦木·阿布都克里木, 侯钰涛. 基于自监督特征提取的骨骼X线影像异常检测方法[J]. 计算机应用, 2024, 44(1): 175-181.

Yuning ZHANG, Abudukelimu ABULIZI, Tisheng MEI, Chun XU, Maierdana MAIMAITIREYIMU, Halidanmu ABUDUKELIMU, Yutao HOU. Anomaly detection method for skeletal X-ray images based on self-supervised feature extraction[J]. Journal of Computer Applications, 2024, 44(1): 175-181.

图/表 8

参考文献 41

1	MBOI N， SURBAKTI I M， TRIHANDINI I， et al. On the road to universal health care in Indonesia， 1990-2016： a systematic analysis for the Global Burden of Disease Study 2016 ［J］. Lancet， 2018， 392（10147）： 581-591. 10.1016/s0140-6736(18)30595-6
2	AI-AYYOUB M， HMEIDI I， RABABAH H. Detecting hand bone fractures in X-ray images ［J］. Journal of Multimedia Processing and Technologies， 2013， 4（3）： 155-168.
3	ZEELAN BASHA C M A K， MARUTHI PADMAJA T， BALAJI G N. Automatic X-ray image classification system ［C］// Proceedings of the First International Conference on Smart Computing and Informatics. Cham： Springer， 2018： 43-52. 10.1007/978-981-10-5547-8_5
4	林广，张志强.人工智能医学影像在骨关节系统中的应用进展［J］.中国医学影像学杂志， 2022， 30（2）： 184-187. 10.3969/j.issn.1005-5185.2022.02.017
	LIN G， ZHANG Z Q. Advances in the application of artificial intelligence in osteoarticular medical imaging ［J］. Chinese Journal of Medical Imaging， 2022， 30（2）： 184-187. 10.3969/j.issn.1005-5185.2022.02.017
5	SPAHR A， BOZORGTABAR B， THIRAN J P. Self-taught semi-supervised anomaly detection on upper limb X-rays ［C］// Proceedings of the 2021 IEEE 18th International Symposium on Biomedical Imaging. Piscataway： IEEE， 2021： 1632-1636. 10.1109/isbi48211.2021.9433771
6	SCHMARJE L， SANTAROSSA M， SCHRÖDER S M， et al. A survey on semi-， self- and unsupervised techniques in image classification ［J］. IEEE Access， 2021， 9： 82146-82168. 10.1109/access.2021.3084358
7	HUANG G， LARADJI I， VÁZQUEZ D， et al. A survey of self-supervised and few-shot object detection ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2023， 45（4）： 4071-4089.
8	CARON M， TOUVRON H， MISRA I， et al. Emerging properties in self-supervised vision transformers ［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 9630-9640. 10.1109/iccv48922.2021.00951
9	DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16×16 words： Transformers for image recognition at scale ［EB/OL］. ［2023-03-21］. .
10	RAJPURKAR P， IRVIN J， BAGUL A， et al. MURA： Large dataset for abnormality detection in musculoskeletal radiographs ［EB/OL］. ［2023-03-21］. . 10.3390/reports2040026
11	JAISWAL A， BABU A R， ZADEH M Z， et al. A survey on contrastive self-supervised learning ［J］. Technologies， 2020， 9（1）： No. 2. 10.3390/technologies9010002
12	PATHAK D， KRÄHENBÜHL P， DONAHUE J， et al. Context encoders： feature learning by in painting ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2536-2544. 10.1109/cvpr.2016.278
13	ZHANG R， ISOLA P， EFROS A A. Colorful image colorization ［C］// Proceedings of the 2016 European Conference on Computer Vision. Cham： Springer， 2016： 649-666. 10.1007/978-3-319-46487-9_40
14	GOODFELLOW I， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial networks ［J］. Communications of the ACM， 2020， 63（11）： 139-144. 10.1145/3422622
15	ZHU J-Y， PARK T， ISOLA P， et al. Unpaired image-to-image translation using cycle-consistent adversarial networks ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2242-2251. 10.1109/iccv.2017.244
16	KARRAS T， LAINE S， AILA T. A style-based generator architecture for generative adversarial networks ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 4396-4405. 10.1109/cvpr.2019.00453
17	李希，刘喜平，李旺才，等.对比学习研究综述［J］.小型微型计算机系统， 2023， 44（4）： 787-797.
	LI X， LIU X P， LI W C， et al. Survey on contrastive learning research ［J］. Journal of Chinese Computer Systems， 2023， 44（4）： 787-797.
18	HE K， FAN H， WU Y， et al. Momentum contrast for unsupervised visual representation learning ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 9726-9735. 10.1109/cvpr42600.2020.00975
19	CHEN T， KORNBLITH S， NOROUZI M， et al. A simple framework for contrastive learning of visual representations ［C］// Proceedings of the 37th International Conference on Machine Learning. New York： JMLR.org， 2020： 1597-1607.
20	J-B GRILL， STRUB F， ALTCHÉ F， et al. Bootstrap your own latent — a new approach to self-supervised learning ［C］// Proceedings of the 34th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2020， 33： 21271-21284.
21	CARON M， MISRA I， MAIRAL J， et al. Unsupervised learning of visual features by contrasting cluster assignments ［C］// Proceedings of the 34th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2020： 9912-9924.
22	FERNANDO T， GAMMULLE H， DENMAN S， et al. Deep learning for medical anomaly detection-a survey ［J］. ACM Computing Surveys， 2021， 54（7）： No. 141. 10.1145/3464423
23	MAHENDRAN S K， SANTHOSH BABOO S. An enhanced tibia fracture detection tool using image processing and classification fusion techniques in X-ray images ［J］. Global Journal of Computer Science and Technology， 2011， 11（14）： 23-28.
24	CHUNG S W， HAN S S， LEE J W， et al. Automated detection and classification of the proximal humerus fracture by using deep learning algorithm ［J］. Acta Orthopaedica， 2018， 89（4）： 468-473. 10.1080/17453674.2018.1453714
25	MIAH M B A， AKTER A. Detecting and determining the types of hand bone fracture using K-means clustering ［J］. Journal of Computer Science Applications and Information Technology， 2018， 3（3）： 1-10.
26	BANGA D， WAIGANJO P. Abnormality detection in musculoskeletal radiographs with convolutional neural networks （ensembles） and performance optimization ［EB/OL］. ［2023-03-21］. .
27	TANTAWI M， THABET R， SAYED A M， et al. Bone X-rays classification and abnormality detection ［J］. Internet of Things — Applications and Future， 2020， 114： 277-286. 10.1007/978-981-15-3075-3_20
28	El-SAADAWY H， TANTAWI M， SHEDEED H A， et al. A two-stage method for bone X-rays abnormality detection using MobileNet network ［C］// Proceedings of the 2020 International Conference on Artificial Intelligence and Computer Vision. Cham： Springer， 2020： 372-380. 10.1007/978-3-030-44289-7_35
29	HE M， WANG X， ZHAO Y. A calibrated deep learning ensemble for abnormality detection in musculoskeletal radiographs ［J］. Scientific Reports， 2021， 11（1）： 9097. 10.1038/s41598-021-88578-w
30	王鑫.基于深度神经网络的骨骼异常检测方法研究［D］.呼和浩特：内蒙古大学， 2020： 20-35.
	WANG X. Research on skeletal abnormally detection method based on deep neural learning ［D］. Hohhot： Inner Mongolia University， 2020： 20-35.
31	黄彩云，陈德武，何吉福，等.基于改进双路径网络的上肢肌肉骨骼异常检测［J］.山东大学学报（工学版）， 2022， 52（3）： 25-33， 41.
	HUANG C Y， CHEN D W， HE J F， et al. Detection of upper limb musculoskeletal abnormality based on improved dual path network ［J］. Journal of Shandong University （Engineering Science）， 2022， 52（3）： 25-33， 41.
32	YAO J， GUO Z， YU W. Enhanced deep residual network for bone classification and abnormality detection. ［J］. Medical Physics， 2022， 49（11）： 6914-6929. 10.1002/mp.15966
33	El-SAADAWY H， TANTAWI M， SHEDEED H A， et al. A hybrid two-stage GNG-Modified VGG method for bone X-rays classification and abnormality detection ［J］. IEEE Access， 2021， 9： 76649-76661. 10.1109/access.2021.3081915
34	王浩.人体骨骼医学影像的异常检测方法研究［D］.荆州：长江大学， 2022： 1-5. 10.25221/fee.455.2
	WANG H. Research on anomaly detection method of human bone medical image ［D］. Jingzhou： Yangtze University， 2022： 1-5. 10.25221/fee.455.2
35	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 6000-6010.
36	SIMONYAN K， ZISSERMAN A. Very Deep convolutional networks for large-scale image recognition ［EB/OL］. ［2023-03-21］. .
37	SZEGEDY C， VANHOUCKE V， IOFFE S， et al. Rethinking the inception architecture for computer vision ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 2818-2826. 10.1109/cvpr.2016.308
38	CHOLLET F. Xception： Deep learning with depthwise separable convolutions ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 1800-1807. 10.1109/cvpr.2017.195
39	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778. 10.1109/cvpr.2016.90
40	HUANG G， LIU Z， VAN DER MAATEN L， et al. Densely connected convolutional networks ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 2261-2269. 10.1109/cvpr.2017.243
41	RAGHU M， UNTERTHINER T， KORNBLITH S， et al. Do vision transformers see like convolutional neural networks？［EB/OL］. （2022-03-03）［2022-06-02］. . 10.1016/s0004-3702(98)00055-1

类型	训练集样本数		测试集样本数		样本总数
类型	正常	异常	正常	异常	样本总数
合计	8 280	5 177	661	537	14 656
肘部	1 094	660	92	66	1 912
手指	1 280	655	92	83	2 110
手部	1 497	521	101	66	2 185
肱骨	321	271	68	67	727
前臂	950	287	69	64	1 010
肩部	1 364	1 457	99	95	3 015
手腕	2 134	1 326	140	97	3 697

类型	训练集样本数		测试集样本数		样本总数
类型	正常	异常	正常	异常	样本总数
合计	8 280	5 177	661	537	14 656
肘部	1 094	660	92	66	1 912
手指	1 280	655	92	83	2 110
手部	1 497	521	101	66	2 185
肱骨	321	271	68	67	727
前臂	950	287	69	64	1 010
肩部	1 364	1 457	99	95	3 015
手腕	2 134	1 326	140	97	3 697

实验参数	设置	实验参数	设置
Patch大小	16	优化器	AdamW
ViT模型层数	12	教师网络优化动量	0.996
ViT模型注意力头	6	教师网络温度参数	0.04
Batch大小	16	Dropout率	0.1
迭代次数	300

实验参数	设置	实验参数	设置
Patch大小	16	优化器	AdamW
ViT模型层数	12	教师网络优化动量	0.996
ViT模型注意力头	6	教师网络温度参数	0.04
Batch大小	16	Dropout率	0.1
迭代次数	300

模型	准确率	模型	准确率
Inception	94.43	ResNet152	87.86
VGG16‎	93.50	DenseNet121	95.44
VGG19	89.84	DenseNet169	76.35
Xception	95.78	DenseNet201	65.99
ResNet50	95.07	DINO（ViT）	95.50
ResNet101	94.71

基于自监督特征提取的骨骼X线影像异常检测方法

Anomaly detection method for skeletal X-ray images based on self-supervised feature extraction

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 41

相关文章 15

编辑推荐

Metrics

模型	准确率							平均准确率
模型	肩膀	肘部	手指	前臂	手部	肱骨	手腕	平均准确率
Inception	79.00	82.97	60.32	65.61	88.16	80.38	71.09	75.36
VGG16	50.00	65.00	70.00	89.00	81.36	56.94	73.93	69.46
VGG19	50.00	60.00	75.00	87.00	80.70	56.94	84.00	70.52
Xception	81.00	78.45	69.74	68.58	79.61	56.60	75.00	72.71
ResNet50	79.00	69.18	64.69	78.72	85.75	77.78	74.09	75.60
ResNet101	80.00	74.78	63.82	62.84	81.14	80.21	77.13	74.27
ResNet152	76.00	72.84	69.52	70.72	78.07	78.82	74.70	74.31
DenseNet121	78.00	67.03	63.60	61.82	73.03	84.00	75.91	71.91
DenseNet169	79.00	68.10	51.97	76.35	72.81	78.47	67.84	70.65
DenseNet201	78.00	73.92	61.18	70.61	74.12	80.90	78.35	73.87
DINO（ResNet50）	70.52	73.33	76.10	70.10	71.30	79.86	77.24	74.06
DINO（ViT）	77.26	83.01	78.31	78.74	78.70	87.15	83.61	80.97

部位	DINO（ViT）		DINO（ResNet50）
部位	灵敏度	特异度	灵敏度	特异度
平均值	76.36	85.98	70.71	80.55
肩膀	74.92	80.24	67.66	74.78
肘部	81.85	82.01	68.94	80.81
手指	73.68	80.25	72.03	80.44
前臂	73.09	94.23	64.56	82.11
手部	78.03	78.71	68.93	80.65
肱骨	88.73	84.93	78.85	81.06
手腕	79.39	90.74	73.99	84.03

[1]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[2]	唐廷杰, 黄佳进, 秦进. 基于图辅助学习的会话推荐[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2711-2718.
[3]	李顺勇, 李师毅, 胥瑞, 赵兴旺. 基于自注意力融合的不完整多视图聚类算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2696-2703.
[4]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[5]	王熙源, 张战成, 徐少康, 张宝成, 罗晓清, 胡伏原. 面向手术导航3D/2D配准的无监督跨域迁移网络[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2911-2918.
[6]	陈廷伟, 张嘉诚, 王俊陆. 面向联邦学习的随机验证区块链构建[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2770-2776.
[7]	黄云川, 江永全, 黄骏涛, 杨燕. 基于元图同构网络的分子毒性预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2964-2969.
[8]	杨鑫, 陈雪妮, 吴春江, 周世杰. 结合变种残差模型和Transformer的城市公路短时交通流预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2947-2951.
[9]	陈虹, 齐兵, 金海波, 武聪, 张立昂. 融合1D-CNN与BiGRU的类不平衡流量异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2493-2499.
[10]	付帅, 郭小英, 白茹意, 闫涛, 陈斌. 改进的CloFormer模型与有序回归相结合的年龄评估方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2372-2380.
[11]	陈彤, 杨丰玉, 熊宇, 严荭, 邱福星. 基于多尺度频率通道注意力融合的声纹库构建方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2407-2413.
[12]	刘禹含, 吉根林, 张红苹. 基于骨架图与混合注意力的视频行人异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2551-2557.
[13]	顾焰杰, 张英俊, 刘晓倩, 周围, 孙威. 基于时空多图融合的交通流量预测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2618-2625.
[14]	石乾宏, 杨燕, 江永全, 欧阳小草, 范武波, 陈强, 姜涛, 李媛. 面向空气质量预测的多粒度突变拟合网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2643-2650.
[15]	吴筝, 程志友, 汪真天, 汪传建, 王胜, 许辉. 基于深度学习的患者麻醉复苏过程中的头部运动幅度分类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2258-2263.