面向手术导航3D/2D配准的无监督跨域迁移网络

doi:10.11772/j.issn.1001-9081.2023091332

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (9): 2911-2918.DOI: 10.11772/j.issn.1001-9081.2023091332

• 多媒体计算与计算机仿真 • 上一篇下一篇

面向手术导航3D/2D配准的无监督跨域迁移网络

王熙源¹, 张战成¹(), 徐少康², 张宝成³, 罗晓清⁴, 胡伏原¹

^1.苏州科技大学电子与信息工程学院, 江苏苏州 215009
^2.上海极睿医疗科技有限公司, 上海 201799
^3.中部战区总医院骨科, 武汉 430070
^4.江南大学人工智能与计算机学院, 江苏无锡 214122

收稿日期:2023-09-27 修回日期:2023-12-28 接受日期:2024-01-08 发布日期:2024-01-31 出版日期:2024-09-10
通讯作者: 张战成
作者简介:王熙源（1999—），男，江苏南京人，硕士研究生，CCF会员，主要研究方向：医学影像、图像配准
徐少康（1997—），男，江苏淮安人，硕士研究生，主要研究方向：图像配准、医学影像
张宝成（1983—），男，山西平遥人，副主任医师，硕士，主要研究方向：创伤骨科、骨修复材料、人造血管
罗晓清（1980—），女，江西景德镇人，教授，博士，主要研究方向：图像融合、医学影像
胡伏原（1978—），男，湖南岳阳人，教授，博士，CCF会员，主要研究方向：图像处理、模式识别。
基金资助:
国家自然科学基金资助项目(61772237);江苏省“六大人才高峰”项目(XYDXX-030)

Unsupervised cross-domain transfer network for 3D/2D registration in surgical navigation

Xiyuan WANG¹, Zhancheng ZHANG¹(), Shaokang XU², Baocheng ZHANG³, Xiaoqing LUO⁴, Fuyuan HU¹

^1.School of Electronic and Information Engineering，Suzhou University of Science and Technology，Suzhou Jiangsu 215009，China
^2.Shanghai Jirui Medical Technology Company Limited，Shanghai 201799，China
^3.Department of Orthopaedics，General Hospital of Central Theater Command，Wuhan Hubei 430070，China
^4.School of Artificial Intelligence and Computer Science，Jiangnan University，Wuxi Jiangsu 214122，China

Received:2023-09-27 Revised:2023-12-28 Accepted:2024-01-08 Online:2024-01-31 Published:2024-09-10
Contact: Zhancheng ZHANG
About author:WANG Xiyuan， born in 1999， M. S. candidate. His research interests include medical image， image registration.
XU Shaokang， born in 1997， M. S. candidate. His research interests include image registration， medical imaging.
ZHANG Baocheng， born in 1983， M. S.， associate chief physician. His research interests include traumatology and orthopaedics， bone repair materials， artificial blood vessels.
LUO Xiaoqing， born in 1980， Ph. D.， professor. Her research interests include image fusion， medical imaging.
HU Fuyuan， born in 1978， Ph. D.， professor. His research interests include image processing， pattern recognition.
Supported by:
National Natural Science Foundation of China(61772237);“Six Talent Peaks” Project in Jiangsu Province(XYDXX-030)

摘要/Abstract

摘要：

3D/2D配准是手术导航的关键技术，现有基于深度学习的配准方法通过网络提取图像特征，继而回归出相应的姿态变换参数。此类方法依赖于真实的样本以及对应的3D标签用于训练，然而这部分专家标注的医疗数据十分稀缺。替代的方案用数字重建放射影像（DRR）图像训练网络，由于图像特征跨域的差异，在X射线图像上难以保持原有的配准精度。针对上述问题，设计基于自注意力的无监督跨域迁移网络（UCDTN），无须依赖X射线图像与其对应的3D空间标签作为训练样本，将源域所捕获的图像特征与空间变换间的对应关系迁移到目标域，借助公共特征减小域间特征的差距、降低跨域所带来的负面影响。实验结果表明，UCDTN预测结果的平均配准误差（mTRE）为2.66 mm；与未经跨域迁移训练的模型相比，mTRE指标降低了70.61%，验证了UCDTN在跨域配准任务上的有效性。

关键词: 图像配准, 手术导航, 跨域迁移, 深度学习, 自注意力

Abstract:

3D/2D registration is a key technique for intraoperative guidance. In existing deep learning based registration methods， image features were extracted through the network to regress the corresponding pose transformation parameters. This kind of method relies on real samples and their corresponding 3D labels for training， however， this part of expert-annotated medical data is scarce. In the alternative solution， the network was trained with Digital Reconstructed Radiography （DRR） images， which struggled to keep the original accuracy on Xray images due to the differences of image features across domains. For the above problems， an Unsupervised Cross-Domain Transfer Network （UCDTN） based on self-attention was designed. Without relying on Xray images and their 3D spatial labels as the training samples， the correspondence between the image features captured in the source domain and spatial transformations were migrated to the target domain. The public features were used to reduce the disparity of features between domains to minimize the negative impact of cross-domain. Experimental results show that the mTRE （mean Registration Target Error） of the result predicted by UCDTN is 2.66 mm， with a 70.61% reduction compared to the model without cross-domain transfer training， indicating the effectiveness of UCDTN in cross-domain registration tasks.

Key words: image registration, surgical navigation, cross-domain transfer, deep learning, self-attention

中图分类号:

TP391

王熙源, 张战成, 徐少康, 张宝成, 罗晓清, 胡伏原. 面向手术导航3D/2D配准的无监督跨域迁移网络[J]. 计算机应用, 2024, 44(9): 2911-2918.

Xiyuan WANG, Zhancheng ZHANG, Shaokang XU, Baocheng ZHANG, Xiaoqing LUO, Fuyuan HU. Unsupervised cross-domain transfer network for 3D/2D registration in surgical navigation[J]. Journal of Computer Applications, 2024, 44(9): 2911-2918.

图/表 11

图1 跨域迁移的流程

Fig. 1 Process of cross-domain transfer

图2 跨域网络结构

Fig. 2 Structure of cross-domain network

图3 不同学习率的收敛曲线

Fig. 3 Convergence curves for different learning rates

图4 训练集与测试集样例

Fig. 4 Examples of training set and test set

表1 不同网络的有效性分析

Tab. 1 Effective analysis of different networks

序号	网络	mTRE/mm		训练样本
序号	网络	冠状面	矢状面	训练样本
1	ResNet（源域）	5.42	4.75	DRR
2	UCDTN（源域）	1.32	1.06	DRR
3	ResNet（跨域1）	37.42	24.71	DRR
4	UCDTN（跨域1）	21.80	18.81	DRR
5	ResNet（跨域2）	14.33	12.57	DRR，伪Xray
6	UCDTN（跨域2）	9.71	8.39	DRR，伪Xray
7	UCDTN（域迁移）	3.18	2.13	DRR，伪Xray

图5 不同模型的多视角配准结果

Fig. 5 Multi-view registration results of different models

表2 不同感知域深度的mTRE和MAE

Tab. 2 mTRE and MAE of for perceptual domains with different depths

感知深度d	$m T R E$ /mm	$M A E$ /mm
1	8.21	0.023
2	6.08	0.016
3	4.62	0.007
4	5.33	0.009

表2 不同感知域深度的mTRE和MAE

Tab. 2 mTRE and MAE of for perceptual domains with different depths

感知深度d	$m T R E$ /mm	$M A E$ /mm
1	8.21	0.023
2	6.08	0.016
3	4.62	0.007
4	5.33	0.009

表3 辅助域的效果对比 (mm)

Tab. 3 Effectiveness comparison of auxiliary domain

实验序号	方法	$m T R E$	$M A E$
1	预训练（ $L l a b e l$ ）冻结	6.63	0.017
2	预训练（ $L l a b e l + L f$ ）冻结	4.21	0.008
3	预训练（ $L l a b e l + L f$ ）	8.27	0.022

表3 辅助域的效果对比 (mm)

Tab. 3 Effectiveness comparison of auxiliary domain

实验序号	方法	$m T R E$	$M A E$
1	预训练（ $L l a b e l$ ）冻结	6.63	0.017
2	预训练（ $L l a b e l + L f$ ）冻结	4.21	0.008
3	预训练（ $L l a b e l + L f$ ）	8.27	0.022

表4 不同损失的表现 (mm)

Tab. 4 Performance of different losses

方法序号	损失函数	$m T R E$	$M A E$
1	$L l a b e l$	19.84	0.117
2	$L l a b e l + L f$	8.62	0.023
3	$L l a b e l + L f + L t r a n s$	4.43	0.018
4	$L l a b e l + L f + L D$	6.21	0.015
5	$L l a b e l + L f + L D + L t r a n s$	2.74	0.005

表4 不同损失的表现 (mm)

Tab. 4 Performance of different losses

方法序号	损失函数	$m T R E$	$M A E$
1	$L l a b e l$	19.84	0.117
2	$L l a b e l + L f$	8.62	0.023
3	$L l a b e l + L f + L t r a n s$	4.43	0.018
4	$L l a b e l + L f + L D$	6.21	0.015
5	$L l a b e l + L f + L D + L t r a n s$	2.74	0.005

表5 不同方法的配准性能对比

Tab. 5 Registration performance comparison among different methods

方法	$m T R E$ /mm	$M A E$ /mm	耗时/s
Opt-GO^［5］	12.74	0.064	21.5
Opt-GC^［5］	11.21	0.051	17.6
Opt-NGI^［34］	12.29	0.062	23.1
姿态编码^［13］	23.83	0.191	1.7
MLP^［8］	32.17	0.244	3.1
姿态编码+Opt-GC	8.73	0.027	8.6
UCDTN	2.33	0.004	1.8

表5 不同方法的配准性能对比

Tab. 5 Registration performance comparison among different methods

方法	$m T R E$ /mm	$M A E$ /mm	耗时/s
Opt-GO^［5］	12.74	0.064	21.5
Opt-GC^［5］	11.21	0.051	17.6
Opt-NGI^［34］	12.29	0.062	23.1
姿态编码^［13］	23.83	0.191	1.7
MLP^［8］	32.17	0.244	3.1
姿态编码+Opt-GC	8.73	0.027	8.6
UCDTN	2.33	0.004	1.8

图6 不同方法的配准结果展示

Fig. 6 Display of registration results of different methods

参考文献 34

1	MARKELJ P， TOMAŽEVIČ D， LIKAR B， et al. A review of 3D/2D registration methods for image-guided interventions ［J］. Medical Image Analysis， 2012， 16（3）： 642-661.
2	BRENNER D J， HALL E J. Computed tomography — an increasing source of radiation exposure ［J］. The New England Journal of Medicine， 2007， 357（22）： 2277-2284.
3	MACKIE T R， KAPATOES J， RUCHALA K， et al. Image guidance for precise conformal radiotherapy ［J］. International Journal of Radiation Oncology， Biology， Physics， 2003， 56（1）： 89-105.
4	UNBERATH M， GAO C， HU Y， et al. The impact of machine learning on 2D/3D registration for image-guided interventions： a systematic review and perspective ［J］. Frontiers in Robotics and AI， 2021， 8： 716007.
5	VARNAVAS A， CARRELL T， PENNEY G. Increasing the automation of a 2D-3D registration system ［J］. IEEE Transactions on Medical Imaging， 2013， 32（2）： 387-399.
6	OUADAH S， JACOBSON M， STAYMAN J W， et al. Correction of patient motion in cone-beam CT using 3D-2D registration ［J］. Physics in Medicine and Biology， 2017， 62（23）： 8813-8831.
7	OTAKE Y， WANG A S， STAYMAN J W， et al. Robust 3D-2D image registration： application to spine interventions and vertebral labeling in the presence of anatomical deformation ［J］. Physics in Medicine and Biology， 2013， 58（23）： 8535-8553.
8	GOUVEIA A R， METZ C， FREIRE L， et al. Registration-by-regression of coronary CTA and X-ray angiography ［J］. Computer Methods in Biomechanics and Biomedical Engineering： Imaging & Visualization， 2017， 5（3）： 208-220.
9	C-R CHOU， FREDERICK B， MAGERAS G， et al. 2D/3D image registration using regression learning ［J］. Computer Vision and Image Understanding， 2013， 117（9）： 1095-1106.
10	MIAO S， WANG Z J， LIAO R. A CNN regression approach for real-time 2D/3D registration ［J］. IEEE Transactions on Medical Imaging， 2016， 35（5）： 1352-1363.
11	LIAO R， MIAO S， DE TOURNEMIRE P， et al. An artificial agent for robust image registration ［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2017， 31（1）： 4168-4175.
12	MIAO S， PIAT S， FISCHER P， et al. Dilated FCN for multi-agent 2D/3D medical image registration ［J］. Proceedings of the AAAI Conference on Artificial Intelligence，2018， 32（1）： 4694-4701.
13	徐少康，张战成，姚浩男，等. 基于姿态编码器的2D/3D脊椎医学图像实时配准方法［J］. 计算机应用， 2023， 43（2）： 589-594.
	XU S K， ZHANG Z C， YAO H N， et al. 2D/3D spine medical image real-time registration method based on pose encoder［J］. Journal of Computer Applications， 2023， 43（2）： 589-594.
14	BALAKRISHNAN G， ZHAO A， SABUNCU M R， et al. VoxelMorph： a learning framework for deformable medical image registration ［J］. IEEE Transactions on Medical Imaging， 2019， 38（8）： 1788-1800.
15	MOK T C W， CHUNG A C S. Fast symmetric diffeomorphic image registration with convolutional neural networks ［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 4643-4652.
16	张家岗，李达平，杨晓东，等. 基于深度卷积特征光流的形变医学图像配准算法［J］. 计算机应用， 2020， 40（6）： 1799-1805.
	ZHANG J G， LI D P， YANG X D， et al. Deformable medical image registration algorithm based on deep convolution feature optical flow ［J］. Journal of Computer Applications， 2020， 40（6）： 1799-1805.
17	王丽芳，王雁丽，蔺素珍，等. 基于改进的Zernike矩的局部描述符与图割离散优化的非刚性多模态脑部图像配准［J］. 计算机应用， 2019， 39（2）： 582-588.
	WANG L F， WANG Y L， LIN S Z， et al. Non-rigid multi-modal brain image registration by using improved Zernike moment based local descriptor and graph cuts discrete optimization ［J］. Journal of Computer Applications， 2019， 39（2）： 582-588.
18	CHEN J， FREY E C， HE Y， et al. TransMorph： Transformer for unsupervised medical image registration ［J］. Medical Image Analysis， 2022， 82： 102615.
19	QIN Z， YU H， WANG C， et al. Geometric Transformer for fast and robust point cloud registration ［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 11133-11142.
20	MOK T C W， CHUNG A C S. Affine medical image registration with coarse-to-fine vision transformer ［C］// Proceedings of the 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2022： 20803-20812.
21	MENG C， LI Y， XU Y， et al. A weakly supervised framework for 2D/3D vascular registration oriented to incomplete 2D blood vessels［J］. IEEE Transactions on Medical Robotics and Bionics， 2022， 4（2）： 381-390.
22	GAO C， KILLEEN B D， HU Y， et al. Synthetic data accelerates the development of generalizable learning-based algorithms for X-ray image analysis ［J］. Nature Machine Intelligence， 2023， 5（3）： 294-308.
23	ZHENG S， YANG X， WANG Y， et al. Unsupervised cross-modality domain adaptation network for X-ray to CT registration［J］. IEEE Journal of Biomedical and Health Informatics， 2022， 26（6）： 2637-2647.
24	LIAO H， LIN W-A， ZHANG J， et al. Multiview 2D/3D rigid registration via a point-of-interest network for tracking and triangulation ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 12630-12639.
25	LI P， PEI Y， GUO Y， et al. Non-rigid 2D-3D registration using convolutional autoencoders ［C］// Proceedings of the 2020 IEEE 17th International Symposium on Biomedical Imaging. Piscataway： IEEE， 2020： 700-704.
26	ZHANG Y. An unsupervised 2D-3D deformable registration network （2D3D-RegNet） for cone-beam CT estimation ［J］. Physics in Medicine and Biology， 2021， 66（7）： 074001.
27	HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition ［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016： 770-778.
28	ZHU J-Y， PARK T， ISOLA P， et al. Unpaired image-to-image translation using cycle-consistent adversarial networks ［C］// Proceedings of the 2017 IEEE International Conference on Computer Vision. Piscataway： IEEE， 2017： 2242-2251.
29	PASZKE A， GROSS S， MASSA F， et al. PyTorch： an imperative style， high-performance deep learning library ［C］// Proceedings of the 33rd International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2019： 8026-8037.
30	YONG H， HUANG J， HUA X， et al. Gradient centralization： a new optimization technique for deep neural networks ［C］// Proceedings of the 16th European Conference on Computer Vision. Cham： Springer， 2020： 635-652.
31	LÖFFLER M T， SEKUBOYINA A， JACOB A， et al. A vertebral segmentation dataset with fracture grading ［J］. Radiology： Artificial Intelligence， 2020， 2（4）： e190138.
32	FITZPATRICK J M， WEST J B. The distribution of target registration error in rigid-body point-based registration ［J］. IEEE Transactions on Medical Imaging， 2001， 20（9）： 917-927.
33	YUAN L， CHEN Y， WANG T， et al. Tokens-to-Token ViT： training vision Transformers from scratch on ImageNet ［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 538-547.
34	DE SILVA T， UNERI A， KETCHA M D， et al. 3D-2D image registration for target localization in spine surgery： investigation of similarity metrics providing robustness to content mismatch ［J］. Physics in Medicine and Biology， 2016， 61（8）： 3009-3025.

[1]	黄云川, 江永全, 黄骏涛, 杨燕. 基于元图同构网络的分子毒性预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2964-2969.
[2]	潘烨新, 杨哲. 基于多级特征双向融合的小目标检测优化模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2871-2877.
[3]	李顺勇, 李师毅, 胥瑞, 赵兴旺. 基于自注意力融合的不完整多视图聚类算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2696-2703.
[4]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[5]	李力铤, 华蓓, 贺若舟, 徐况. 基于解耦注意力机制的多变量时序预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2732-2738.
[6]	刘禹含, 吉根林, 张红苹. 基于骨架图与混合注意力的视频行人异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2551-2557.
[7]	顾焰杰, 张英俊, 刘晓倩, 周围, 孙威. 基于时空多图融合的交通流量预测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2618-2625.
[8]	杨帆, 邹窈, 朱明志, 马振伟, 程大伟, 蒋昌俊. 基于图注意力Transformer神经网络的信用卡欺诈检测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2634-2642.
[9]	石乾宏, 杨燕, 江永全, 欧阳小草, 范武波, 陈强, 姜涛, 李媛. 面向空气质量预测的多粒度突变拟合网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2643-2650.
[10]	赵亦群, 张志禹, 董雪. 基于密集残差物理信息神经网络的各向异性旅行时计算方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2310-2318.
[11]	徐松, 张文博, 王一帆. 基于时空信息的轻量视频显著性目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2192-2199.
[12]	孙逊, 冯睿锋, 陈彦如. 基于深度与实例分割融合的单目3D目标检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2208-2215.
[13]	吴筝, 程志友, 汪真天, 汪传建, 王胜, 许辉. 基于深度学习的患者麻醉复苏过程中的头部运动幅度分类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2258-2263.
[14]	李欢欢, 黄添强, 丁雪梅, 罗海峰, 黄丽清. 基于多尺度时空图卷积网络的交通出行需求预测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2065-2072.
[15]	张郅, 李欣, 叶乃夫, 胡凯茜. 基于暗知识保护的模型窃取防御技术DKP[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2080-2086.

面向手术导航3D/2D配准的无监督跨域迁移网络

Unsupervised cross-domain transfer network for 3D/2D registration in surgical navigation

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 34

相关文章 15

编辑推荐

Metrics