基于姿态编码器的2D/3D脊椎医学图像实时配准方法

doi:10.11772/j.issn.1001-9081.2021122147

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (2): 589-594.DOI: 10.11772/j.issn.1001-9081.2021122147

• 多媒体计算与计算机仿真 • 上一篇

基于姿态编码器的2D/3D脊椎医学图像实时配准方法

徐少康¹, 张战成¹^,²(), 姚浩男¹, 邹智伟¹, 张宝成³

^1.苏州科技大学电子与信息工程学院, 江苏苏州 215009
^2.苏州科技大学苏州市虚拟现实智能交互及应用技术重点实验室, 江苏苏州 215009
^3.中部战区总医院骨科, 武汉 430070

收稿日期:2021-12-22 修回日期:2022-07-19 接受日期:2022-07-20 发布日期:2022-09-23 出版日期:2023-02-10
通讯作者: 张战成
作者简介:徐少康（1997—），男，江苏淮安人，硕士研究生，主要研究方向：计算机视觉、深度学习、医学图像配准
姚浩男（1996—），男，江苏徐州人，硕士研究生，主要研究方向：计算机视觉、图像表征学习
邹智伟（1997—），男，江苏苏州人，硕士研究生，主要研究方向：计算机视觉、图像分割
张宝成（1983—），男，山西平遥人，硕士，主要研究方向：创伤骨科、骨修复材料、人造血管。
基金资助:
国家自然科学基金资助项目(61772237)

2D/3D spine medical image real-time registration method based on pose encoder

Shaokang XU¹, Zhancheng ZHANG¹^,²(), Haonan YAO¹, Zhiwei ZOU¹, Baocheng ZHANG³

^1.School of Electronic and Information Engineering，Suzhou University of Science and Technology，Suzhou Jiangsu 215009，China
^2.Suzhou Key Laboratory of Virtual Reality Intelligent Interaction and Application Technology，Suzhou University of Science and Technology，Suzhou Jiangsu 215009，China
^3.Department of Orthopaedics，General Hospital of Central Theater Command，Wuhan Hubei 430070，China

Received:2021-12-22 Revised:2022-07-19 Accepted:2022-07-20 Online:2022-09-23 Published:2023-02-10
Contact: Zhancheng ZHANG
About author:XU Shaokang， born in 1997， M. S. candidate. His research interests include computer vision， deep learning， medical image registration.
YAO Haonan， born in 1996， M. S. candidate. His research interests include computer vision， image representation learning.
ZOU Zhiwei， born in 1997， M. S. candidate. His research interests include computer vision， image segmentation.
ZHANG Baocheng， born in 1983， M. S. His research interests include traumatology and orthopaedics， bone repair materials， artificial blood vessel.
Supported by:
National Natural Science Foundation of China(61772237)

摘要/Abstract

摘要：

2D/3D医学图像配准是骨科手术三维实时导航中的一项关键技术，然而传统的基于优化迭代的2D/3D配准方法需要经过多次迭代计算，无法满足医生在手术过程中对于实时配准的要求。针对该问题，提出一种基于自编码器的姿态回归网络来通过隐空间解码捕获几何姿态信息，从而快速地回归出术中X射线图像对应的术前脊椎位置的3D姿态，并经过重新投影生成最终的配准图像。通过引入新的损失函数，以“粗细”结合配准的方式对模型进行约束，保证了姿态回归的精确度。在CTSpine1K脊椎数据集中抽取100组CT扫描图像进行10折交叉验证，实验结果表明：所提出的模型所生成的配准结果图像与X射线图像的平均绝对误差（MAE）为0.04，平均目标配准误差（mTRE）为1.16 mm，单帧耗时1.7 s。与基于传统优化的方法相比，该模型配准时间大幅缩短。相较于基于学习的方法，该模型在快速配准的同时，保证了较高的配准精度。可见，所提模型可以满足术中实时高精配准的要求。

关键词: 2D/3D图像配准, 自编码器, 隐空间, 姿态回归, 骨科手术

Abstract:

2D/3D medical image registration is a key technology in 3D real-time navigation of orthopedic surgery. However， the traditional 2D/3D registration methods based on optimization iteration require multiple iterative calculations， which cannot meet the requirements of doctors for real-time registration during surgery. To solve this problem， a pose regression network based on autoencoder was proposed. In this network， the geometric pose information was captured through hidden space decoding， thereby quickly regressing the 3D pose of preoperative spine pose corresponding to the intraoperative X-ray image， and the final registration image was generated through reprojection. By introducing new loss functions， the model was constrained by “Rough to Fine” combined registration method to ensure the accuracy of pose regression. In CTSpine1K spine dataset， 100 CT scan image sets were extracted for 10-fold cross-validation. Experimental results show that the registration result image generated by the proposed model has the Mean Absolute Error （MAE） with the X-ray image of 0.04， the mean Target Registration Error （mTRE） with the X-ray image of 1.16 mm， and the single frame consumption time of 1.7 s. Compared to the traditional optimization based method， the proposed model has registration time greatly shortened. Compared with the learning-based method， this model ensures a high registration accuracy with quick registration. Therefore， the proposed model can meet the requirements of intraoperative real-time high-precision registration.

Key words: 2D/3D image registration, autoencoder, latent space, pose regression, orthopedic surgery

中图分类号:

TP391

徐少康, 张战成, 姚浩男, 邹智伟, 张宝成. 基于姿态编码器的2D/3D脊椎医学图像实时配准方法[J]. 计算机应用, 2023, 43(2): 589-594.

Shaokang XU, Zhancheng ZHANG, Haonan YAO, Zhiwei ZOU, Baocheng ZHANG. 2D/3D spine medical image real-time registration method based on pose encoder[J]. Journal of Computer Applications, 2023, 43(2): 589-594.

图/表 9

图1 配准网络框架

Fig. 1 Framework of registration network

图2 合成X射线图像过程

Fig. 2 Synthesis process of X-ray image

图3 脊椎CT图像及分割示例图像

Fig. 3 Spine CT images and segmentation example images

图4 脊椎配准结果可视化

Fig. 4 Visualization of spine registration results

表1 不同部位脊椎的平均旋转角度误差 (°)

Tab. 1 Average rotation angle error of spine at different parts

部位	$r x$	$r y$	$r z$	部位	$r x$	$r y$	$r z$
1~3节	1.1	1.1	1.4	6~9节	0.9	0.9	1.1
4~5节	0.9	0.9	1.2	10~12节	0.9	0.9	1.1

表1 不同部位脊椎的平均旋转角度误差 (°)

Tab. 1 Average rotation angle error of spine at different parts

部位	$r x$	$r y$	$r z$	部位	$r x$	$r y$	$r z$
1~3节	1.1	1.1	1.4	6~9节	0.9	0.9	1.1
4~5节	0.9	0.9	1.2	10~12节	0.9	0.9	1.1

表2 本文方法与其他方法的实验结果对比

Tab. 2 Comparison of experimental results of the proposed method and other methods

方法	MAE	mTRE/mm	成功率/%	时间/s
本文方法	0.04	1.16	98.0	1.7
Opt-NGI^［4］	0.03+0.29	1.13+0.21	72.0	121.8
Opt-GC^［3］	0.09+0.19	2.51+0.11	66.0	114.3
Opt-GO^［3］	0.10+0.18	2.53+0.13	56.0	111.9
Bresenham^［11］	0.03+0.33	1.45+0.18	94.0	89.6
Fourier^［8］	0.05+0.41	1.24+0.25	86.0	17.5
MLP^［14］	2.45+0.004	3.40+0.001	58.0	2.9

图5 不同γ取值下的mTRE结果

Fig. 5 mTRE results under different γ values

表3 不同损失训练的相似度结果

Tab. 3 Similarity results of different loss training

Metric	mTRE/mm	MAE
$L o s s L 1$	2.80+0.008	0.18+0.040
$L o s s c o s i n e$	2.56+0.009	0.16+0.035
$L o s s c r u$	2.11+0.013	0.13+0.031
$L o s s N C C$	2.73+0.009	0.19+0.023
$L o s s L 1$ + $L o s s N C C$	1.98+0.019	0.19+0.027
$L o s s c o s i n e$ + $L o s s N C C$	1.93+0.021	0.11+0.038
$L o s s N C C$ + $L o s s c r u$	1.10	0.05

表3 不同损失训练的相似度结果

Tab. 3 Similarity results of different loss training

Metric	mTRE/mm	MAE
$L o s s L 1$	2.80+0.008	0.18+0.040
$L o s s c o s i n e$	2.56+0.009	0.16+0.035
$L o s s c r u$	2.11+0.013	0.13+0.031
$L o s s N C C$	2.73+0.009	0.19+0.023
$L o s s L 1$ + $L o s s N C C$	1.98+0.019	0.19+0.027
$L o s s c o s i n e$ + $L o s s N C C$	1.93+0.021	0.11+0.038
$L o s s N C C$ + $L o s s c r u$	1.10	0.05

图6 不同损失的旋转角度误差

Fig. 6 Rotation angle errors of different losses

参考文献 25

1	蔡贤华，张宝成，郑益钒. 三维导航技术在骨盆髋臼微创手术中的应用［J］. 创伤外科杂志， 2021， 23（8）： 561-565. 10.3969/j.issn.1009-4237.2021.08.001
	CAI X H， ZHANG B C， ZHENG Y F. Application of three-dimensional navigation technology in minimally invasive surgery of pelvis and acetabulum［J］. Journal of Traumatic Surgery， 2021， 23（8）： 561-565. 10.3969/j.issn.1009-4237.2021.08.001
2	SHIM E， KIM Y， LEE D， et al. 2D-3D registration for 3D analysis of lower limb alignment in a weight-bearing condition［J］. Applied Mathematics — A Journal of Chinese Universities， 2018， 33（1）：59-70. 10.1007/s11766-018-3459-2
3	DE SILVA T， UNERI A， KETCHA M D， et al. 3D-2D image registration for target localization in spine surgery： investigation of similarity metrics providing robustness to content mismatch［J］. Physics in Medicine and Biology， 2016， 61（8）： 3009-3025. 10.1088/0031-9155/61/8/3009
4	OTAKE Y， WANG A S， STAYMAN J W， et al. Robust 3D-2D image registration： application to spine interventions and vertebral labeling in the presence of anatomical deformation［J］. Physics in Medicine and Biology， 2013， 58（23）： 8535-8553. 10.1088/0031-9155/58/23/8535
5	王丽芳，王雁丽，蔺素珍，等. 基于改进的Zernike矩的局部描述符与图割离散优化的非刚性多模态脑部图像配准［J］. 计算机应用， 2019， 39（2）： 582-588. 10.11772/j.issn.1001-9081.2018061423
	WANG L F， WANG Y L， LIN S Z， et al. Non-rigid multi-modal brain image registration by using improved Zernike moment based local descriptor and graph cuts discrete optimization［J］. Journal of Computer Applications， 2019， 39（2）：582-588. 10.11772/j.issn.1001-9081.2018061423
6	LI P X， PEI Y R， GUO Y K， et al. Non-rigid 2D-3D registration using convolutional autoencoders［C］// Proceedings of the IEEE 17th International Symposium on Biomedical Imaging. Piscataway： IEEE， 2020： 700-704. 10.1109/isbi45749.2020.9098602
7	ZHANG Y H， ZHAO L， HUANG S D. Aortic 3D deformation reconstruction using 2D X-ray fluoroscopy and 3D pre-operative data for endovascular interventions［C］// Proceedings of the 2020 IEEE International Conference on Robotics and Automation. Piscataway： IEEE， 2020： 2393-2399. 10.1109/icra40945.2020.9197410
8	杨克克，罗阳，赵忆文，等. 基于主方向傅里叶变换算子的2D/3D分级配准［J］. 机器人， 2021， 43（3）：296-307. 10.13973/j.cnki.robot.200425
	YANG K K， LUO Y， ZHAO Y W， et al. 2D/3D hierarchical registration based on principal direction Fourier transform operator［J］. Robot， 2021， 43（3）： 296-307. 10.13973/j.cnki.robot.200425
9	张家岗，李达平，杨晓东，等. 基于深度卷积特征光流的形变医学图像配准算法［J］. 计算机应用， 2020， 40（6）： 1799-1805. 10.11772/j.issn.1001-9081.2019101839
	ZHANG J G， LI D P， YANG X D， et al. Deformable medical image registration algorithm based on deep convolution feature optical flow［J］. Journal of Computer Applications， 2020， 40（6）： 1799-1805. 10.11772/j.issn.1001-9081.2019101839
10	MIAO S， WANG Z J， LIAO R. A CNN regression approach for real-time 2D/3D registration［J］. IEEE Transactions on Medical Imaging， 2016， 35（5）： 1352-1363. 10.1109/tmi.2016.2521800
11	PAN H Q， ZHOU C L， ZHU Q， et al. A fast registration from 3D CT images to 2D X-ray images［C］// Proceedings of the IEEE 3rd International Conference on Big Data Analysis. Piscataway： IEEE， 2018： 351-355. 10.1109/icbda.2018.8367706
12	WOHLHART P， LEPETIT V. Learning descriptors for object recognition and 3D pose estimation［C］// Proceedings of the 2015 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2015： 3109-3118. 10.1109/cvpr.2015.7298930
13	LIAO H F， LIN W A， ZHANG J R， et al. Multiview 2D/3D rigid registration via a point-of-interest network for tracking and triangulation［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 12630-12639. 10.1109/cvpr.2019.01292
14	GOUVEIA A R， METZ C， FREIRE L， et al. Registration-by-regression of coronary CTA and X-ray angiography［J］. Computer Methods in Biomechanics and Biomedical Engineering： Imaging and Visualization， 2017， 5（3）： 208-220. 10.1080/21681163.2015.1054520
15	SUNDERMEYER M， MARTON Z C， DURNER M， et al. Implicit 3D orientation learning for 6D object detection from RGB images［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11210. Cham： Springer， 2018： 712-729.
16	MATHEW S， NADEEM S， KAUFMAN A. Visualizing missing surfaces in colonoscopy videos using shared latent space representations［C］// Proceedings of the IEEE 18th International Symposium on Biomedical Imaging. Piscataway： IEEE， 2021： 329-333. 10.1109/isbi48211.2021.9433982
17	LANNAN N， FAN G L. Filter guided manifold optimization in the autoencoder latent space［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 949-955. 10.1109/cvprw.2019.00125
18	樊玮，王慧敏，邢艳. 基于自编码器的多视图属性网络表示学习模型［J］. 计算机应用， 2021， 41（4）： 1064-1070. 10.11772/j.issn.1001-9081.2020061006
	FAN W， WANG H M， XING Y. Auto-encoder based multi-view attributed network representation learning model［J］. Journal of Computer Applications， 2021， 41（4）： 1064-1070. 10.11772/j.issn.1001-9081.2020061006
19	GU J J， WANG Z Y， OUYANG W L， et al. 3D hand pose estimation with disentangled cross-modal latent space［C］// Proceedings of the 2020 IEEE Winter Conference on Applications of Computer Vision. Piscataway： IEEE， 2020： 380-389. 10.1109/wacv45572.2020.9093316
20	JIANG B， XU F Q， HUANG Y， et al. Adaptive adversarial latent space for novelty detection［J］. IEEE Access， 2020， 8： 205088-205098. 10.1109/access.2020.3037346
21	GAO C， LIU X T， GU W H， et al. Generalizing spatial transformers to projective geometry with applications to 2D/3D registration［C］// Proceedings of the 2020 International Conference on Medical Image Computing and Computer-Assisted Intervention， LNCS 12263. Cham： Springer， 2020： 329-339.
22	SCHAFFERT R， WANG J， FISCHER P， et al. Metric-driven learning of correspondence weighting for 2-D/3-D image registration［C］// Proceedings of the 2018 German Conference on Pattern Recognition， LNCS 11269. Cham： Springer， 2019： 140-152.
23	DENG Y， WANG C， HUI Y， et al. CTSpine 1K： a large-scale dataset for spinal vertebrae segmentation in computed tomography［EB/OL］. （2021-07-05）［2021-10-23］..
24	LI Z G， JI X Y. Pose-guided auto-encoder and feature-based refinement for 6-DoF object pose regression［C］// Proceedings of the 2020 IEEE International Conference on Robotics and Automation. Piscataway： IEEE， 2020： 8397-8403. 10.1109/icra40945.2020.9196953
25	WEI D M， AHMAD S， GUO Y Y， et al. Recurrent tissue-aware network for deformable registration of infant brain MR images［J］. IEEE Transactions on Medical Imaging， 2022， 41（5）：1219-1229. 10.1109/tmi.2021.3137280

[1]	马志峰, 于俊洋, 王龙葛. 多样性表示的深度子空间聚类算法[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 407-412.
[2]	贾晴, 王来花, 王伟胜. 基于独立循环神经网络与变分自编码网络的视频帧异常检测[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 507-513.
[3]	周佳航, 邢红杰. 基于双自编码器和Transformer网络的异常检测方法[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 22-29.
[4]	袁立宁, 刘钊. 基于One-Shot聚合自编码器的图表示学习[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 8-14.
[5]	郭一阳, 于炯, 杜旭升, 杨少智, 曹铭. 基于自编码器与集成学习的离群点检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2078-2087.
[6]	孙焕良, 彭程, 刘俊岭, 许景科. 面向“15分钟生活圈”社区结构的表示学习[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1782-1788.
[7]	胡聪, 华钢. 基于注意力机制的弱监督动作定位方法[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 960-967.
[8]	李薇, 樊瑶驰, 江巧永, 王磊, 徐庆征. 基于教与学优化的可变卷积自编码器的医学图像分类方法[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 592-598.
[9]	李昕, 贾韬. 基于组蛋白修饰数据预测基因差异性表达的深度融合模型[J]. 《计算机应用》唯一官方网站, 2022, 42(11): 3404-3412.
[10]	张元钧, 张曦煌. 基于图卷积与长短期记忆网络的动态网络表示学习模型[J]. 计算机应用, 2021, 41(7): 1857-1864.
[11]	孙鹤立, 孙玉柱, 张晓云. 基于生成对抗网络的事件描述生成[J]. 计算机应用, 2021, 41(5): 1256-1261.
[12]	樊玮, 王慧敏, 邢艳. 基于自编码器的多视图属性网络表示学习模型[J]. 计算机应用, 2021, 41(4): 1064-1070.
[13]	李慧博, 赵云霄, 白亮. 基于深度神经网络和门控循环单元的动态图表示学习方法[J]. 《计算机应用》唯一官方网站, 2021, 41(12): 3432-3437.
[14]	成科扬, 孟春运, 王文杉, 师文喜, 詹永照. 解耦表征学习研究进展[J]. 《计算机应用》唯一官方网站, 2021, 41(12): 3409-3418.
[15]	陈宪聪, 潘微科, 明仲. 面向异构单类协同过滤的阶段式变分自编码器[J]. 《计算机应用》唯一官方网站, 2021, 41(12): 3499-3507.

基于姿态编码器的2D/3D脊椎医学图像实时配准方法

2D/3D spine medical image real-time registration method based on pose encoder

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 25

相关文章 15

编辑推荐

Metrics