基于卷积神经网络与Transformer并行的医学图像配准模型

doi:10.11772/j.issn.1001-9081.2023121828

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (12): 3915-3921.DOI: 10.11772/j.issn.1001-9081.2023121828

• 多媒体计算与计算机仿真 • 上一篇下一篇

基于卷积神经网络与Transformer并行的医学图像配准模型

赵欣(), 李鑫杰, 徐健, 刘步云, 毕祥

大连大学信息工程学院，辽宁大连 116622

收稿日期:2024-01-02 修回日期:2024-04-02 接受日期:2024-04-07 发布日期:2024-04-19 出版日期:2024-12-10
通讯作者: 赵欣
作者简介:李鑫杰（1999—），男，河南驻马店人，硕士研究生，主要研究方向：深度学习、医学图像配准、计算机视觉
徐健（1999—），男，河北廊坊人，硕士研究生，主要研究方向：医学图像处理、深度学习模型轻量化
刘步云（1999—），女，山东聊城人，硕士研究生，主要研究方向：医学图像处理
毕祥（2002—），男，河南驻马店人，硕士研究生，主要研究方向：半监督医学图像分割。
基金资助:
国家自然科学基金资助项目(61971424)

Parallel medical image registration model based on convolutional neural network and Transformer

Xin ZHAO(), Xinjie LI, Jian XU, Buyun LIU, Xiang BI

School of Information Engineering，Dalian University，Dalian Liaoning 116622，China

Received:2024-01-02 Revised:2024-04-02 Accepted:2024-04-07 Online:2024-04-19 Published:2024-12-10
Contact: Xin ZHAO
About author:LI Xinjie， born in 1999， M. S. candidate. His research interests include deep learning， medical image registration， computer vision.
XU Jian， born in 1999， M. S. candidate. His research interests include medical image processing， deep learning model lightweighting.
LIU Buyun， born in 1999， M. S. candidate. Her research interests include medical image processing.
BI Xiang， born in 2002， M. S. candidate. His research interests include semi-supervised medical image segmentation.
Supported by:
National Natural Science Foundation of China(61971424)

摘要/Abstract

摘要：

医学图像配准模型旨在建立图像间解剖位置的对应关系。传统的图像配准方法通过不断迭代获取形变场，耗费时间长且精度不高。深度神经网络不仅实现了端到端的形变场生成，加快了形变场的生成，而且进一步提升了图像配准的精度。针对目前的深度学习配准模型均采用单一的卷积神经网络（CNN）或Transformer架构，无法充分发挥CNN与Transformer结合的优势导致配准精度不足，以及图像配准后无法有效保持原始拓扑结构等问题，提出一种基于CNN与Transformer并行的医学图像配准模型PPCTNet（Parallel Processing of CNN and Transformer Network）。首先，选用目前配准精度优秀的Swin Transformer和极轻量化的CNN——LOCV-Net（Lightweight attentiOn-based ConVolutional Network）构建模型；其次，设计融合策略充分融合Swin Transformer与LOCV-Net提取的特征信息，使模型不仅拥有CNN的局部特征提取能力和Transformer的长距离依赖能力，还兼具轻量化的优势；最后，基于脑部磁共振成像（MRI）数据集，比较PPCTNet与10种经典图像配准模型。结果表明，相较于目前优秀的配准模型TransMorph （hybrid Transformer-ConvNet network for image registration），PPCTNet的最高配准精度提高了0.5个百分点，且形变场的折叠率下降了1.56个百分点，维持了配准图像的拓扑结构。此外，PPCTNet的参数量比TransMorph下降了10.39×10⁶，计算量下降了278×10⁹，体现了PPCTNet的轻量化优势。

关键词: 医学图像, 图像配准, 卷积神经网络, Transformer架构, 轻量化卷积

Abstract:

Medical image registration models aim to establish the correspondence of anatomical positions between images. The traditional image registration method obtains the deformation field through continuous iteration， which is time-consuming and has low accuracy. The deep neural networks not only achieve end-to-end generation of deformation fields， thereby speeding up the generation of deformation fields， but also further improve the accuracy of image registration. However， all of the current deep learning registration models use single Convolutional Neural Network （CNN） or Transformer architecture， and have the problems such as the inability to fully utilize the advantages of the combination of CNN and Transformer， resulting in insufficient registration accuracy， and the inability to maintain the original topology effectively after image registration. To solve these problems， a parallel medical image registration model based on CNN and Transformer — PPCTNet （Parallel Processing of CNN and Transformer Network） was proposed. Firstly， the model was constructed using Swin Transformer， which currently has the excellent registration accuracy， and LOCV-Net （Lightweight attentiOn-based ConVolutional Network）， a very lightweight CNN. Then， the feature information extracted by Swin Transformer and LOCV-Net were fully integrated by designing a fusion strategy， so that the model not only had the local feature extraction capability of CNN and the long-distance dependency capability of Transformer， but also had the advantage of being lightweight. Finally， based on the brain Magnetic Resonance Imaging （MRI） dataset， PPCTNet was compared with 10 classical image alignment models. The results show that compared to the currently excellent registration model TransMorph （hybrid Transformer-ConvNet network for image registration）， PPCTNet has the highest registration accuracy 0.5 percentage points higher， and the folding rate of deformation field 1.56 percentage points reduced， maintaining the topological structures of the registered images. Besides， compared with TransMorph， PPCTNet has the parameters reduced by 10.39×10⁶， and the computational cost reduced by 278×10⁹， which reflects the lightweight advantage of PPCTNet.

Key words: medical image, image registration, Convolutional Neural Network (CNN), Transformer architecture, lightweight convolution

中图分类号:

TP391.41

赵欣, 李鑫杰, 徐健, 刘步云, 毕祥. 基于卷积神经网络与Transformer并行的医学图像配准模型[J]. 计算机应用, 2024, 44(12): 3915-3921.

Xin ZHAO, Xinjie LI, Jian XU, Buyun LIU, Xiang BI. Parallel medical image registration model based on convolutional neural network and Transformer[J]. Journal of Computer Applications, 2024, 44(12): 3915-3921.

图/表 10

图1 无监督图像配准框架

Fig. 1 Unsupervised image registration framework

图2 Swin Transformer模型

Fig. 2 Swin Transformer model

图3 PPCTNet网络模型

Fig. 3 Network model of PPCTNet

图4 桥接块Bridging

Fig. 4 Bridging block

图5 LACB轻量化3D卷积

Fig. 5 Lightweight 3D convolutions of LACB

表1 模型对比结果

Tab. 1 Model comparison results

模型名称	Dice	形变场折叠率/%	Params/10⁶	FLOPs/10⁹
SyN	0.645	<0.000 1	—	—
NiftyReg	0.645	0.020 0	—	—
LDDMM	0.680	<0.000 1	—	—
VoxelMorph	0.719	1.590 0	0.30	399.0
CycleMorph	0.705	1.719 0	361.00	—
MIDIR	0.732	<0.000 1	0.27	47.0
ViT-V-Net	0.727	1.609 0	31.50	389.2
Cotr	0.728	1.292 0	38.70	2 447.6
nnFormer	0.737	1.595 0	34.20	824.0
TransMorph	0.739	1.579 0	46.70	713.5
PPSCNet	0.742	0.137 0	58.00	987.9
PPCTNet	0.744	0.012 5	36.31	435.5

图6 配准结果

Fig. 6 Registration results

图7 形变场可视化

Fig. 7 Deformation field visualization

图8 2种桥接策略

Fig. 8 Two bridging strategies

表2 消融实验结果

Tab. 2 Ablation study results

模型	Dice
Swin Transformer	0.739
LACB（CNN）	0.714
Swin+LACB+Bridging a	0.728
Swin+LACB+Bridging b	0.744

参考文献 27

1	顾冬冬. 医学图像配准深度学习方法与应用研究［D］. 长沙：湖南大学， 2021：004518.
	GU D D. Deep learning methods and applications of medical image registration［D］. Changsha： Hunan University， 2021：004518.
2	ASHBURNER J. A fast diffeomorphic image registration algorithm［J］. NeuroImage， 2007， 38（1）： 95-113.
3	AVANTS B B， EPSTEIN C L， GROSSMAN M， et al. Symmetric diffeomorphic image registration with cross-correlation： evaluating automated labeling of elderly and neurodegenerative brain［J］. Medical Image Analysis， 2008， 12（1）： 26-41.
4	GLOCKER B， KOMODAKIS N， TZIRITAS G， et al. Dense image registration through MRFs and efficient linear programming［J］. Medical Image Analysis， 2008， 12（6）： 731-741.
5	JADERBERG M， SIMONYAN K， ZISSERMAN A. Spatial transformer networks［C］// Proceedings of the 28th International Conference on Neural Information Processing Systems — Volume 2. Cambridge： MIT Press， 2015： 2017-2025.
6	GU J， WANG Z， KUEN J， et al. Recent advances in convolutional neural networks ［J］. Pattern Recognition， 2018， 77： 354-377.
7	DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16x16 words： Transformers for image recognition at scale［EB/OL］. ［2023-11-05］..
8	CHEN J， FREY E C， HE Y， et al. TransMorph： Transformer for unsupervised medical image registration［J］. Medical Image Analysis， 2022， 82： No.102615.
9	DENG L， ZOU Y， HUANG S， et al. Deformable 3D medical image registration with convolutional neural network and transformer ［J］. Journal of Instrumentation， 2023， 18（4）： No.P04029.
10	BEG M F， MILLER M I， TROUVÉ A， et al. Computing large deformation metric mappings via geodesic flows of diffeomorphisms［J］. International Journal of Computer Vision， 2005， 61（2）： 139-157.
11	CHEN J， LI Y， DU Y， et al. Generating anthropomorphic phantoms using fully unsupervised deformable image registration with convolutional neural networks ［J］. Medical Physics， 2020， 47（12）： 6366-6380.
12	VIOLA P， W M， Ⅲ. WELLS Alignment by maximization of mutual information ［J］. International Journal of Computer Vision， 1997， 24（2）： 137-154.
13	BALAKRISHNAN G， ZHAO A， SABUNCU M R， et al. VoxelMorph： a learning framework for deformable medical image registration ［J］. IEEE Transactions on Medical Imaging， 2019， 38（8）： 1788-1800.
14	VISHNEVSKIY V， GASS T， SZEKELY G， et al. Isotropic total variation regularization of displacements in parametric image registration ［J］. IEEE Transactions on Medical Imaging， 2017， 36（2）： 385-395.
15	JOHNSON H J， CHRISTENSEN G E. Consistent landmark and intensity-based image registration［J］. IEEE Transactions on Medical Imaging， 2002， 21（5）： 450-461.
16	YANG X， KWITT R， STYNER M， et al. Quicksilver： fast predictive image registration — a deep learning approach ［J］. NeuroImage， 2017， 158： 378-396.
17	SOKOOTI H， DE VOS B， BERENDSEN F， et al. 3D convolutional neural networks image registration based on efficient supervised learning from artificial deformations ［EB/OL］. ［2023-11-07］. .
18	LIU Z， LIN Y， CAO Y， et al. Swin Transformer： hierarchical vision Transformer using shifted windows ［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 9992-10002.
19	ZHAO Q， ZHONG L， XIAO J， et al. Efficient multi-organ segmentation from 3D abdominal CT images with lightweight network and knowledge distillation［J］. IEEE Transactions on Medical Imaging， 2023， 42（9）： 2513-2523.
20	KIM B， KIM D H， PARK S H， et al. CycleMorph： cycle consistent unsupervised deformable image registration［J］. Medical Image Analysis， 2021， 71： No.102036.
21	MODAT M， RIDGWAY G R， TAYLOR Z A， et al. Fast free-form deformation using graphics processing units［J］. Computer Methods and Programs in Biomedicine， 2010， 98（3）： 278-284.
22	BALAKRISHNAN G， ZHAO A， SABUNCU M R， et al. An unsupervised learning model for deformable medical image registration ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 9252-9260.
23	QIU H， QIN C， SCHUH A， et al. Learning diffeomorphic and modality-invariant registration using B-splines ［C］// Proceedings of the 4th Conference on Medical Imaging with Deep Learning. New York： JMLR.org， 2021： 645-664.
24	CHEN J， HE Y， FREY E C， et al. ViT-V-Net： vision Transformer for unsupervised volumetric medical image registration ［EB/OL］. ［2023-11-07］..
25	WANG W， XIE E， LI X， et al. Pyramid vision Transformer： a versatile backbone for dense prediction without convolution ［C］// Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2021： 548-558.
26	XIE Y， ZHANG J， SHEN C， et al. CoTr： efficiently bridging CNN and Transformer for 3D medical image segmentation［C］// Proceedings of the 2021 International Conference on Medical Image Computing and Computer Assisted Intervention， LNCS 12903. Cham： Springer， 2021： 171-180.
27	ZHOU H Y， GUO J， ZHANG Y， et al. nnFormer： interleaved transformer for volumetric segmentation ［J］. IEEE Transactions on Image Processing， 2023， 32： 4036-4045.

[1]	李云, 王富铕, 井佩光, 王粟, 肖澳. 基于不确定度感知的帧关联短视频事件检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2903-2910.
[2]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[3]	王熙源, 张战成, 徐少康, 张宝成, 罗晓清, 胡伏原. 面向手术导航3D/2D配准的无监督跨域迁移网络[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2911-2918.
[4]	陈虹, 齐兵, 金海波, 武聪, 张立昂. 融合1D-CNN与BiGRU的类不平衡流量异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2493-2499.
[5]	赵宇博, 张丽萍, 闫盛, 侯敏, 高茂. 基于改进分段卷积神经网络和知识蒸馏的学科知识实体间关系抽取[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2421-2429.
[6]	张春雪, 仇丽青, 孙承爱, 荆彩霞. 基于两阶段动态兴趣识别的购买行为预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2365-2371.
[7]	王东炜, 刘柏辰, 韩志, 王艳美, 唐延东. 基于低秩分解和向量量化的深度网络压缩方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 1987-1994.
[8]	高阳峄, 雷涛, 杜晓刚, 李岁永, 王营博, 闵重丹. 基于像素距离图和四维动态卷积网络的密集人群计数与定位方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2233-2242.
[9]	姚迅, 秦忠正, 杨捷. 生成式标签对抗的文本分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1781-1785.
[10]	黄梦源, 常侃, 凌铭阳, 韦新杰, 覃团发. 基于层间引导的低光照图像渐进增强算法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1911-1919.
[11]	李健京, 李贯峰, 秦飞舟, 李卫军. 基于不确定知识图谱嵌入的多关系近似推理模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1751-1759.
[12]	沈君凤, 周星辰, 汤灿. 基于改进的提示学习方法的双通道情感分析模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1796-1806.
[13]	韩贵金, 张馨渊, 张文涛, 黄娅. 基于多特征融合的自监督图像配准算法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1597-1604.
[14]	孙敏, 成倩, 丁希宁. 基于CBAM-CGRU-SVM的Android恶意软件检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1539-1545.
[15]	席治远, 唐超, 童安炀, 王文剑. 基于双路时空网络的驾驶员行为识别[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1511-1519.

基于卷积神经网络与Transformer并行的医学图像配准模型

Parallel medical image registration model based on convolutional neural network and Transformer

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 27

相关文章 15

编辑推荐

Metrics