在医学图像分割网络中,卷积神经网络(CNN)虽然能提取丰富的局部特征细节,但存在远程信息捕获不足的问题。Transformer虽然可以捕捉长距离的全局特征依赖关系,但是会破坏局部特征细节。为充分利用2种网络特征的互补性,提出一种用于医学图像分割的CNN和Transformer并行的融合网络——PFNet。该网络的并行融合模块使用一对基于CNN和Transformer的相互依赖的并行分支来高效地学习局部和全局两方面的辨别特征,并以交互方式交叉融合局部特征和长距离特征的依赖关系;同时,为恢复在下采样期间丢失的空间信息以增强细节的保留,提出多尺度交互(MSI)模块提取分层CNN分支生成的多尺度特征的局部上下文以进行远程依赖关系建模。实验结果表明,PFNet优于MISSFormer(Medical Image Segmentation tranSFormer)和UCTransNet(U-Net with Channel Transformer module)等先进方法。在Synapse和ACDC(Automated Cardiac Diagnosis Challenge)数据集上,相较于最优的基线方法MISSFormer,PFNet的平均Dice相似系数(DSC)分别提高1.27%和0.81%。可见,PFNet能实现更精准的医学图像分割。
卷积神经网络(CNN)因辨识度高、易于理解、可学习性强而被用于图像取证,但它固有的感受野增加缓慢、忽略长端依赖性、计算量庞大等缺点导致深度学习算法的精度与轻量化部署效果并不理想,不适用于以轻量化形式实现图像篡改定位的场景。为解决上述问题,提出一种基于轻量化网络的图像复制-粘贴篡改检测算法——LKA-EfficientNet(Large Kernel Attention EfficientNet)。LKA-EfficientNet具有长端依赖性和全局感受野的特性,且优化了EfficientNetV2的参数量,提高了图像篡改定位速度和精度。首先,将输入图像通过基于大核注意力(LKA)卷积的基干网络进行处理,得到候选特征图;随后,使用不同尺寸的特征图构建特征金字塔进行特征匹配;最后,将特征匹配后的特征图进行融合以定位图像篡改区域;此外,LKA-EfficientNet使用三元组交叉熵损失函数进一步提升了算法定位篡改图像的精度。实验结果表明,LKA-EfficientNet与同类型的Dense-InceptionNet算法相比,不仅能够降低29.54%的浮点运算量,而且F1分数也提高了4.88%,验证了LKA-EfficientNet可以在保持高检测性能的同时降低计算量。