针对零样本动作识别(ZSAR)算法的框架缺乏结构性指导的问题,以基于能量的模型(EBM)指导框架设计,提出基于注意力机制和能量函数的动作识别算法(ARAAE)。首先,为了得到EBM的输入,设计了光流加3D卷积(C3D)架构的组合以提取视觉特征,从而达到空间去冗余的效果;其次,将视觉Transformer (ViT)用于视觉特征的提取以减少时间冗余,同时利用ViT配合光流加C3D架构的组合以减少空间冗余,从而获得非冗余视觉空间;最后,为度量视觉空间和语义空间的相关性,实现能量评分评估机制,设计联合损失函数来进行优化实验。采用6个经典ZSAR算法及近年文献里的算法在两个数据集HMDB51和UCF101进行实验的结果表明:相较于CAGE (Coupling Adversarial Graph Embedding)、Bi-dir GAN (Bi-directional Generative Adversarial Network)和ETSAN (Energy-based Temporal Summarized Attentive Network)等算法,在平均分组的HMDB51数据集上,ARAAE平均识别准确率提升至(22.1±1.8)%,均明显优于对比算法;在平均分组的UCF101数据集上,ARAAE的平均识别准确率提升至(22.4±1.6)%,略优于对比算法;在以81/20为分割方式的UCF101数据集上,ARAAE的平均识别准确率提升至(40.2±2.6)%,均大于对比算法。可见,ARAAE在ZSAR中能有效提高识别性能。
针对医学磁共振成像(MRI)过程中由于噪声、成像技术和成像原理等干扰因素引起的图像细节丢失、纹理不清晰等问题,提出了基于多感受野的生成对抗网络医学MRI影像超分辨率重建算法。首先,利用多感受野特征提取块获取不同感受野下图像的全局特征信息,为避免感受野过小或过大导致图像的细节纹理丢失,将每组特征分为两组,其中一组用于反馈不同尺度感受野下的全局特征信息,另一组用于丰富下一组特征的局部细节纹理信息;然后,使用多感受野特征提取块构建特征融合组,并在每个特征融合组中添加空间注意力模块,充分获取图像的空间特征信息,减少了浅层和局部特征在网络中的丢失,在图像的细节上取得了更逼真的还原度;其次,将低分辨率图像的梯度图转化为高分辨率图像的梯度图辅助重建超分辨率图像;最终将恢复后的梯度图集成到超分辨率分支中,为超分辨率重建提供结构先验信息,有助于生成高质量的超分辨率图像。实验结果表明,相比基于梯度引导的结构保留超分辨率算法(SPSR),所提算法在×2、×3、×4尺度下的峰值信噪比(PSNR)分别提升了4.8%、2.7%、3.5%,重建出的医学MRI影像纹理细节更加丰富、视觉效果更加逼真。
为提高医学影像超分辨率的重建质量,提出了一种基于深度可分离卷积的宽残差超分辨率神经网络算法。首先,利用深度可分离卷积改进网络的残差块,扩宽残差块中卷积层的通道,将更多的特征信息传入了激活函数,使得网络中浅层低级图像特征更容易地传播到高层,提高了医学影像超分辨率的重建质量;然后,采用组归一化的方法训练网络,将卷积层的通道维度划分为组,在每个组内计算归一化的均值和方差,使得网络训练过程更快地收敛,解决了深度可分离卷积扩宽通道数导致网络训练难度增加的问题,同时网络表现出更好的性能。实验结果表明,对比传统的最近邻插值、双三次插值超分辨率算法,以及基于稀疏表达的超分辨率算法,所提算法重建出的医学影像纹理细节更加丰富、视觉效果更加逼真。对比基于卷积神经网络的超分辨率算法,基于宽残差超分辨率神经网络算法和生成对抗网络超分辨率算法,所提算法在峰值信噪比(PSNR)和结构相似性(SSIM)上有显著的提升。