在强调数据确权以及隐私保护的时代背景下，联邦学习作为一种新的机器学习范式，能够在不暴露各方数据的前提下达到解决数据孤岛以及隐私保护问题的目的。目前，基于联邦学习的建模方法已成为主流并且获得了很好的效果，因此对联邦学习的概念、技术、应用和挑战进行总结与分析具有重要的意义。首先，阐述了机器学习的发展历程以及联邦学习出现的必然性，并给出联邦学习的定义与分类；其次，介绍并分析了目前业界认可的三种联邦学习方法：横向联邦学习、纵向联邦学习和联邦迁移学习；然后，针对联邦学习的隐私保护问题，归纳并总结了目前常见的隐私保护技术；此外，还对联邦学习的现有主流开源框架进行了介绍与对比，同时给出了联邦学习的应用场景；最后，展望了联邦学习所面临的挑战和未来的研究方向。
随着传感器网络和全球定位系统等技术的进步，兼有时间与空间特性的气象数据体量呈爆炸式增长，针对时空序列预测（STSF）的深度学习模型研究得到了迅猛发展。然而，长期以来用于天气预报的传统机器学习方法在提取数据的时间相关性与空间依赖性方面的效果往往并不理想。与此同时，深度学习方法通过人工神经网络自动提取特征，可以有效提高天气预报的准确度，并且在编码长期空间信息的建模方面有相当优秀的效果。同时，由观测数据驱动的深度学习模型与基于物理理论的数值天气预报（NWP）模型结合的方式可以构建拥有更高预测精度与更长预报时间的混合模型。基于这些，将深度学习在天气预报领域的应用分析及研究进展进行了综述。首先，将天气预报领域的深度学习问题与经典深度学习问题从数据格式、问题模型与评价指标这3个方面进行了对比研究；然后，回顾了深度学习在天气预报领域的发展历程与应用现状，并总结分析了深度学习技术与NWP结合的最新进展；最后，展望了未来的发展方向和研究重点，为天气预报领域的深度学习研究提供参考。
多模态医学图像可以为临床医生提供靶区（如肿瘤、器官或组织）的丰富信息。然而，由于多模态图像之间相互独立且仅有互补性，如何有效融合多模态图像并进行分割仍是亟待解决的问题。传统的图像融合方法难以有效解决此问题，因此基于深度学习的多模态医学图像分割算法得到了广泛的研究。从原理、技术、问题及展望等方面对基于深度学习的多模态医学图像分割任务进行了综述。首先，介绍了深度学习与多模态医学图像分割的一般理论，包括深度学习与卷积神经网络（CNN）的基本原理与发展历程，以及多模态医学图像分割任务的重要性；其次，介绍了多模态医学图像分割的关键概念，包括数据维度、预处理、数据增强、损失函数以及后处理等；接着，对基于不同融合策略的多模态分割网络进行综述，对不同方式的融合策略进行分析；最后，对医学图像分割过程中常见的几个问题进行探讨，并对今后研究作了总结与展望。
随着网络应用的不断发展，网络资源呈指数型增长，信息过载现象日益严重，如何高效获取符合需求的资源成为困扰人们的问题之一。推荐系统能对海量信息进行有效过滤，为用户推荐符合其需求的资源。对推荐系统的研究现状进行详细介绍，包括基于内容的推荐、协同过滤推荐和混合推荐这三种传统推荐方式，并重点分析了基于卷积神经网络（CNN）、深度神经网络（DNN）、循环神经网络（RNN）和图神经网络（GNN）这四种常见的深度学习推荐模型的研究进展；归纳整理了推荐领域常用的数据集，同时分析对比了传统推荐算法和基于深度学习的推荐算法的差异。最后，总结了实际应用中具有代表性的推荐模型，讨论了推荐系统面临的挑战和未来的研究方向。
预训练模型（PTM）通过利用复杂的预训练目标和大量的模型参数，可以有效地获得无标记数据中的丰富知识。而在多模态中，PTM的发展还处于初期。根据具体模态的不同，将目前大多数的多模态PTM分为图像?文本PTM和视频?文本PTM；根据数据融合方式的不同，还可将多模态PTM分为单流模型和双流模型两类。首先，总结了常见的预训练任务和验证实验所使用的下游任务；接着，梳理了目前多模态预训练领域的常见模型，并用表格列出各个模型的下游任务以及模型的性能和实验数据比较；然后，介绍了M6（Multi-Modality to Multi-Modality Multitask Mega-transformer）模型、跨模态提示调优（CPT）模型、VideoBERT（Video Bidirectional Encoder Representations from Transformers）模型和AliceMind（Alibaba’s collection of encoder-decoders from Mind）模型在具体下游任务中的应用场景；最后，总结了多模态PTM相关工作面临的挑战以及未来可能的研究方向。
近年来，联邦学习成为解决机器学习中数据孤岛与隐私泄露问题的新思路。联邦学习架构不需要多方共享数据资源，只要参与方在本地数据上训练局部模型，并周期性地将参数上传至服务器来更新全局模型，就可以获得在大规模全局数据上建立的机器学习模型。联邦学习架构具有数据隐私保护的特质，是未来大规模数据机器学习的新方案。然而，该架构的参数交互方式可能导致数据隐私泄露。目前，研究如何加强联邦学习架构中的隐私保护机制已经成为新的热点。从联邦学习中存在的隐私泄露问题出发，探讨了联邦学习中的攻击模型与敏感信息泄露途径，并重点综述了联邦学习中的几类隐私保护技术：以差分隐私为基础的隐私保护技术、以同态加密为基础的隐私保护技术、以安全多方计算（SMC）为基础的隐私保护技术。最后，探讨了联邦学习中隐私保护中的若干关键问题，并展望了未来研究方向。
目前，医学图像分割模型广泛采用基于全卷积网络（FCN）的U型网络（U-Net）作为骨干网，但卷积神经网络（CNN）在捕捉长距离依赖能力上的劣势限制了分割模型性能的进一步提升。针对上述问题，研究者们将Transformer应用到医学图像分割模型中以弥补CNN的不足，结合Transformer和U型结构的分割网络成为研究热点之一。在详细介绍U-Net和Transformer之后，按医学图像分割模型中Transformer模块所处的位置，包括仅在编码器或解码器、同时在编码器和解码器、作为过渡连接和其他位置进行分类，讨论各模型的基本内容、设计理念以及可改进的地方，并分析了Transformer处于不同位置的优缺点。根据分析结果可知，决定Transformer所在位置的最大因素是目标分割任务的特点，而且Transformer结合U-Net的分割模型能更好地利用CNN和Transformer各自的优势，提高模型的分割性能，具有较大的发展前景和研究价值。
联邦学习（FL）是一种能够实现用户数据不出本地的新型隐私保护学习范式。随着相关研究工作的不断深入，FL的单点故障及可信性缺乏等不足之处逐渐受到重视。近年来，起源于比特币的区块链技术取得迅速发展，它开创性地构建了去中心化的信任，为FL的发展提供了一种新的可能。对现有基于区块链的FL框架进行对比分析，深入讨论区块链与FL相结合所解决的FL重要问题，并阐述了基于区块链的FL技术在物联网（IoT）、工业物联网（IIoT）、车联网（IoV）、医疗服务等多个领域的应用前景。
随着深度学习的广泛应用，人类越来越依赖于大量采用深度学习技术的复杂系统，然而，深度学习模型的黑盒特性对其在关键任务应用中的使用提出了挑战，引发了道德和法律方面的担忧，因此，使深度学习模型具有可解释性是使它们令人信服首先要解决的问题。于是，关于可解释的人工智能领域的研究应运而生，主要集中于向人类观察者明确解释模型的决策或行为。对深度学习可解释性的研究现状进行综述，为进一步深入研究建立更高效且具有可解释性的深度学习模型确立良好的基础。首先，对深度学习可解释性进行了概述，阐明可解释性研究的需求和定义；然后，从解释深度学习模型的逻辑规则、决策归因和内部结构表示这三个方面出发介绍了几种可解释性研究的典型模型和算法，另外还指出了三种常见的内置可解释模型的构建方法；最后，简单介绍了忠实度、准确性、鲁棒性和可理解性这四种评价指标，并讨论了深度学习可解释性未来可能的发展方向。
在综合对比传统知识图谱表示学习模型优缺点以及适用任务后，发现传统的单一模态知识图谱无法很好地表示知识。因此，如何利用文本、图片、视频、音频等多模态数据进行知识图谱表示学习成为一个重要的研究方向。同时，详细分析了常用的多模态知识图谱数据集，为相关研究人员提供数据支持。在此基础上，进一步讨论了文本、图片、视频、音频等多模态融合下的知识图谱表示学习模型，并对其中各种模型进行了总结和比较。最后，总结了多模态知识图谱表示学习如何改善经典应用，包括知识图谱补全、问答系统、多模态生成和推荐系统在实际应用中的效果，并对未来的研究工作进行了展望。
终身学习（LLL）作为一种新兴方法打破了传统机器学习的局限性，并赋予了模型能够像人类一样在学习过程中不断积累、优化并转移知识的能力。近年来，随着深度学习的广泛应用，越来越多的研究致力于解决深度神经网络中出现的灾难性遗忘问题和摆脱稳定性-可塑性困境，并将LLL方法应用于各种各样的实际场景中，以推进人工智能由弱向强的发展。针对计算机视觉领域，首先，在图像分类任务中将LLL方法归纳为四大类型：基于数据驱动的方法、基于优化过程的方法、基于网络结构的方法和基于知识组合的方法；然后，介绍了LLL方法在其他视觉任务中的典型应用和相关评估指标；最后，针对现阶段LLL方法的不足之处进行讨论并提出了LLL方法未来发展的方向。
文本分类任务通常依赖足量的标注数据，针对低资源场景下的分类模型在小样本上的过拟合问题，提出一种基于提示学习的小样本文本分类方法BERT-P-Tuning。首先，利用预训练模型BERT（Bidirectional Encoder Representations from Transformers）在标注样本上学习到最优的提示模板；然后，在每条样本中补充提示模板和空缺，将文本分类任务转化为完形填空任务；最后，通过预测空缺位置概率最高的词并结合它与标签之间的映射关系得到最终的标签。在公开数据集FewCLUE上的短文本分类任务上进行实验，实验结果表明，所提方法相较于基于BERT微调的方法在评价指标上有显著提高。所提方法在二分类任务上的准确率与F1值分别提升了25.2和26.7个百分点，在多分类任务上的准确率与F1值分别提升了6.6和8.0个百分点。相较于手动构建模板的PET（Pattern Exploiting Training）方法，所提方法在两个任务上的准确率分别提升了2.9和2.8个百分点，F1值分别提升了4.4和4.2个百分点，验证了预训练模型应用在小样本任务的有效性。
单目标跟踪是计算机视觉领域的一个重要研究方向，在视频监控、自动驾驶等领域应用广泛。对于单目标跟踪算法，尽管已有大量总结研究，但大多基于相关滤波或深度学习。近年来，基于孪生网络的跟踪算法因在精度和速度之间取得的平衡受到研究者们的广泛关注，然而目前对该类型算法的总结分析相对较少，并且对这些算法的架构层面缺少系统分析。为深入了解基于孪生网络的单目标跟踪算法，对大量相关文献进行了总结与分析。首先阐述孪生网络的结构和应用，并根据孪生跟踪算法架构组成的分类介绍了各跟踪算法；然后列举单目标跟踪领域常用的数据集和评价指标，对25个主流跟踪算法在OTB2015数据集上分别进行整体和各属性的性能比较与分析，并列出23个孪生跟踪算法在LaSOT和GOT-10K测试集上的性能以及推理时的速度；最后对基于孪生网络的目标跟踪算法的研究进行总结，并对未来的发展方向进行展望。
近年来，研究人员针对图神经网络（GNN）提出了许多改进的模型架构设计，推动了各种预测任务的性能提升。但大多数GNN变体在开始都认为节点的特征同等重要，而实际情况并非如此。针对这个问题，提出一种特征选择方法来改进现有模型，并为数据集选择出重要特征子集。所提方法由特征选择层和标签-特征单独映射两个组件构成。在特征选择层中使用Softmax归一化器和特征“软选择器”进行特征选择，在标签-特征单独映射思想下设计模型结构，为不同的标签选择对应的相关特征子集，并将多个相关特征子集作集合并运算得到最终数据集的重要特征子集。选取图注意力网络（GAT）和GATv2模型为基准模型，将算法应用到基准模型中得到新模型。实验结果表明，所提模型在6个数据集上执行节点分类任务时，准确率相较于基准模型提升了0.83%~8.79%；新模型也为6个数据集选择了对应的重要特征子集，这些重要特征子集的特征数量占各自数据集总特征数的3.94%~12.86%，将重要特征子集作为基准模型的新输入后仍然获得了95%以上的准确率（使用了所有特征），即在保证准确率的基础上减小了模型的规模。可见，所提方法能够提高节点分类准确率，并有效地为数据集选择对应的重要特征子集。
针对卷积神经网络（CNN）模型的训练过程中，模型参数记忆数据部分特征导致的隐私泄露问题，提出一种CNN中基于差分隐私的动量梯度下降算法（DPGDM）。首先，在模型优化的反向传播过程中对梯度添加满足差分隐私的高斯噪声，并用加噪后的梯度值参与模型参数的更新过程，从而实现对模型整体的差分隐私保护；其次，为了减少引入差分隐私噪声对模型收敛速度的影响，设计学习率衰减策略，改进动量梯度下降算法；最后，为了降低噪声对模型准确率的影响，在模型优化过程中动态地调整噪声尺度的值，从而改变在每一轮迭代中需要对梯度加入的噪声量。实验结果表明，与DP-SGD （Differentially Private Stochastic Gradient Descent）相比，所提算法可以在隐私预算为0.3和0.5时，模型准确率分别提高约5和4个百分点。可见，所提算法提高了模型的可用性，并实现了对模型的隐私保护。
基于深度学习的目标检测算法如YOLO（You Only Look Once）和Faster R-CNN（Faster Region-Convolutional Neural Network）需要大量训练数据以保证模型的精度，而在很多场景下获取数据以及标注数据的成本较高；并且由于缺少海量的训练数据，导致检测的范围受限。针对以上问题，提出了一种基于孪生网络的小样本目标检测算法（SiamDet），旨在使用少量标注图像训练具有一定泛化能力的目标检测模型。首先，提出了基于深度可分离卷积的孪生网络，并使用深度可分离卷积设计了特征提取网络ResNet-DW，从而解决了样本不充足带来的过拟合问题；其次，基于孪生网络，提出了目标检测算法SiamDet，并在ResNet-DW的基础上，引入区域建议网络（RPN）来定位感兴趣目标；然后，引入二值交叉熵损失进行训练，并使用对比训练策略，从而增加了类别之间的区分度。实验结果表明，SiamDet在小样本条件下具有良好的目标检测能力，且相较于次优的算法DeFRCN（Decoupled Faster R-CNN），SiamDet在MS-COCO数据集20-way 2-shot和PASCAL VOC数据集5-way 5-shot上的AP50分别增加了4.1%和2.6%。
时间序列的多尺度特征包含丰富的类别信息，且这些信息对分类具有不同的重要程度，然而现有的单变量时间序列分类模型通常以固定大小的卷积核提取序列特征，导致不能有效地获取并聚焦重要的多尺度特征。针对上述问题，提出一种基于多尺度卷积和注意力机制（MCA）的长短时记忆（LSTM）模型（MCA-LSTM），它能够关注并融合重要的多尺度特征，从而实现更准确的分类。其中，LSTM使用记忆细胞和门机制控制序列信息的传递，并充分提取时间序列的相关性信息；多尺度卷积模块（MCM）使用具有不同卷积核的卷积神经网络（CNN）提取序列的多尺度特征；注意力模块（AM）融合通道信息获取特征的重要性并分配注意力权重，从而使网络关注重要的时间序列特征。在UCR档案的65个单变量时间序列数据集上的实验结果表明，对比当前最先进的基于深度学习的时间序列分类模型：USRL-FordA（Unsupervised Scalable Representation Learning-FordA）、USRL-Combined （1-NN） （Unsupervised Scalable Representation Learning-Combined （1-Nearest Neighbor）） OS-CNN（Omni-Scale Convolutional Neural Network）、Inception-Time和RTFN（Robust Temporal Feature Network for time series classification），MCA-LSTM在平均错误率（ME）上分别降低了7.48、9.92、2.43、2.09和0.82个百分点，并取得了最高的算术平均排名（AMR）和几何平均排名（GMR），分别为2.14和3.23，这些充分体现了MCA-LSTM模型在单变量时间序列分类中的有效性。
现有的机器人抓取操作通常在良好光照条件下开展，此时目标细节清晰、区域对比度高，而在夜间、遮挡等弱光环境下目标的视觉特征微弱，会导致现有的机器人抓取检测模型的检测准确率急剧下降。为提高弱光场景下稀疏、微弱抓取特征的表征能力，提出一种融合视觉特征增强机制的抓取检测模型，通过视觉增强子任务为抓取检测施加特征增强约束。对于抓取检测模块，采用仿U-Net框架的编码器-解码器结构实现特征的高效融合；对于弱光增强模块，从局部、全局层面分别提取纹理、颜色信息，以实现兼顾目标细节与视觉效果的特征增强。此外，分别构建弱光Cornell数据集和弱光Jacquard数据集两个新的弱光抓取基准数据集，并基于上述数据集开展对比实验。实验结果表明，所提弱光抓取检测模型在基准数据集上的准确率分别达到了95.5%和87.4%，与生成抓取卷积神经网络（GG-CNN）、生成残差卷积神经网络（GR-ConvNet）等现有抓取检测模型相比，准确率在弱光Cornell数据集提升11.1、1.2个百分点，在弱光Jacquard数据集上提升5.5、5.0个百分点，取得了较好的抓取检测效果。
针对传统单因子模型无法充分利用时间序列相关信息，以及这些模型对时间序列预测准确性和可靠性较差的问题，提出一种基于多模态信息融合的时间序列预测模型——Skip-Fusion对多模态数据中的文本数据和数值数据进行融合。首先利用BERT（Bidirectional Encoder Representations from Transformers）预训练模型和独热编码对不同类别的文本数据进行编码表示；再使用基于全局注意力机制的预训练模型获得多文本特征融合的单一向量表示；然后将得到的单一向量表示与数值数据按时间顺序对齐；最后通过时间卷积网络（TCN）模型实现文本和数值特征的融合，并通过跳跃连接完成多模态数据的浅层和深层特征的再次融合。在股票价格序列的数据集上进行实验，Skip-Fusion模型的均方根误差（RMSE）和日收益（R）分别为0.492和0.930，均优于现有的单模态模型和多模态融合模型的结果，同时在可决系数（R-Squared）上取得了0.955的拟合优度。实验结果表明，Skip-Fusion模型能够有效进行多模态信息融合并具有较高的预测准确性和可靠性。
不平衡数据分类是机器学习领域的重要研究内容，但现有的不平衡分类算法通常针对不平衡二分类问题，关于不平衡多分类的研究相对较少。然而实际应用中的数据集通常具有多类别且数据分布具有不平衡性，而类别的多样性进一步加剧了不平衡数据的分类难度，因此不平衡多分类问题已经成为亟待解决的研究课题。针对近年来提出的不平衡多分类算法展开综述，根据是否采用分解策略把不平衡多分类算法分为分解方法和即席方法，并进一步将分解方法按照分解策略的不同划分为“一对一（OVO）”架构和“一对多（OVA）”架构，将即席方法按照处理技术的不同分为数据级方法、算法级方法、代价敏感方法、集成方法和基于深度网络的方法。系统阐述各类方法的优缺点及其代表性算法，总结概括不平衡多分类方法的评价指标，并通过实验深入分析代表性方法的性能，讨论了不平衡多分类的未来发展方向。
近年来，深度学习在很多领域得到广泛应用；然而，由于深度神经网络模型的高度非线性操作，导致其可解释性较差，并常常被称为“黑箱”模型，无法应用于一些对性能要求较高的关键领域；因此，对深度学习的可解释性开展研究是很有必要的。首先，简单介绍了深度学习；然后，围绕深度学习的可解释性，从隐层可视化、类激活映射（CAM）、敏感性分析、频率原理、鲁棒性扰动测试、信息论、可解释模块和优化方法这8个方面对现有研究工作进行分析；同时，展示了深度学习在网络安全、推荐系统、医疗和社交网络领域的应用；最后，讨论了深度学习可解释性研究存在的问题及未来的发展方向。
针对生理信号情感识别问题，提出一种基于图神经网络（GNN）和注意力的双模态情感识别方法。首先，使用GNN对脑电（EEG）信号进行分类；然后，使用基于注意力的双向长短期记忆（Bi-LSTM）网络对心电（ECG）信号进行分类；最后，通过Dempster-Shafer证据理论融合EGG和ECG分类结果，从而提高情感识别任务的综合性能。为验证所提方法的有效性，邀请20名受试者参与情感激发实验，并收集了受试者的EGG、ECG信号。实验结果表明，所提方法的二分类准确率在valence维度和arousal维度分别为91.82%和88.24%，相较于单模态EEG方法分别提高2.65%和0.40%，相较于单模态ECG方法分别提高19.79%和24.90%。可见，所提方法能够有效地提高情感识别的准确率，为医疗诊断等领域提供决策支持。
智能合约技术作为区块链2.0的里程碑，受到学术界与企业界的广泛关注。智能合约运行在不具有可信计算环境的底层基础设施上，并且具有区别于传统程序的特性，在自身的安全性上存在许多影响很大的漏洞，针对它进行安全审计的研究也成为区块链安全领域的热门与亟需解决的关键科学问题。针对智能合约的漏洞检测与自动化修复，首先介绍智能合约漏洞的主要漏洞类型与分类；然后，调研回顾近五年智能合约漏洞检测的三类最重要的方法，并介绍每类方法具有代表性和创新性的研究技术；其次，详细介绍智能合约升级方案与具有前沿性的自动化修复技术；最后，分析与展望了面向在线、实时、多平台、自动化与智能化需求的智能合约漏洞检测与自动化修复技术的挑战与未来可展开的工作，并提出技术解决方案的框架。
在深度学习领域中，大量正确标注的样本对于模型的训练和学习至关重要。然而，在实际的应用场景中，标注数据的成本很高，同时标注的样本质量会受人工标注的主观因素或工具技术的影响，在标注过程中无法避免标签噪声的产生。因此，现有的训练数据都存在一定的标签噪声，如何有效地训练带标签噪声的训练数据成为了研究的热点。围绕基于深度学习的标签噪声学习算法，首先详细阐述了标签噪声学习问题的来源、分类和影响；然后依照机器学习的不同要素分析了基于数据、损失函数、模型、训练方式的四种标签噪声学习策略；随后提供了各种应用场景下学习标签噪声问题的基础框架；最后，给出一些优化思路，并展望了标签噪声学习算法面临的挑战与未来的发展方向。
将用户感兴趣的事件从非结构化信息中提取出来，然后以结构化的方式展示给用户，这就是事件抽取。事件抽取在信息收集、信息检索、文档合成、信息问答等方面有着广泛应用。从全局出发，事件抽取算法可以分为基于模式匹配的算法、触发词法、基于本体的算法以及前沿联合模型方法这四类。在研究过程中根据相关需求可使用不同评价方法和数据集，而不同的事件表示方法也与事件抽取研究有一定联系；以任务类型区分，元事件抽取和主题事件抽取是事件抽取的两大基本任务。其中，元事件抽取有基于模式匹配、基于机器学习和基于神经网络这三种方式，而主题事件抽取有基于事件框架和基于本体两种方式。事件抽取研究在中英等单语言上均已取得了优秀成果，而跨语言事件抽取依然面临着许多问题。最后，总结了事件抽取的相关工作并提出未来研究方向，以期为后续研究提供参考。
安全帽的佩戴是工人人身安全的有力保障。针对采集的安全帽佩戴图像目标密集、像素点小、检测难度大的特点，提出一种面向安全帽的YOLOv5小目标检测算法。首先，基于YOLOv5算法优化边界框回归损失函数和置信度预测损失函数的计算方式，以提高算法在训练中对密集小目标特征的学习效果；然后，引入切片辅助微调和切片辅助推理（SAHI）对输入网络的图像进行切片处理，使得小目标对象产生更大的像素区域，进而改善网络推理与微调的效果。实验采用了工业场景中包含密集安全帽小目标的数据集进行训练。实验结果表明，改进后的算法相较于原始YOLOv5算法能将精确率提升0.26个百分点，召回率提升0.38个百分点；并且所提算法的平均精确率均值（mAP）达到了95.77%，相较于原始YOLOv5算法等几种算法提升了0.46~13.27个百分点。结果验证了切片辅助微调和SAHI的引入可以提升密集场景下小目标检测识别的精确率和置信度，减少误检漏检的情况，有效满足安全帽佩戴检测的需求。
