在强调数据确权以及隐私保护的时代背景下，联邦学习作为一种新的机器学习范式，能够在不暴露各方数据的前提下达到解决数据孤岛以及隐私保护问题的目的。目前，基于联邦学习的建模方法已成为主流并且获得了很好的效果，因此对联邦学习的概念、技术、应用和挑战进行总结与分析具有重要的意义。首先，阐述了机器学习的发展历程以及联邦学习出现的必然性，并给出联邦学习的定义与分类；其次，介绍并分析了目前业界认可的三种联邦学习方法：横向联邦学习、纵向联邦学习和联邦迁移学习；然后，针对联邦学习的隐私保护问题，归纳并总结了目前常见的隐私保护技术；此外，还对联邦学习的现有主流开源框架进行了介绍与对比，同时给出了联邦学习的应用场景；最后，展望了联邦学习所面临的挑战和未来的研究方向。
为了解决数据共享需求与隐私保护要求之间不可调和的矛盾，联邦学习应运而生。联邦学习作为一种分布式机器学习，其中的参与方与中央服务器之间需要不断交换大量模型参数，而这造成了较大通信开销；同时，联邦学习越来越多地部署在通信带宽有限、电量有限的移动设备上，而有限的网络带宽和激增的客户端数量会使通信瓶颈加剧。针对联邦学习的通信瓶颈问题，首先分析联邦学习的基本工作流程；然后从方法论的角度出发，详细介绍基于降低模型更新频率、模型压缩、客户端选择的三类主流方法和模型划分等特殊方法，并对具体优化方案进行深入的对比分析；最后，对联邦学习通信开销技术研究的发展趋势进行了总结和展望。
多模态医学图像可以为临床医生提供靶区（如肿瘤、器官或组织）的丰富信息。然而，由于多模态图像之间相互独立且仅有互补性，如何有效融合多模态图像并进行分割仍是亟待解决的问题。传统的图像融合方法难以有效解决此问题，因此基于深度学习的多模态医学图像分割算法得到了广泛的研究。从原理、技术、问题及展望等方面对基于深度学习的多模态医学图像分割任务进行了综述。首先，介绍了深度学习与多模态医学图像分割的一般理论，包括深度学习与卷积神经网络（CNN）的基本原理与发展历程，以及多模态医学图像分割任务的重要性；其次，介绍了多模态医学图像分割的关键概念，包括数据维度、预处理、数据增强、损失函数以及后处理等；接着，对基于不同融合策略的多模态分割网络进行综述，对不同方式的融合策略进行分析；最后，对医学图像分割过程中常见的几个问题进行探讨，并对今后研究作了总结与展望。
时间序列的多尺度特征包含丰富的类别信息，且这些信息对分类具有不同的重要程度，然而现有的单变量时间序列分类模型通常以固定大小的卷积核提取序列特征，导致不能有效地获取并聚焦重要的多尺度特征。针对上述问题，提出一种基于多尺度卷积和注意力机制（MCA）的长短时记忆（LSTM）模型（MCA-LSTM），它能够关注并融合重要的多尺度特征，从而实现更准确的分类。其中，LSTM使用记忆细胞和门机制控制序列信息的传递，并充分提取时间序列的相关性信息；多尺度卷积模块（MCM）使用具有不同卷积核的卷积神经网络（CNN）提取序列的多尺度特征；注意力模块（AM）融合通道信息获取特征的重要性并分配注意力权重，从而使网络关注重要的时间序列特征。在UCR档案的65个单变量时间序列数据集上的实验结果表明，对比当前最先进的基于深度学习的时间序列分类模型：USRL-FordA（Unsupervised Scalable Representation Learning-FordA）、USRL-Combined （1-NN） （Unsupervised Scalable Representation Learning-Combined （1-Nearest Neighbor）） OS-CNN（Omni-Scale Convolutional Neural Network）、Inception-Time和RTFN（Robust Temporal Feature Network for time series classification），MCA-LSTM在平均错误率（ME）上分别降低了7.48、9.92、2.43、2.09和0.82个百分点，并取得了最高的算术平均排名（AMR）和几何平均排名（GMR），分别为2.14和3.23，这些充分体现了MCA-LSTM模型在单变量时间序列分类中的有效性。
预训练模型（PTM）通过利用复杂的预训练目标和大量的模型参数，可以有效地获得无标记数据中的丰富知识。而在多模态中，PTM的发展还处于初期。根据具体模态的不同，将目前大多数的多模态PTM分为图像?文本PTM和视频?文本PTM；根据数据融合方式的不同，还可将多模态PTM分为单流模型和双流模型两类。首先，总结了常见的预训练任务和验证实验所使用的下游任务；接着，梳理了目前多模态预训练领域的常见模型，并用表格列出各个模型的下游任务以及模型的性能和实验数据比较；然后，介绍了M6（Multi-Modality to Multi-Modality Multitask Mega-transformer）模型、跨模态提示调优（CPT）模型、VideoBERT（Video Bidirectional Encoder Representations from Transformers）模型和AliceMind（Alibaba’s collection of encoder-decoders from Mind）模型在具体下游任务中的应用场景；最后，总结了多模态PTM相关工作面临的挑战以及未来可能的研究方向。
随着深度学习的广泛应用，人类越来越依赖于大量采用深度学习技术的复杂系统，然而，深度学习模型的黑盒特性对其在关键任务应用中的使用提出了挑战，引发了道德和法律方面的担忧，因此，使深度学习模型具有可解释性是使它们令人信服首先要解决的问题。于是，关于可解释的人工智能领域的研究应运而生，主要集中于向人类观察者明确解释模型的决策或行为。对深度学习可解释性的研究现状进行综述，为进一步深入研究建立更高效且具有可解释性的深度学习模型确立良好的基础。首先，对深度学习可解释性进行了概述，阐明可解释性研究的需求和定义；然后，从解释深度学习模型的逻辑规则、决策归因和内部结构表示这三个方面出发介绍了几种可解释性研究的典型模型和算法，另外还指出了三种常见的内置可解释模型的构建方法；最后，简单介绍了忠实度、准确性、鲁棒性和可理解性这四种评价指标，并讨论了深度学习可解释性未来可能的发展方向。
针对传统单因子模型无法充分利用时间序列相关信息，以及这些模型对时间序列预测准确性和可靠性较差的问题，提出一种基于多模态信息融合的时间序列预测模型——Skip-Fusion对多模态数据中的文本数据和数值数据进行融合。首先利用BERT（Bidirectional Encoder Representations from Transformers）预训练模型和独热编码对不同类别的文本数据进行编码表示；再使用基于全局注意力机制的预训练模型获得多文本特征融合的单一向量表示；然后将得到的单一向量表示与数值数据按时间顺序对齐；最后通过时间卷积网络（TCN）模型实现文本和数值特征的融合，并通过跳跃连接完成多模态数据的浅层和深层特征的再次融合。在股票价格序列的数据集上进行实验，Skip-Fusion模型的均方根误差（RMSE）和日收益（R）分别为0.492和0.930，均优于现有的单模态模型和多模态融合模型的结果，同时在可决系数（R-Squared）上取得了0.955的拟合优度。实验结果表明，Skip-Fusion模型能够有效进行多模态信息融合并具有较高的预测准确性和可靠性。
传统的股票预测方法大多基于时间序列模型，忽视了股票之间复杂的关系，并且该关系往往超出成对连接，例如同行业板块内股票或者基金持仓多支股票。针对该问题，提出一种基于时序超图卷积神经网络（HGCN）的股价走势预测方法，根据金融投资事实构造超图模型以拟合股票之间的多元关系，该模型包括两大组件：门控循环单元（GRU）网络和超图卷积神经网络。GRU网络对历史数据进行时间序列建模，捕捉长期依赖关系；HGCN建模股票间的高阶关系以学习内在关系属性，从而将股票间多元关系信息引入到传统的时序建模中，进行端到端的趋势预测。在中国A股市场真实数据集上的实验结果表明，相较于已有的股票预测方法，所提模型预测性能有所提升；如与GRU网络相比，所提模型在ACC和F1_score上的相对增幅分别为9.74%和8.13%，且更具有稳定性。此外，模拟回测结果显示，基于该模型的交易策略更具获利能力，年回报率达到11.30%，与长短期记忆（LSTM）网络相比提高了5个百分点。
多标签文本分类（MLTC）是自然语言处理（NLP）领域的重要子课题之一。针对多个标签之间存在复杂关联性的问题，提出了一种融合BERT与标签语义注意力的MLTC方法TLA-BERT。首先，通过对自编码预训练模型进行微调，从而学习输入文本的上下文向量表示；然后，使用长短期记忆（LSTM）神经网络将标签进行单独编码；最后，利用注意力机制显性突出文本对每个标签的贡献，以预测多标签序列。实验结果表明，与基于序列生成模型（SGM）算法相比，所提出的方法在AAPD与RCV1-v2公开数据集上，F1值分别提高了2.8个百分点与1.5个百分点。
针对乳腺癌灶在磁共振成像（MRI）中呈现大小形状不一、边界模糊等特点，为避免误分割并提高分割精度，提出一种基于注意力机制的多尺度残差UNet分割算法。首先，利用多尺度残差单元替换UNet在下采样过程中的相邻两个卷积块以加强对形态大小差异的关注；接着，在上采样阶段使用跨层的注意力引导网络对重点区域的关注，避免造成对健康组织的误分割；最后，引入空洞空间金字塔池化作为分割网络的桥接模块以强化对病灶的表征能力。与UNet相比，所提算法在Dice系数、交并比（IoU）、特异度（SP）、准确度（ACC）等指标上分别提升了2.26、2.11、4.16、0.05个百分点。实验结果表明，所提算法能够提高癌灶分割精度，有效降低影像诊断的假阳性率。
针对基于循环神经网络（RNN）的深度知识追踪模型存在的可解释性不足和长序列依赖问题，提出一种融合注意力机制的时间卷积知识追踪（ATCKT）模型。首先，在训练阶段学习学生历史交互的嵌入表示；然后，使用基于题目的注意力机制学习特定权重矩阵，从而识别并强化学生的历史交互对每一时刻知识状态不同程度的影响；最后，使用时间卷积网络（TCN）提取学生动态变化的知识状态，在这个过程中利用扩张卷积和深层神经网络扩大序列学习范围，缓解长序列依赖问题。将ATCKT模型与深度知识追踪（DKT）、卷积知识追踪（CKT）等四种模型在ASSISTments2009、ASSISTments2015、Statics2011和Synthetic-5这4个数据集上进行对比实验，实验结果显示，所提模型的曲线下面积（AUC）和准确率（ACC）均有显著提升，尤其在ASSISTments2015数据集上表现最佳，分别提升了6.83~20.14个百分点和7.52~11.22个百分点，并且该模型的训练时间与DKT模型相比减少了26%。可见，所提模型可以更准确地捕捉学生的知识状态，更高效地预测学生未来的表现。
近年来，深度学习在很多领域得到广泛应用；然而，由于深度神经网络模型的高度非线性操作，导致其可解释性较差，并常常被称为“黑箱”模型，无法应用于一些对性能要求较高的关键领域；因此，对深度学习的可解释性开展研究是很有必要的。首先，简单介绍了深度学习；然后，围绕深度学习的可解释性，从隐层可视化、类激活映射（CAM）、敏感性分析、频率原理、鲁棒性扰动测试、信息论、可解释模块和优化方法这8个方面对现有研究工作进行分析；同时，展示了深度学习在网络安全、推荐系统、医疗和社交网络领域的应用；最后，讨论了深度学习可解释性研究存在的问题及未来的发展方向。
在深度学习领域中，大量正确标注的样本对于模型的训练和学习至关重要。然而，在实际的应用场景中，标注数据的成本很高，同时标注的样本质量会受人工标注的主观因素或工具技术的影响，在标注过程中无法避免标签噪声的产生。因此，现有的训练数据都存在一定的标签噪声，如何有效地训练带标签噪声的训练数据成为了研究的热点。围绕基于深度学习的标签噪声学习算法，首先详细阐述了标签噪声学习问题的来源、分类和影响；然后依照机器学习的不同要素分析了基于数据、损失函数、模型、训练方式的四种标签噪声学习策略；随后提供了各种应用场景下学习标签噪声问题的基础框架；最后，给出一些优化思路，并展望了标签噪声学习算法面临的挑战与未来的发展方向。
单目标跟踪是计算机视觉领域的一个重要研究方向，在视频监控、自动驾驶等领域应用广泛。对于单目标跟踪算法，尽管已有大量总结研究，但大多基于相关滤波或深度学习。近年来，基于孪生网络的跟踪算法因在精度和速度之间取得的平衡受到研究者们的广泛关注，然而目前对该类型算法的总结分析相对较少，并且对这些算法的架构层面缺少系统分析。为深入了解基于孪生网络的单目标跟踪算法，对大量相关文献进行了总结与分析。首先阐述孪生网络的结构和应用，并根据孪生跟踪算法架构组成的分类介绍了各跟踪算法；然后列举单目标跟踪领域常用的数据集和评价指标，对25个主流跟踪算法在OTB2015数据集上分别进行整体和各属性的性能比较与分析，并列出23个孪生跟踪算法在LaSOT和GOT-10K测试集上的性能以及推理时的速度；最后对基于孪生网络的目标跟踪算法的研究进行总结，并对未来的发展方向进行展望。
将用户感兴趣的事件从非结构化信息中提取出来，然后以结构化的方式展示给用户，这就是事件抽取。事件抽取在信息收集、信息检索、文档合成、信息问答等方面有着广泛应用。从全局出发，事件抽取算法可以分为基于模式匹配的算法、触发词法、基于本体的算法以及前沿联合模型方法这四类。在研究过程中根据相关需求可使用不同评价方法和数据集，而不同的事件表示方法也与事件抽取研究有一定联系；以任务类型区分，元事件抽取和主题事件抽取是事件抽取的两大基本任务。其中，元事件抽取有基于模式匹配、基于机器学习和基于神经网络这三种方式，而主题事件抽取有基于事件框架和基于本体两种方式。事件抽取研究在中英等单语言上均已取得了优秀成果，而跨语言事件抽取依然面临着许多问题。最后，总结了事件抽取的相关工作并提出未来研究方向，以期为后续研究提供参考。
针对麻雀搜索算法（SSA）容易陷入局部最优、收敛速度较慢等问题，提出一种基于Sobol序列和纵横交叉策略的麻雀搜索算法（SSASC）。首先，在初始化阶段引入类随机采样方法中的Sobol序列，以增强种群的多样性和遍历性；其次，提出一种指数形式的非线性惯性权重，从而提高算法的收敛效率；最后，应用纵横交叉策略对算法进行改进，即利用横向交叉增强全局搜索能力，利用纵向交叉保持种群的多样性并防止算法陷入局部最优。选取了13个基准函数进行仿真实验，同时使用Wilcoxon秩和检验和Friedman检验评价算法的性能。在与其他元启发式算法的对比实验中，将基准函数从10维扩展到100维，SSASC在平均值和标准差处始终优于其他算法。实验结果表明，该算法在收敛速度和求解准确度方面均取得了一定的优势。
针对课堂教学场景遮挡严重、学生众多，以及目前的视频行为识别算法并不适用于课堂教学场景，且尚无学生课堂行为的公开数据集的问题，构建了课堂教学视频库以及学生课堂行为库，提出了基于深度时空残差卷积神经网络的课堂教学视频中实时多人学生课堂行为识别算法。首先，结合实时目标检测和跟踪，得到每个学生的实时图片流；接着，利用深度时空残差卷积神经网络对每个学生行为的时空特征进行学习，从而实现课堂教学场景中面向多学生目标的课堂行为的实时识别；此外，构建了智能教学评估模型，并设计实现了基于学生课堂行为识别的智能教学评估系统，助力教学质量的提升，以实现智慧教育。通过在课堂教学视频数据集上进行实验对比与分析，验证了提出的课堂教学视频中实时多人学生课堂行为识别模型能够达到88.5%的准确率，且所构建的基于课堂行为识别的智能教学评估系统在课堂教学视频数据集上也已取得较好的运行效果。
