在强调数据确权以及隐私保护的时代背景下,联邦学习作为一种新的机器学习范式,能够在不暴露各方数据的前提下达到解决数据孤岛以及隐私保护问题的目的。目前,基于联邦学习的建模方法已成为主流并且获得了很好的效果,因此对联邦学习的概念、技术、应用和挑战进行总结与分析具有重要的意义。首先,阐述了机器学习的发展历程以及联邦学习出现的必然性,并给出联邦学习的定义与分类;其次,介绍并分析了目前业界认可的三种联邦学习方法:横向联邦学习、纵向联邦学习和联邦迁移学习;然后,针对联邦学习的隐私保护问题,归纳并总结了目前常见的隐私保护技术;此外,还对联邦学习的现有主流开源框架进行了介绍与对比,同时给出了联邦学习的应用场景;最后,展望了联邦学习所面临的挑战和未来的研究方向。
随着网络应用的不断发展,网络资源呈指数型增长,信息过载现象日益严重,如何高效获取符合需求的资源成为困扰人们的问题之一。推荐系统能对海量信息进行有效过滤,为用户推荐符合其需求的资源。对推荐系统的研究现状进行详细介绍,包括基于内容的推荐、协同过滤推荐和混合推荐这三种传统推荐方式,并重点分析了基于卷积神经网络(CNN)、深度神经网络(DNN)、循环神经网络(RNN)和图神经网络(GNN)这四种常见的深度学习推荐模型的研究进展;归纳整理了推荐领域常用的数据集,同时分析对比了传统推荐算法和基于深度学习的推荐算法的差异。最后,总结了实际应用中具有代表性的推荐模型,讨论了推荐系统面临的挑战和未来的研究方向。
为了解决数据共享需求与隐私保护要求之间不可调和的矛盾,联邦学习应运而生。联邦学习作为一种分布式机器学习,其中的参与方与中央服务器之间需要不断交换大量模型参数,而这造成了较大通信开销;同时,联邦学习越来越多地部署在通信带宽有限、电量有限的移动设备上,而有限的网络带宽和激增的客户端数量会使通信瓶颈加剧。针对联邦学习的通信瓶颈问题,首先分析联邦学习的基本工作流程;然后从方法论的角度出发,详细介绍基于降低模型更新频率、模型压缩、客户端选择的三类主流方法和模型划分等特殊方法,并对具体优化方案进行深入的对比分析;最后,对联邦学习通信开销技术研究的发展趋势进行了总结和展望。
多模态医学图像可以为临床医生提供靶区(如肿瘤、器官或组织)的丰富信息。然而,由于多模态图像之间相互独立且仅有互补性,如何有效融合多模态图像并进行分割仍是亟待解决的问题。传统的图像融合方法难以有效解决此问题,因此基于深度学习的多模态医学图像分割算法得到了广泛的研究。从原理、技术、问题及展望等方面对基于深度学习的多模态医学图像分割任务进行了综述。首先,介绍了深度学习与多模态医学图像分割的一般理论,包括深度学习与卷积神经网络(CNN)的基本原理与发展历程,以及多模态医学图像分割任务的重要性;其次,介绍了多模态医学图像分割的关键概念,包括数据维度、预处理、数据增强、损失函数以及后处理等;接着,对基于不同融合策略的多模态分割网络进行综述,对不同方式的融合策略进行分析;最后,对医学图像分割过程中常见的几个问题进行探讨,并对今后研究作了总结与展望。
近年来,联邦学习成为解决机器学习中数据孤岛与隐私泄露问题的新思路。联邦学习架构不需要多方共享数据资源,只要参与方在本地数据上训练局部模型,并周期性地将参数上传至服务器来更新全局模型,就可以获得在大规模全局数据上建立的机器学习模型。联邦学习架构具有数据隐私保护的特质,是未来大规模数据机器学习的新方案。然而,该架构的参数交互方式可能导致数据隐私泄露。目前,研究如何加强联邦学习架构中的隐私保护机制已经成为新的热点。从联邦学习中存在的隐私泄露问题出发,探讨了联邦学习中的攻击模型与敏感信息泄露途径,并重点综述了联邦学习中的几类隐私保护技术:以差分隐私为基础的隐私保护技术、以同态加密为基础的隐私保护技术、以安全多方计算(SMC)为基础的隐私保护技术。最后,探讨了联邦学习中隐私保护中的若干关键问题,并展望了未来研究方向。
预训练模型(PTM)通过利用复杂的预训练目标和大量的模型参数,可以有效地获得无标记数据中的丰富知识。而在多模态中,PTM的发展还处于初期。根据具体模态的不同,将目前大多数的多模态PTM分为图像?文本PTM和视频?文本PTM;根据数据融合方式的不同,还可将多模态PTM分为单流模型和双流模型两类。首先,总结了常见的预训练任务和验证实验所使用的下游任务;接着,梳理了目前多模态预训练领域的常见模型,并用表格列出各个模型的下游任务以及模型的性能和实验数据比较;然后,介绍了M6(Multi-Modality to Multi-Modality Multitask Mega-transformer)模型、跨模态提示调优(CPT)模型、VideoBERT(Video Bidirectional Encoder Representations from Transformers)模型和AliceMind(Alibaba’s collection of encoder-decoders from Mind)模型在具体下游任务中的应用场景;最后,总结了多模态PTM相关工作面临的挑战以及未来可能的研究方向。
目前,医学图像分割模型广泛采用基于全卷积网络(FCN)的U型网络(U-Net)作为骨干网,但卷积神经网络(CNN)在捕捉长距离依赖能力上的劣势限制了分割模型性能的进一步提升。针对上述问题,研究者们将Transformer应用到医学图像分割模型中以弥补CNN的不足,结合Transformer和U型结构的分割网络成为研究热点之一。在详细介绍U-Net和Transformer之后,按医学图像分割模型中Transformer模块所处的位置,包括仅在编码器或解码器、同时在编码器和解码器、作为过渡连接和其他位置进行分类,讨论各模型的基本内容、设计理念以及可改进的地方,并分析了Transformer处于不同位置的优缺点。根据分析结果可知,决定Transformer所在位置的最大因素是目标分割任务的特点,而且Transformer结合U-Net的分割模型能更好地利用CNN和Transformer各自的优势,提高模型的分割性能,具有较大的发展前景和研究价值。
随着深度学习的广泛应用,人类越来越依赖于大量采用深度学习技术的复杂系统,然而,深度学习模型的黑盒特性对其在关键任务应用中的使用提出了挑战,引发了道德和法律方面的担忧,因此,使深度学习模型具有可解释性是使它们令人信服首先要解决的问题。于是,关于可解释的人工智能领域的研究应运而生,主要集中于向人类观察者明确解释模型的决策或行为。对深度学习可解释性的研究现状进行综述,为进一步深入研究建立更高效且具有可解释性的深度学习模型确立良好的基础。首先,对深度学习可解释性进行了概述,阐明可解释性研究的需求和定义;然后,从解释深度学习模型的逻辑规则、决策归因和内部结构表示这三个方面出发介绍了几种可解释性研究的典型模型和算法,另外还指出了三种常见的内置可解释模型的构建方法;最后,简单介绍了忠实度、准确性、鲁棒性和可理解性这四种评价指标,并讨论了深度学习可解释性未来可能的发展方向。
随着传感器网络和全球定位系统等技术的进步,兼有时间与空间特性的气象数据体量呈爆炸式增长,针对时空序列预测(STSF)的深度学习模型研究得到了迅猛发展。然而,长期以来用于天气预报的传统机器学习方法在提取数据的时间相关性与空间依赖性方面的效果往往并不理想。与此同时,深度学习方法通过人工神经网络自动提取特征,可以有效提高天气预报的准确度,并且在编码长期空间信息的建模方面有相当优秀的效果。同时,由观测数据驱动的深度学习模型与基于物理理论的数值天气预报(NWP)模型结合的方式可以构建拥有更高预测精度与更长预报时间的混合模型。基于这些,将深度学习在天气预报领域的应用分析及研究进展进行了综述。首先,将天气预报领域的深度学习问题与经典深度学习问题从数据格式、问题模型与评价指标这3个方面进行了对比研究;然后,回顾了深度学习在天气预报领域的发展历程与应用现状,并总结分析了深度学习技术与NWP结合的最新进展;最后,展望了未来的发展方向和研究重点,为天气预报领域的深度学习研究提供参考。
虚拟数字货币为恐怖分子融资、洗钱、毒品交易等犯罪活动提供了温床,而门罗币作为新兴数字货币的代表,具有公认的高匿名性。针对利用门罗币匿名性犯罪的问题,从技术角度探索门罗币匿名技术及其追踪技术,综述近年来的研究进展,从而为有效应对基于区块链技术的犯罪提供技术支持。具体来说,总结了门罗币匿名技术的演进,并梳理了学术界关于门罗币匿名技术的追溯对策。首先,在匿名技术中,介绍了环签名、保证不可链接性(一次性公钥)、保证不可追溯性、提高匿名性的重要版本升级等。然后,在追踪技术中,介绍了0-mixin攻击、输出合并攻击、最新猜测攻击、封闭集攻击、泛洪攻击、恶意远程节点攻击、钱包环攻击等攻击方法。最后,基于对匿名技术和追溯对策的分析,得出了四点结论:门罗币的匿名技术和追踪技术的发展相互促进;RingCT的应用是一把双刃剑,既使得从币值出发的被动攻击方法失效,也使得主动攻击方法更加容易奏效;输出合并攻击和0-mixin攻击具有互补作用;门罗币的系统安全链条仍待理顺。
随着信息化技术不断提高,时序数据规模呈指数级增长,为时间序列异常检测算法发展提供了契机和挑战,也使其逐步成为数据分析领域新增的研究热点。然而,这一方面的研究仍处于初步阶段,研究工作的系统性不强。为此,通过整理和分析国内外文献,将多维时间序列异常检测的研究内容按照逻辑顺序分为“维数约简”“时间序列模式表示”和“异常模式发现”三个方面,并对其主流算法进行梳理和归纳,以全面展现当前异常检测的研究现状和特点。在此基础上,还指出了多维时间序列异常检测算法的研究难点和研究趋势,以期对相关理论和应用研究提供有益的参考。
解耦表征学习旨在对影响数据形态的关键因素进行建模,使得某一关键因素的变化仅仅引起数据在某项特征上的变化,而其他的特征不受影响,这有利于应对机器学习在模型可解释性、对象生成和操作以及零样本学习等问题上的挑战,因此解耦表征学习一直是机器学习领域的一个研究热点。从解耦表征学习的历史与动机入手,对解耦表征学习的研究现状以及应用进行归纳总结,分析了解耦表征所具有的不变性、复用性等特性,介绍了基于生成解耦表征变差因素的研究、基于流形相互作用解耦表征变差因素的研究、基于对抗性训练解耦表征变差因素的研究,以及一种变分自编码器β-VAE的研究等最新研究动态。同时,阐述了解耦表征学习的典型应用,并对未来的研究方向作出了展望。
近年来,深度学习在很多领域得到广泛应用;然而,由于深度神经网络模型的高度非线性操作,导致其可解释性较差,并常常被称为“黑箱”模型,无法应用于一些对性能要求较高的关键领域;因此,对深度学习的可解释性开展研究是很有必要的。首先,简单介绍了深度学习;然后,围绕深度学习的可解释性,从隐层可视化、类激活映射(CAM)、敏感性分析、频率原理、鲁棒性扰动测试、信息论、可解释模块和优化方法这8个方面对现有研究工作进行分析;同时,展示了深度学习在网络安全、推荐系统、医疗和社交网络领域的应用;最后,讨论了深度学习可解释性研究存在的问题及未来的发展方向。
在深度学习领域中,大量正确标注的样本对于模型的训练和学习至关重要。然而,在实际的应用场景中,标注数据的成本很高,同时标注的样本质量会受人工标注的主观因素或工具技术的影响,在标注过程中无法避免标签噪声的产生。因此,现有的训练数据都存在一定的标签噪声,如何有效地训练带标签噪声的训练数据成为了研究的热点。围绕基于深度学习的标签噪声学习算法,首先详细阐述了标签噪声学习问题的来源、分类和影响;然后依照机器学习的不同要素分析了基于数据、损失函数、模型、训练方式的四种标签噪声学习策略;随后提供了各种应用场景下学习标签噪声问题的基础框架;最后,给出一些优化思路,并展望了标签噪声学习算法面临的挑战与未来的发展方向。
单目标跟踪是计算机视觉领域的一个重要研究方向,在视频监控、自动驾驶等领域应用广泛。对于单目标跟踪算法,尽管已有大量总结研究,但大多基于相关滤波或深度学习。近年来,基于孪生网络的跟踪算法因在精度和速度之间取得的平衡受到研究者们的广泛关注,然而目前对该类型算法的总结分析相对较少,并且对这些算法的架构层面缺少系统分析。为深入了解基于孪生网络的单目标跟踪算法,对大量相关文献进行了总结与分析。首先阐述孪生网络的结构和应用,并根据孪生跟踪算法架构组成的分类介绍了各跟踪算法;然后列举单目标跟踪领域常用的数据集和评价指标,对25个主流跟踪算法在OTB2015数据集上分别进行整体和各属性的性能比较与分析,并列出23个孪生跟踪算法在LaSOT和GOT-10K测试集上的性能以及推理时的速度;最后对基于孪生网络的目标跟踪算法的研究进行总结,并对未来的发展方向进行展望。
将用户感兴趣的事件从非结构化信息中提取出来,然后以结构化的方式展示给用户,这就是事件抽取。事件抽取在信息收集、信息检索、文档合成、信息问答等方面有着广泛应用。从全局出发,事件抽取算法可以分为基于模式匹配的算法、触发词法、基于本体的算法以及前沿联合模型方法这四类。在研究过程中根据相关需求可使用不同评价方法和数据集,而不同的事件表示方法也与事件抽取研究有一定联系;以任务类型区分,元事件抽取和主题事件抽取是事件抽取的两大基本任务。其中,元事件抽取有基于模式匹配、基于机器学习和基于神经网络这三种方式,而主题事件抽取有基于事件框架和基于本体两种方式。事件抽取研究在中英等单语言上均已取得了优秀成果,而跨语言事件抽取依然面临着许多问题。最后,总结了事件抽取的相关工作并提出未来研究方向,以期为后续研究提供参考。
自动驾驶场景下的目标检测是计算机视觉中重要研究方向之一,确保自动驾驶汽车对物体进行实时准确的目标检测是研究重点。近年来,深度学习技术迅速发展并被广泛应用于自动驾驶领域中,极大促进了自动驾驶领域的进步。为此,针对YOLO(You Only Look Once)算法在自动驾驶领域中的目标检测研究现状,从以下4个方面分析。首先,总结单阶段YOLO系列检测算法思想及其改进方法,分析YOLO系列算法的优缺点;其次,论述YOLO算法在自动驾驶场景下目标检测中的应用,从交通车辆、行人和交通信号识别这3个方面分别阐述和总结研究现状及应用情况;此外,总结目标检测中常用的评价指标、目标检测数据集和自动驾驶场景数据集;最后,展望目标检测存在的问题和未来发展方向。
不平衡数据分类是机器学习领域的重要研究内容,但现有的不平衡分类算法通常针对不平衡二分类问题,关于不平衡多分类的研究相对较少。然而实际应用中的数据集通常具有多类别且数据分布具有不平衡性,而类别的多样性进一步加剧了不平衡数据的分类难度,因此不平衡多分类问题已经成为亟待解决的研究课题。针对近年来提出的不平衡多分类算法展开综述,根据是否采用分解策略把不平衡多分类算法分为分解方法和即席方法,并进一步将分解方法按照分解策略的不同划分为“一对一(OVO)”架构和“一对多(OVA)”架构,将即席方法按照处理技术的不同分为数据级方法、算法级方法、代价敏感方法、集成方法和基于深度网络的方法。系统阐述各类方法的优缺点及其代表性算法,总结概括不平衡多分类方法的评价指标,并通过实验深入分析代表性方法的性能,讨论了不平衡多分类的未来发展方向。