• • 下一篇
李晓丽,邓启鹏,杭波
摘要: 联邦学习的实际部署受限于客户端在数据与系统层面的双重异构性,即数据非独立同分布与系统资源差异,这种现象同时制约了训练效率与全局模型的性能表现。客户端选择策略是解决上述问题的重要手段。然而,现有客户端选择策略多关注单一异构维度,对动态变化的客户端环境适应性不足。为应对联邦学习中客户端计算资源、网络状态的动态变化,以及数据与系统的双重异构问题,借鉴服务计算“万物即服务”范式,提出一种面向双重异构性的服务定义联邦学习客户端选择算法FedQos。首先,该算法将联邦学习客户端重构为可编排、可度量的AI微服务单元,通过服务质量感知调度算法动态评估客户端响应时间,并优先选择系统可靠性高的客户端以克服系统异构性。其次,通过计算候选客户端本地数据与全局模型的互信息来量化客户端数据的潜在价值,并选择具有更大潜在价值的客户端以提升收敛速度。同时,在客户端本地训练时融入了基于信息论的正则化方法,以应对数据异构性,提升联邦学习模型的泛化性能。在CIFAR-10数据集上的实验结果表明,FedQos算法的测试准确率相较于基准算法最高可提升4.62个百分点,而且在训练效率方面,该算法在所有测试场景下完成相同训练轮次所需的累计时间均为最短。
中图分类号: