大语言模型(LLM)是由具有大量参数(通常数十亿个权重或更多)的人工神经网络组成的一类语言模型,使用自监督学习或半监督学习对大量未标记文本进行训练,是当前生成式人工智能(AI)技术的核心。与传统语言模型相比,LLM通过大量的算力、参数和数据支持,展现出更强的语言理解与生成能力,广泛应用于机器翻译、问答系统、对话生成等众多任务中并表现卓越。现有的综述大多侧重于LLM的理论架构与训练方法,对LLM的产业级应用实践及技术生态演进的系统性探讨仍显不足。因此,在介绍LLM的基础架构、训练技术及发展历程的基础上,分析当前通用的LLM关键技术和以LLM为底座的先进融合技术。通过归纳总结现有研究,进一步阐述LLM在实际应用中面临的挑战,包括数据偏差、模型幻觉和计算资源消耗等问题,并对LLM的持续发展趋势进行展望。
针对深度事件检测模型对复杂时序事件检测准确性不足和忽略了不同事件间相关性的问题,提出一种基于信号时态逻辑的深度时序事件检测算法DSTL (Deep Signal Temporal Logic)。该算法一方面引入信号时态逻辑框架,并用信号时态逻辑(STL)公式建模时间序列中的事件来综合考虑时间序列上事件的逻辑性和时态性;另一方面采用基于神经网络的基础分类器来检测原子事件的发生情况,并通过STL公式结构和语义来辅助检测复杂事件。另外,使用神经网络模块替代相应的逻辑连接词和时态逻辑算子,从而提供可GPU加速和梯度下降的神经网络模块。通过对6个时间序列数据集的实验,验证了该算法在时序事件检测方面的有效性,并把使用DSTL算法的模型与不使用该算法而使用多层感知机(MLP)、长短期记忆(LSTM)网络和Transformer的深度时间序列分类模型进行比较。实验结果表明,使用DSTL算法的模型在5种事件上的平均F1分数提升了约12%,其中3种跨时间点事件上的平均F1分数提升了约14%,且具备更好的可解释性。
针对遥感图像目标尺寸小、目标方向任意和背景复杂等问题,在YOLOv5算法的基础上,提出一种基于几何适应与全局感知的遥感图像目标检测算法。首先,将可变形卷积与自适应空间注意力模块通过密集连接交替串联堆叠,在充分利用不同层级的语义和位置信息基础上,构建一个能够建模局部几何特征的密集上下文感知模块(DenseCAM);其次,在骨干网络末端引入Transformer,以较低的开销增强模型的全局感知能力,实现目标与场景内容的关系建模。在UCAS-AOD和RSOD数据集上与YOLOv5s6算法相比,所提算法的平均精度均值(mAP)分别提高1.8与1.5个百分点。实验结果表明,所提算法能够有效提高遥感图像目标检测的精度。
在深度学习领域中,大量正确标注的样本对于模型的训练和学习至关重要。然而,在实际的应用场景中,标注数据的成本很高,同时标注的样本质量会受人工标注的主观因素或工具技术的影响,在标注过程中无法避免标签噪声的产生。因此,现有的训练数据都存在一定的标签噪声,如何有效地训练带标签噪声的训练数据成为了研究的热点。围绕基于深度学习的标签噪声学习算法,首先详细阐述了标签噪声学习问题的来源、分类和影响;然后依照机器学习的不同要素分析了基于数据、损失函数、模型、训练方式的四种标签噪声学习策略;随后提供了各种应用场景下学习标签噪声问题的基础框架;最后,给出一些优化思路,并展望了标签噪声学习算法面临的挑战与未来的发展方向。
随着深度学习的发展和成熟,神经机器翻译的质量也越来越高,然而仍不完美,为了达到可接受的翻译效果,需要人工进行后期编辑。交互式机器翻译(IMT)是这种串行工作的一个替代,即在翻译过程中进行人工互动,由用户对翻译系统产生的候选翻译进行验证,并且,如有必要,由用户提供新的输入,系统根据用户当前的反馈生成新的候选译文,如此往复,直到产生一个使用户满意的输出。首先,介绍了IMT的基本概念以及当前的研究进展;然后,分类对一些常用方法和前沿工作加以介绍,并简述每个工作的背景和创新之处;最后,探讨了IMT的发展趋势和研究难点。
针对多无人机(UAV)协同航迹规划中因编队队形约束而忽略部分较窄通道的问题,提出了一种基于自适应分布式模型预测控制的快速粒子群优化(ADMPC-FPSO)方法。该方法利用领航跟随法和虚拟结构法相结合的编队策略构造出虚拟编队引导点,以完成自适应编队协同控制任务。根据模型预测控制的思想,结合分布式控制方法,将协同航迹规划转化为滚动在线优化问题,且以最小距离等性能指标为代价函数。通过设计评价函数准则,使用变权重快速粒子群优化算法对问题进行求解。仿真结果表明,通过所提算法能够有效实现多无人机协同航迹规划,并可根据环境变化快速完成自适应编队变换,同时较传统编队策略代价更低。
脓毒症是一种由细菌等病原微生物引发的医疗紧急状况,严重时可危及生命,因此早期诊断和及时治疗至关重要。近年来,机器学习技术在脓毒症的早期预测和治疗策略方面展现出巨大的潜力。通过综合多源数据,机器学习模型能精确评估患者的风险并自动识别高风险的个体,从而实现对脓毒症的早期诊断。此外,机器学习还能辅助医生制定个性化治疗方案。然而,基于机器学习方法的临床应用目前仍面临一系列挑战,如数据标准化、模型可解释性以及医疗人员的接受度等。因此,针对基于机器学习的脓毒症预测与干预决策方法进行了系统综述。首先,介绍了脓毒症预测与干预决策的基础流程和框架;接着,系统性地概括了基于机器学习的脓毒症预测与干预决策的方法、相关数据及评价指标;然后,详细总结了机器学习方法在脓毒症相关临床方面的具体应用;最后,总结了目前该领域面临的主要挑战,并展望了未来的发展趋势。