近年来,生成对抗网络(GAN)被广泛应用于数据增强,能有效缓解训练样本不足的问题,对模型训练具有重要研究意义。然而,现有用于数据增强的GAN模型存在对数据集要求高和模型收敛不稳定等问题,导致生成的图像易出现失真和形变。因此,提出一种基于动态上采样的轻量级GAN——DU-FastGAN(Dynamic-Upsample-FastGAN)进行数据增强。首先,通过动态上采样模块构建生成器,使生成器能够根据当前特征图的大小采用不同粒度的上采样方法,从而重建纹理,提高合成的整体结构和局部细节的质量;其次,为了使模型能够更好地获取图像的全局信息流,提出权重信息跳跃连接模块,以减小卷积及池化操作对特征的扰动,提高模型对不同特征的学习能力,使得模型生成图像的细节更逼真;最后,给出特征丢失损失函数,通过计算采样过程中对应特征图之间的相对距离提高模型生成质量。实验结果表明,相较于FastGAN、MixDL(Mixup-based Distance Learning)和RCL-master(Reverse Contrastive Learning-master)等方法,DU-FastGAN在10个小数据集上的FID(Fréchet Inception Distance)的最大降幅达到23.47%,能够有效缓解生成图像的失真和形变问题,并提高了生成图像的质量;同时,DU-FastGAN的模型训练时间在600 min内,实现了轻量级开销。
供应链在发展过程中面临许多挑战,包括如何保证产品溯源过程中信息的真实可靠性以及溯源系统的安全性、物流运输过程中产品的安全性,以及中小企业融资过程中的信任管理等。区块链的去中心化、不可篡改、可追溯性等特点为供应链管理提供了高效的解决办法,但在实际实施过程中存在一些技术挑战。为研究区块链技术在供应链中的应用,对一些典型的应用进行讨论与分析。首先简要介绍了供应链的概念及目前面临的挑战;其次阐述了区块链在信息流、物流以及资金流这三个供应链领域中面临的问题,并对相关解决方案作了对比分析;最后对区块链在供应链实际应用中面临的技术挑战加以总结,对未来的应用进行展望。
针对现有对齐多模态语言序列情感分析方法常用的单词对齐方法缺乏可解释性的问题,提出了一种用于未对齐多模态语言序列情感分析的多交互感知网络(MultiDAN)。MultiDAN的核心是多层的、多角度的交互信息提取。首先使用循环神经网络(RNN)和注意力机制捕捉模态内的交互信息;然后,使用图注意力网络(GAT)一次性提取模态内及模态间的、长短期的交互信息;最后,使用特殊的图读出方法,再次提取图中节点的模态内及模态间交互信息,得到多模态语言序列的唯一表征,并应用多层感知机(MLP)分类获得序列的情感分数。在两个常用公开数据集CMU-MOSI和CMU-MOSEI上的实验结果表明,MultiDAN能充分提取交互信息,在未对齐的两个数据集上MultiDAN的F1值比对比方法中最优的模态时空注意图(MTAG)分别提高了0.49个和0.72个百分点,具有较高的稳定性。MultiDAN可以提高多模态语言序列的情感分析性能,且图神经网络(GNN)能有效提取模态内、模态间的交互信息。
个性化学习推荐是智慧教育领域的重要研究课题,它的核心目标是利用推荐算法和模型为学习者提供与他们的个人学习需求、兴趣、能力和历史相匹配的有效学习资源,从而提高学习者的学习效果。目前的推荐方法存在冷启动、数据稀疏、可解释性差和过度个性化等问题,而知识图谱与大语言模型的结合为解决上述问题提供了有力支持。首先,对个性化学习推荐的概念、研究现状等内容进行概述;其次,分别讨论知识图谱和大语言模型(LLM)的概念以及在个性化学习推荐中的具体应用;再次,总结知识图谱与LLM在个性化学习推荐中协同应用的方法;最后,展望知识图谱和LLM在个性化学习推荐中的未来发展方向,从而为个性化学习推荐领域的持续发展和创新实践提供借鉴和启示。
雷达自动目标识别(RATR)在军事和民用领域中都有广泛的应用。由于集成学习通过集成已有的机器学习模型改善模型分类性能,具有较好的鲁棒性,因此被越来越多地应用于雷达目标检测与识别领域。系统梳理和提炼现有相关文献对集成学习在RATR中的研究进展。首先,介绍集成学习的概念、框架与发展历程,将集成学习与传统机器学习、深度学习方法对比,并总结集成学习理论和常见集成学习方法的优势、不足及研究的主要聚焦点;其次,简述RATR的概念;接着,重点阐述集成学习在不同雷达图像分类特征中的应用,详细讨论基于合成孔径雷达(SAR)和高分辨距离像(HRRP)的目标检测与识别方法,并总结这些方法的研究进展和应用成效;最后,讨论RATR以及集成学习所面临的挑战,并对集成学习在雷达目标识别领域的应用进行展望。
环境、社会及治理(ESG)指标是评估企业可持续发展的重要指标。现有的ESG评估体系存在覆盖范围狭窄、主观性强和时效性差等问题,因此,迫切需要研究能利用企业数据准确预测ESG指标的预测模型。针对企业数据中ESG关联特征存在信息丰度不一致的问题,提出一种基于丰度协调技术的企业ESG指标预测模型RCT (Richness Coordination Transformer),其中上游丰度协调模块通过自编码器协调异质丰度特征,从而提高下游模块的ESG指标预测性能。在真实数据集上的实验结果表明,与模型时间卷积网络(TCN)、长短期记忆(LSTM)网络、自注意力模型(Transformer)、极限梯度提升(XGBoost)和轻量级梯度提升机(LightGBM)相比,RCT模型在各项预测指标上均表现最优,验证了RCT模型在预测ESG指标上的有效性和优越性。
针对现有的试卷生成技术存在过多关注生成试卷的难易程度,而忽略了其他相关目标,例如质量、分数分布和技能覆盖范围的问题,提出一种强化学习和矩阵补全引导的多目标试卷生成方法,以优化试卷生成领域的特定目标。首先,运用深度知识追踪方法对学生之间的交互信息和响应日志进行建模以获取学生群体的技能熟练程度;其次,运用矩阵分解和矩阵补全方法对学生未做的习题进行得分预测;最后,基于多目标试卷生成策略,为提升Q网络的更新效率,设计一个Exam Q-Network函数逼近器以自动地选择合适的问题集来更新试卷组成。实验结果表明,相较于DEGA (Diseased-Enhanced Genetic Algorithm)、SSA-GA (Sparrow Search Algorithm - Genetic Algorithm)等模型,在试卷难度、合理性、准确性这3个指标上验证了所提模型在解决试卷生成场景的多重困境方面上效果显著。
为了缩短数字孪生(DT)系统迭代和维护的时间,并降低DT系统的演进成本,探索将开发运维一体化(DevOps)方法论融入DT系统的潜力,并提出一种创新的DT系统DevOps(DTOps)实践。针对DT系统的特定需求和特性,设计面向服务的系统架构,提升系统的可扩展性与敏捷性,并给出DTOps的主要基础设施和持续集成(CI)以及持续交付(CD)的实现方法。在齿轮生产线的案例研究中,采用开源技术工具验证DTOps的各个环节,展示DTOps实现的可行性与便捷性。实验研究结果表明,DTOps相较于单体架构和微服务架构,演进效率分别提升了29.7%和26.9%,尤其在高度集成和数据密集的环境中效果显著,验证了DTOps在工程应用中的有效性。
分层联邦学习中隐私安全与资源消耗等问题的存在降低了参与者的积极性。为鼓励足够多的参与者积极参与学习任务,并针对多移动设备与多边缘服务器之间的决策问题,提出基于多领导者Stackelberg博弈的激励机制。首先,通过量化移动设备的成本效用与边缘服务器的支付报酬,构建效用函数并定义最优化问题;其次,将移动设备之间的交互建模为演化博弈,将边缘服务器之间的交互建模为非合作博弈。为求解最优边缘服务器选择和定价策略,提出多轮迭代边缘服务器选择算法(MIES)和梯度迭代定价算法(GIPA),前者用于求解移动设备之间的演化博弈均衡解,后者用于求解边缘服务器之间的定价竞争问题。实验结果表明,所提算法GIPA与最优定价预测策略(OPPS)、历史最优定价策略(HOPS)和随机定价策略(RPS)相比,可使边缘服务器的平均效用分别提高4.06%、10.08%和31.39%。
知识追踪(KT)是一种认知诊断方法,旨在通过学习者的历史答题记录,模拟学习者对于学习知识的掌握程度,最终预测学习者未来的答题情况。目前基于深度神经网络模型的知识追踪技术以强大的特征提取能力和优越的预测能力成为知识追踪领域研究的热点;然而,基于深度学习的知识追踪模型通常缺乏较好的可解释性。清晰的可解释性不仅可以让学习者和教师充分理解知识追踪模型的推理过程和预测结果,从而为下一步学习制定符合当前知识状态的学习计划,还能够提升学习者和教师对知识追踪模型的信任程度。因此,对可解释的深度知识追踪(DKT)方法进行综述。首先,介绍知识追踪的发展历程,并介绍可解释性的定义和必要性;其次,从特征提取和模型内部提升两方面,对解决DKT模型缺乏可解释性而提出的改进方法进行总结和梳理;再次,介绍现有的可供研究者使用的相关公开数据集,并分析数据集内的数据特征对可解释性的影响,从而探讨如何从模型性能和可解释性两个方面对知识追踪模型进行评价,并整理DKT模型在不同数据集上的性能表现;最后,对DKT模型目前存在的问题提出一些未来可能的研究方向。
针对交通路口图像复杂,小目标难测且目标之间易遮挡以及天气和光照变化引发的颜色失真、噪声和模糊等问题,提出一种基于YOLOv9(You Only Look Once version 9)的交通路口图像的多目标检测算法ITD-YOLOv9(Intersection Target Detection-YOLOv9)。首先,设计CoT-CAFRNet (Chain-of-Thought prompted Content-Aware Feature Reassembly Network)图像增强网络,以提升图像质量,并优化输入特征;其次,加入通道自适应特征融合(iCAFF)模块,以增强小目标及重叠遮挡目标的提取能力;再次,提出特征融合金字塔结构BiHS-FPN (Bi-directional High-level Screening Feature Pyramid Network),以增强多尺度特征的融合能力;最后,设计IF-MPDIoU (Inner-Focaler-Minimum Point Distance based Intersection over Union)损失函数,以通过调整变量因子,聚焦关键样本,并增强泛化能力。实验结果表明,在自制数据集和SODA10M数据集上,ITD-YOLOv9算法的检测精度分别为83.8%和56.3%,检测帧率分别为64.8 frame/s和57.4 frame/s。与YOLOv9算法相比,ITD-YOLOv9算法的检测精度分别提升了3.9和2.7个百分点。可见,所提算法有效实现了交通路口的多目标检测。
现有机器学习方法在面对零日攻击检测时,存在对样本数据过度依赖以及对异常数据不敏感的问题,从而导致入侵检测系统(IDS)难以有效防御零日攻击。因此,提出一种基于Transformer和自适应模糊神经网络推理系统(ANFIS)的混合车联网入侵检测系统。首先,设计了一种数据增强算法,通过先去除噪声再生成的方法解决了数据样本不平衡的问题;其次,将非线性特征交互引入复杂的特征组合,设计了一个特征工程模块;最后,将Transformer的自注意力机制和ANFIS的自适应学习方法相结合,以提高特征表征能力,减少对样本数据的依赖。在CICIDS-2017和UNSW-NB15入侵数据集上将所提系统与Dual-IDS等先进(SOTA)算法进行比较。实验结果表明,对于零日攻击,所提系统在CICIDS-2017入侵数据集上实现了98.64%的检测精确率和98.31%的F1值,在UNSW-NB15入侵数据集上实现了93.07%的检测精确率和92.43%的F1值,验证了所提算法在零日攻击检测方面的高准确性和强泛化能力。
现有的知识追踪(KT)模型未能有效利用学习行为信息,且忽略了不同学习行为对答题表现的贡献差异。因此,提出一种学习行为增强的知识追踪(LBBKT)模型。该模型采用门控残差网络(GRN)将学生的学习行为特征编码成4种上下文向量并把它们融入模型中,从而充分利用学习行为信息(答题速度、尝试次数和提示)更好地建模学生的学习过程。此外,利用变量选择网络对学生的学习行为特征进行选择性加权,并通过GRN抑制不相关特征的干扰,以增强相关特征对学生答题表现的影响,从而充分考虑不同学习行为对学生答题表现的差异性贡献。在多个公开数据集上的实验结果表明,LBBKT模型在预测准确性上显著优于对比的KT模型。
针对联邦学习(FL)系统中普遍存在的恶意后门攻击行为,以及现有防御方案难以在隐私保护与模型训练的高准确率之间取得平衡的难题,探索FL中的后门攻击及其防御方法,提出一种名为GKFL (Generative Knowledge-based Federated Learning)的安全高效集成方案用于检测后门攻击并修复受损模型。该方案无需访问参与方的原始隐私数据,通过中央服务器生成检测数据检测联邦学习中的聚合模型是否遭受后门入侵,并采用知识蒸馏技术恢复受损模型,从而确保模型的完整性和准确性。在数据集MNIST和Fashion-MNIST上的实验结果表明,GKFL的总体性能均优于经典方案FoolsGold、GeoMed和RFA (Robust Federated Aggregation);GKFL比FoolsGold更能保护数据的隐私。可见,GKFL方案拥有检测后门攻击及修复受损模型的能力,并在模型中毒准确率和模型主任务准确率上明显优于对比方案。
在无人机(UAV)集群攻击地面目标时,UAV集群将分为两个编队:主攻目标的打击型UAV集群和牵制敌方的辅助型UAV集群。当辅助型UAV集群选择激进进攻或保存实力这两种动作策略时,任务场景类似于公共物品博弈,此时合作者的收益小于背叛者。基于此,提出一种基于深度强化学习的UAV集群协同作战决策方法。首先,通过建立基于公共物品博弈的UAV集群作战模型,模拟智能化UAV集群在合作中个体与集体间的利益冲突问题;其次,利用多智能体深度确定性策略梯度(MADDPG)算法求解辅助UAV集群最合理的作战决策,从而以最小的损耗代价实现集群胜利。在不同数量UAV情况下进行训练并展开实验,实验结果表明,与IDQN(Independent Deep Q-Network)和ID3QN(Imitative Dueling Double Deep Q-Network)这两种算法的训练效果相比,所提算法的收敛性最好,且在4架辅助型UAV情况下胜率可达100%,在其他UAV数情况下也明显优于对比算法。
在物联网(IoT)时代,人工智能(AI)与IoT的结合已经成为推动技术发展和应用创新的重要趋势。随着设备连接数量的指数级增长,提升终端用户对智能系统的信任度变得尤为关键。可解释人工智能(XAI)指能提供它们的决策过程和结果解释的AI系统。XAI的出现推动了AI技术的发展,并增强了用户对AI系统的信任。因此,对IoT应用中的XAI研究进行综述。首先,介绍IoT和XAI的相关背景及意义;其次,介绍XAI的定义及关键技术;接着,介绍传统AI驱动的IoT应用的最新进展和XAI驱动的IoT应用的最新进展;最后,对XAI在IoT应用中的未来发展方向和相关挑战分别进行总结和展望。
针对现有情感分类模型在深层情感理解上的局限性、传统注意力机制的单向性束缚以及自然语言处理(NLP)中的类别不平衡等问题,提出一种融合多尺度BERT(Bidirectional Encoder Representations from Transformers)特征和双向交叉注意力机制的情感分类模型M-BCA(Multi-scale BERT features with Bidirectional Cross Attention)。首先,从BERT的低层、中层和高层分别提取多尺度特征,以捕捉句子文本的表面信息、语法信息和深层语义信息;其次,利用三通道门控循环单元(GRU)进一步提取深层语义特征,从而增强模型对文本的理解能力;最后,为促进不同尺度特征之间的交互与学习,引入双向交叉注意力机制,从而增强多尺度特征之间的相互作用。此外,针对不平衡数据问题,设计数据增强策略,并采用混合损失函数优化模型对少数类别样本的学习。实验结果表明,在细粒度情感分类任务中,M-BCA表现优异。M-BCA在处理分布不平衡的多分类情感数据集时,它的性能显著优于大多数基线模型。此外,M-BCA在少数类别样本的分类任务中表现突出,尤其是在NLPCC 2014与Online_Shopping_10_Cats数据集上,M-BCA的少数类别的Macro-Recall领先其他所有对比模型。可见,该模型在细粒度情感分类任务中取得了显著的性能提升,并适用于处理不平衡数据集。
在科技项目评审活动中,评审专家的评审质量对于最终评价结果的准确性和公信力具有十分重要的影响。为确保评价结果的公正客观,对评审专家进行反评估显得尤为必要。通过对评审专家的个人基本情况、专业水平和评审业绩3个方面进行分析,构建了一套专家反评估评价指标体系。在此基础上,提出一种联合三支决策与基于熵权的逼近理想解排序法(TOPSIS)的专家反评估模型。该模型利用三支决策理论解决由于熵权法对数据的过度依赖而造成的权重失真问题。当指标权重出现异常时,模型将根据设定的阈值将待评估专家集合划分为正域、负域和边界域,并分别实施专家入库、专家出库和延迟评价策略;当指标权重正常或者得到修正后,则采用TOPSIS对评审专家进行评分排序。通过对某企业科技项目历史评审数据的实证分析可知,所提模型可以融合决策者的经验判断与待评专家的固有信息,实现主客观的统一,从而确保对评审专家进行科学、公正的评价,为构建高质量的专家库提供决策参考。
快速扩展随机树星(RRT*)因具有渐近最优性和概率完备性,在机器人路径规划领域有广泛的应用。然而,RRT*及其改进算法仍存在初始路径质量差、路径收敛慢和探索效率低等缺陷。针对这些问题,提出一种基于节点到障碍物距离的自适应扩展RRT*算法——AE-RRT*。为提高探索效率,采用基于节点到障碍物距离的动态目标偏置采样策略和动态步长策略,从而在更短的时间内获得初始路径。为提高路径的质量,提出一种更精确的选择父节点的方法MA-ChooseParent,从而扩大选择父节点的集合。此外,为加快路径收敛,在路径收敛阶段采用基于节点到障碍物距离的自适应高斯采样方法和全局高斯采样方法AG-Gaussian Sample。通过Matlab中的仿真实验将AE-RRT*与RRT*、Quick-RRT*、Bi-RRT*、Informed-RRT*和Smart-RRT*进行对比。实验结果表明,与RRT*相比,AE-RRT*在二维环境中找到初始路径的时间、初始路径的长度和收敛至全局次优路径的时间分别减少了63.78%、6.55%和71.93%;在三维环境中的3个指标分别减少了59.44%、18.26%和79.58%。
针对知识追踪(KT)模型没有充分考虑学生间差异、挖掘知识状态与习题的高度匹配等问题,提出一种双层网络架构——基于个性化学习和深层次细化的知识追踪(PLDRKT)。首先,利用增强注意力机制得到习题的深层次细化表示;其次,从不同学生对习题的难度感知和学习收益方面对初步知识状态进行个性化建模;最后,利用初步知识状态和深层习题表示得到学生的深层次知识状态并预测他们的未来答题情况。将PLDRKT模型与基于对抗训练的增强知识追踪(ATKT)和集成知识追踪(ENKT)等7种模型在Statics2011、ASSIST09、ASSIST15和ASSIST17数据集上进行对比实验。实验结果显示,PLDRKT模型的曲线下面积(AUC)均有增加,在4个数据集上与不考虑习题嵌入的最优基线模型相比,分别增加了0.61、1.32、5.29和0.19个百分点,可见PLDRKT模型可以较好地建模学生知识状态并预测回答。
针对复杂地形环境下的无人机(UAV)路径规划问题,提出一种基于改进鲸鱼优化算法(MWOA)的动态UAV路径规划方法。首先,通过解析山体地形、动态目标和威胁区,建立三维动态环境与UAV航路模型;其次,提出一种自适应步长高斯游走策略,并将该策略用于平衡算法的全局探索与局部发掘的能力;最后,提出一种辅助修正策略对种群最优个体进行修正,并结合差分进化策略,在避免种群陷入局部最优的同时提高算法的收敛精度。为验证MWOA的有效性,使用MWOA与鲸鱼优化算法(WOA)、人工蜂鸟算法(AHA)等智能算法求解CEC2022测试函数,并在设计的UAV动态环境模型中进行验证。仿真结果对比分析表明,与WOA相比,MWOA的收敛精度提高了6.1%,标准差减小了44.7%。可见,所提MWOA收敛更快且精度更高,能有效处理UAV路径规划问题。
日志能记录系统运行时的具体状态,而自动化的日志异常检测对网络安全至关重要。针对日志语句随时间演变导致异常检测准确率低的问题,提出一种无监督日志异常检测模型LogCL。首先,通过日志解析技术将半结构化的日志数据转换为结构化的日志模板;其次,使用会话和固定窗口将日志事件划分为日志序列;再次,提取日志序列的数量特征,使用自然语言处理技术对日志模板进行语义特征提取,并利用词频-词语逆频率(TF-IWF)算法生成加权的句嵌入向量;最后,将特征向量输入一个并列的基于卷积神经网络(CNN)和双向长短期记忆(Bi-LSTM)网络的模型中进行检测。在两个公开的真实数据集上的实验结果表明,所提模型较基准模型LogAnomaly在异常检测的F1?score上分别提高了3.6和2.3个百分点。因此LogCL能够对日志数据进行有效的异常检测。
针对现有大语言模型(LLM)在跨领域知识处理、实时学术信息更新及输出质量保证方面的局限,提出基于学术社交网络(ASN)的学者LLM——ScholatGPT。ScholatGPT结合知识图谱增强生成(KGAG)与检索增强生成(RAG),以提升精准语义检索与动态知识更新的能力,并通过微调优化以强化学术文本的生成质量。首先,基于学者网(SCHOLAT)关系数据构建学者知识图谱,并利用LLM进行语义增强;其次,提出KGAG检索模型,结合RAG实现多路混合检索,增强LLM的精准检索能力;最后,利用微调技术优化模型,使它在各学术领域的生成质量得到提升。实验结果表明,ScholatGPT在学术问答任务中的精确率达83.2%,相较于GPT-4o和AMiner AI提升了69.4和11.5个百分点,在学者画像、代表作识别和研究领域分类等任务上均表现优异。在回答相关性、连贯性和可读性方面,ScholatGPT取得了稳定且具有竞争力的表现,在专业性与可读性之间实现了较好的平衡。此外,基于ScholatGPT开发的学者智库和学术信息推荐系统等智能应用有效提升了学术信息获取的效率。
针对多无人机(UAV)编队飞行过程中的避障和故障问题,提出一种编队动态变换与重构方法。编队内UAV将障碍物和其余UAV作为动态威胁,根据当前飞行环境自适应地改变航迹评价函数的得分权重,提高编队在动态环境下的避障能力;当编队中某一UAV故障时,对剩余UAV进行编队队形重构,改变动态窗口法(DWA)目标函数中僚机相对于长机的位置,实时调整得到新的编队,从而实现容错编队飞行。仿真实验结果表明,所提编队避障和重构方法能够实现动态避障以及单机故障或动力不足情况下的容错编队飞行;与传统DWA相比,所得到的编队无人机间距离误差更小。
在协同融合气象、空间和时间三大信息的时空混合模型中,时间变化建模通常在一维空间中完成。针对一维序列局限于滑动窗口和缺乏对多尺度特征的灵活提取的问题,提出一种多域时空层次图神经网络(MST-HGNN)模型。首先,构建城市全局尺度和站点局部尺度的两级层次图,从而进行空间关系学习;其次,将一维空气质量序列转换为一组基于多个周期的二维张量,并在二维空间上通过多尺度卷积进行周期解耦以捕获频域特征;同时,在一维空间中利用长短期记忆(LSTM)网络拟合时域特征;最后,为避免聚合冗余信息,设计一种门控机制融合模块用于频域和时域特征的多域特征融合。在Urban-Air数据集和长三角城市群数据集上的实验结果表明,相较于多视图多任务时空图卷积网络模型(M2),所提模型在预测第1 h、3 h、6 h、12 h空气质量的平均绝对误差(MAE)和均方根误差(RMSE)均低于对比模型。可见,MST-HGNN能在频域上解耦复杂时间模式,利用频域信息弥补时域特征建模的局限性,并结合时域信息更全面地预测空气质量变化。
大语言模型(LLM)是由具有大量参数(通常数十亿个权重或更多)的人工神经网络组成的一类语言模型,使用自监督学习或半监督学习对大量未标记文本进行训练,是当前生成式人工智能(AI)技术的核心。与传统语言模型相比,LLM通过大量的算力、参数和数据支持,展现出更强的语言理解与生成能力,广泛应用于机器翻译、问答系统、对话生成等众多任务中并表现卓越。现有的综述大多侧重于LLM的理论架构与训练方法,对LLM的产业级应用实践及技术生态演进的系统性探讨仍显不足。因此,在介绍LLM的基础架构、训练技术及发展历程的基础上,分析当前通用的LLM关键技术和以LLM为底座的先进融合技术。通过归纳总结现有研究,进一步阐述LLM在实际应用中面临的挑战,包括数据偏差、模型幻觉和计算资源消耗等问题,并对LLM的持续发展趋势进行展望。
针对利用遗传进化算法解决符号回归(SR)问题时存在的种群多样性降低以及对超参数敏感等问题,提出基于Transformer的深度符号回归(DSRT)方法。该方法在利用Transformer自回归的方式生成表达式符号序列后,将数据和表达式符号序列的拟合度值的变换值当作奖励值,再利用深度强化学习的方法更新模型参数,使模型输出的表达式序列更加拟合数据,并随着模型的不断收敛找出最优的表达式。在SR基准数据集Nguyen上对DSRT方法进行有效性测试,并在200次迭代内将它与DSR(Deep Symbolic Regression)和GP(Genetic Programming)算法进行对比,实验结果验证了DSRT方法的有效性。另外,讨论了各参数对DSRT方法的影响,并在NACA4421数据上进行飞机翼型表面压力系数公式预测实验,将所得到的公式与卡门-钱学森公式作对比,找到了均方根误差(RMSE)较小的数学公式。
为解决数据混合存储导致精准查找速度慢、数据未分类分级管理造成安全治理难等问题,构建基于主从多链的数据分类分级访问控制模型,实现数据的分类分级保障与动态安全访问。首先,构建链上链下混合式可信存储模型,以平衡区块链面临的存储瓶颈问题;其次,提出主从多链架构,并设计智能合约,将不同隐私程度的数据自动存储于从链;最后,以基于角色的访问控制为基础,构建基于主从多链与策略分级的访问控制(MCLP-RBAC)机制并给出具体访问控制流程设计。在分级访问控制策略下,所提模型的吞吐量稳定在360 TPS(Transactions Per Second)左右。与BC-BLPM方案相比,发送速率与吞吐量之比达到1∶1,具有一定优越性;与无访问策略相比,内存消耗降低35.29%;与传统单链结构相比,内存消耗平均降低52.03%;与数据全部上链的方案相比,平均存储空间缩小36.32%。实验结果表明,所提模型能有效降低存储负担,实现分级安全访问,具有高扩展性,适用于多分类数据的管理。
动态社区发现研究是社交网络分析(SNA)的重要研究领域。随着节点加入或离开社交网络,节点间的关系也随之建立或消失,进而影响着社区结构的变化。针对社交网络静态社区发现算法缺少必要的社区节点历史信息而导致的网络结构分析、聚类信息不足和计算开销过大的问题,基于社区网络演化事件的划分并根据主要社区事件的分析,提出一种基于谱聚类的动态社区发现算法(SC-DCDA)。首先,根据实验观察使用谱映射的方法将高维数据降维,并采用改进的模糊C-均值聚类(FCM)算法确定动态社交网络中的节点与待发现社区的关联度;其次,根据演化相似度矩阵分析社区结构。通过使用真实网络数据集以及模块度得分、轮廓系数等社区发现算法衡量指标,评估所提算法的效果。实验结果表明,SC-DCDA的计算开销相较于传统谱聚类降低了8.37%,在所有数据集上的平均模块度得分是0.49,其他衡量指标的定性分析结果也较好,验证了所提算法在信息交互、聚类效果和精确度上表现较好。
基于检索增强生成(RAG)的军事领域知识问答系统已经逐渐成为现代情报人员收集和分析情报的重要工具。针对目前RAG方法的应用策略中的混合检索存在可移植性不强以及非必要使用查询改写容易诱发语义漂移的问题,提出一种多策略检索增强生成(MSRAG)方法。首先,根据用户输入的查询特点自适应地匹配检索模型来召回相关文本;其次,利用文本过滤器提取出能够回答问题的关键文本片段;再次,使用文本过滤器进行内容有效性判断以启动基于同义词拓展的查询改写,并将初始查询与改写后的信息合并输入检索控制器以进行更有针对性的再次检索;最后,合并能够回答问题的关键文本片段和问题,并使用提示工程输入生成答案模型来生成响应返回给用户。实验结果表明,MSRAG方法在军事领域数据集(Military)和Medical数据集的ROUGE-L(Recall-Oriented Understudy for Gisting Evaluation Longest common subsequence)指标上相较于凸线性组合RAG方法分别提高了14.35和5.83个百分点。可见,MSRAG方法具备较强的通用性和可移植性,能够缓解非必要查询改写导致的语义漂移现象,有效帮助大模型生成更准确的答案。