针对超关系知识图谱(HKG)中限定符稀疏现象导致的超关系事实语义表征不完整以及任务精度和泛化能力不足的问题,提出基于大语言模型(LLM)的HKG限定符增强方法(L-EQs)。首先,通过关联知识库获取语义丰富的描述信息,以减轻实体和关系因相同标签而导致的语义混淆;其次,使用提示词模板引导LLM生成匹配的限定符及其语义解释作为外源知识,而为了保证限定符的质量,采用迭代式提示策略对生成的限定符进行筛选,并通过多次迭代生成限定符直至达到预定数量;再次,通过语义解释构建外源知识嵌入,并利用外源知识聚合模块抑制噪声,从而将外源知识与原始知识嵌入融合,为下游任务提供高质量的语义支持;最后,通过解码器预测任务结果,并在开源数据集WikiPeople和WD50K上进行广泛实验,以验证L-EQs的有效性。实验结果表明,L-EQs的平均倒数排名(MRR)、Hit@1、Hit@5和Hit@10相较于基线中的最优结果在WikiPeople数据集上分别提升了8.4、4.7、5.3和6.8个百分点,在WD50K数据集上分别提升了4.8、2.3、2.7和3.0个百分点。L-EQs解决了HKG中限定符稀疏现象和超关系事实语义表征不完整带来的问题。
网络安全知识图谱是对非结构化的网络威胁情报(CTI)数据进行深度关联分析的重要手段,使用大语言模型(LLM)能够克服传统的网络安全命名实体识别方法存在的缺乏对文本上下文的理解、难以捕捉长距离依赖以及面对噪声和冗余时缺乏鲁棒性的局限。然而,单一LLM在网络安全命名实体抽取中存在模型能力在边界外领域适应性差、分布外(OOD)数据上泛化能力不足以及单一模型认知局限的情况。为了解决以上问题,提出一种融合微调的LLM协同链接方法。该方法使用CTI语料对基础LLM进行低秩适应(LoRA)参数微调,通过参数优化增强模型对网络安全领域的理解。同时, LLM协同采用静态投票与动态元学习器的链接方式,其中,通过投票让静态机制综合多个模型的预测结果,而在动态机制中设计特征空间适配函数来量化模型的能力边界,并通过随机森林等元学习器实现输入数据特征与模型性能的动态映射。实验结果表明,所提方法的F1分数达到了91.1%,与基于多特征的语义增强网络方法相比提升了6.8%,为网络安全命名实体识别提供了高效可扩展的解决方案。
大语言模型(LLM)是由具有大量参数(通常数十亿个权重或更多)的人工神经网络组成的一类语言模型,使用自监督学习或半监督学习对大量未标记文本进行训练,是当前生成式人工智能(AI)技术的核心。与传统语言模型相比,LLM通过大量的算力、参数和数据支持,展现出更强的语言理解与生成能力,广泛应用于机器翻译、问答系统、对话生成等众多任务中并表现卓越。现有的综述大多侧重于LLM的理论架构与训练方法,对LLM的产业级应用实践及技术生态演进的系统性探讨仍显不足。因此,在介绍LLM的基础架构、训练技术及发展历程的基础上,分析当前通用的LLM关键技术和以LLM为底座的先进融合技术。通过归纳总结现有研究,进一步阐述LLM在实际应用中面临的挑战,包括数据偏差、模型幻觉和计算资源消耗等问题,并对LLM的持续发展趋势进行展望。
针对现有的人工智能(AI)心理咨询系统仅扮演单一咨询师角色,而难以动态适应用户对专业建议与情感支持的双重需求的问题,提出一种基于双角色交互机制的心理健康大语言模型——STAR (Supportive Therapeutic Adaptive Responder)。首先,设计基于系统提示的角色动态切换机制,实现心理咨询师与朋友角色的风格转换,满足用户在心理咨询场景中对专业建议和情感支持的双重需求;其次,采用数据质量控制的训练流程,持续收集模型反馈,动态优化数据生成策略与系统提示词设计,形成数据生成与模型训练的闭环,提升数据集质量。实验结果表明,在中文心理学基准测试框架CPsyCoun (Chinese Psychological Counseling)中, STAR模型在全面性、专业性与真实性上的综合得分相较于基座模型Qwen2.5-7B-Instruct提升了9.80%,较单角色的心理大模型EmoLLM (Emotional Large Language Model)提升了26.81%,并优于使用灵心(SoulChat)等开源数据集微调的模型以及GPT-4o-mini等通用LLM。 STAR模型能够有效实现双角色自适应响应,并有效提升心理咨询的效果和体验。
为了解决高中英语多项选择阅读理解(MCRC)教育考试模型应用中信息过载、缺乏内容匹配和解释性不足的问题,提出一种融合知识增强和对比学习的多项选择阅读理解模型(KCL-MCRC)。首先,使用大语言模型(LLM)生成文章摘要和提取线索句子,通过知识增强减少无关信息的输入;其次,利用BERT (Bidirectional Encoder Representations from Transformers)模型获取文章、问题和选项的嵌入表示;再次,采用平均池化和绝对差值的对比学习策略获取文章、问题和选项的信息差异向量,并与原嵌入表示拼接,以共同作用于答案选择;最后,使用LLM进行问题类型标注,通过评估KCL-MCRC在各种问题类型上的答题准确率分析模型性能提升的原因。在RACE-H数据集上的实验结果表明, KCL-MCRC在验证集和测试集上的整体准确率分别达到了65.75%和64.12%,相比模型MDT (Multi-Decision-Transformer)和MMA (Multi-stage Maximization Attention)分别提高了1.02、0.35和0.88、0.92个百分点,取得了最佳性能;知识增强和对比学习对模型性能的提升都具有重要意义,在逻辑推理、主旨概括和作者态度这3种问题类型上的准确率提升明显,验证了针对问题类型进行模块设计的有效性。
参考点与参数的选取会对反距离权重(IDW)的精度产生影响。针对多参数协同优化反距离权重算法(PIDW)忽略局部特性的问题,提出一种利用粒子群对IDW进行局部优化的改进算法——PLIDW。首先,分别对研究区域中各个样本点的参数进行寻优,利用交叉验证方法进行评估,记录各自最优取值的一组参数;同时,为提高查询效率,使用K维树(KD-Tree)保存空间位置与最优参数;最后,根据空间邻近程度从K维树选取最近的一组参数优化IDW。基于模拟数据与真实的温度数据集上的实验结果表明,相较于PIDW,PLIDW在真实数据集上的准确度提高4.18%以上,改善了PIDW存在的因忽略局部特性导致部分场景准确度低的问题,适应能力更强。
为了解决由于型钢表面缺陷形态多样、微小缺陷众多所带来的检测效率低与检测精度差的问题,提出一种基于可变形卷积与多尺度-密集特征金字塔的型钢表面缺陷检测算法——Steel-YOLOv3。首先,使用可变形卷积代替Darknet53网络部分残差单元的卷积层,从而强化特征提取网络对型钢表面多类型缺陷的特征学习能力;其次,设计了多尺度-密集特征金字塔模块:在原有YOLOv3算法的3层预测尺度上增加1层更浅层的预测尺度,再对多尺度特征图进行跨层密集连接,从而增强对密集微小缺陷的表征能力;最后,针对型钢缺陷尺寸分布特点,使用K-means维度聚类方法优化先验框尺寸并将先验框平均分配到4个对应预测尺度上。实验结果表明:Steel-YOLOv3算法具有89.24%的检测平均精度均值(mAP),与Faster R-CNN(Faster Region-based Convolutional Neural Network)、SSD(Single Shot MultiBox Detector)、YOLOv3和YOLOv5算法相比分别提高了3.51%、26.46%、12.63%和5.71%,且所提算法显著提升了微小剥落缺陷的检出率。另外,所提算法的每秒检测图像数量达到25.62张,满足实时检测的要求,可实际应用于型钢表面缺陷的在线检测。
针对拒绝服务(DoS)攻击下无人机(UAV)通信阻塞、运动轨迹不可预测的问题,在人工势场法(APF)和深度确定性策略梯度(DDPG)融合框架下研究DoS攻击期间的多UAV安全集群控制策略。首先,使用Hping3对所有UAV进行DoS攻击检测,以实时确定UAV集群的网络环境;其次,当未检测到攻击时,采用传统的APF进行集群飞行;再次,在检测到攻击后,将被攻击的UAV标记为动态障碍物,而其他UAV切换为DDPG算法生成的控制策略;最后,所提框架实现APF和DDPG的协同配合及优势互补,并通过在Gazebo中进行仿真实验验证DDPG算法的有效性。仿真实验结果表明,Hping3能实时检测出被攻击的UAV,且其他正常UAV切换为DDPG算法后能稳定避开障碍物,从而保障集群安全;在DoS攻击期间,采用切换避障策略的成功率为72.50%,远高于传统APF的31.25%,且切换策略逐渐收敛,表现出较好的稳定性;训练后的DDPG避障策略具有一定泛化性,当环境中出现1~2个未知障碍物时仍能稳定完成任务。
传统交通流量预测模型未能有效考虑地区间和时段间的时间延迟效应,且难以同时捕捉交通流量的短期波动与长期趋势。为此,提出一种结合小波分解与时间延迟感知的时空预测模型(WTA-LAGNN)。首先,结合小波分解将交通流量数据分为长期趋势模式和短期波动模式:短期波动模式通过特征增强模块强化关键特征,提升对短期波动的敏感性;针对长期趋势,设计了序列增强的多头自注意力机制捕捉流量的长期变化。其次,为了处理时间延迟效应,设计了时间序列延迟感知层,优化区域间流量传播的时空依赖关系。最后,通过融合层生成最终预测结果。基于现实高速公路交通数据集PeMS03、PeMS04、PeMS07、PeMS08进行60 min流量预测,结果表明,在PeMS03和PeMS07数据集上,与时空图神经控制微分方程(STG-NCDE)相比,WTA-LAGNN的平均绝对误差(MAE)、均方根误差(RMSE)分别降低了5.14%、2.69%和5.80%、2.69%;在PeMS08数据集上,与交通流量矩阵-图卷积注意力模型(TFM-GCAM)相比,WTA-LAGNN的MAE、RMSE分别下降了9.28%、3.32%;在PeMS04数据集上,与时空融合图卷积网络(STFGCN)相比,WTA-LAGNN的MAE、RMSE分别降低了3.53%、2.72%。WTA-LAGNN的整体模型性能上优于对比模型,能更有效地捕捉时空依赖关系,提升流量预测精度。
对比学习(CL)具有可从原始数据中提取自监督信号的特性,为推荐系统解决数据稀疏问题提供了有力支持。然而,现有的CL推荐算法大多着眼于改进模型结构和数据增强方法,忽视了提升推荐任务中的负样本质量以及挖掘用户与项目之间潜在隐性关系的重要性。针对此问题,提出一种基于混合负采样的图对比学习推荐算法(HSGCL)。首先,与均匀采样方法从真实数据中采样不同,所提算法使用正样本混合方法将正样本信息融入负样本中;其次,通过跳跃混合方法创造富含信息的难负样本;同时,通过使用节点丢弃(ND),改变图结构以生成多个视图,并在嵌入空间中引入可控的均匀噪声平滑调整学习表示的均匀性;最后,将推荐主任务与CL任务进行联合训练。在Douban-Book、Yelp2018和Amazon-Kindle这3个公共数据集上的数值实验结果表明,相较于基线模型——轻量化图卷积网络(LightGCN),所提算法在召回率(Recall@20)上分别提升了23%、13%和7%,在归一化折损累积增益(NDCG@20)上分别提升了32%、14%和5%,且在提升负样本嵌入信息多样性方面表现优异。可见,所提算法从负采样方法和数据增强两方面进行改进,提高了负样本质量、表示分布的均匀性和推荐算法的准确性。
随着深度学习技术的发展,人工智能正从单模态智能向多模态智能演进。视觉语言模型(VLM)作为连接视觉与语言的关键技术,已成为核心研究领域。针对VLM的技术演进历程,系统地综述它的架构发展,并总结该领域的核心技术和最新研究进展。首先,回顾VLM从早期探索到当前蓬勃发展的演进历程,分析关键技术节点和发展趋势,进而勾勒出以“架构发展”为核心主线的VLM技术发展图谱;其次,深入剖析当前VLM的基础技术,包括围绕视觉编码器、语言编码器和跨模态融合机制构建的核心架构,以及掩码语言建模(MLM)、掩码图像建模(MIM)和对比学习(CL)等关键预训练优化目标;同时,系统梳理当前VLM预训练所依赖的主流数据集如COCO和LAION-5B等;最后,对比分析代表性VLM,以阐明模型性能与数据规模、架构创新及训练策略间的关联,并评述相关核心技术的优势与局限性,从而为相关领域研究者提供全面的VLM技术图谱,助力把握发展脉络,并为未来研究提供参考与启发。
药物合成反应,特别是不对称反应是现代药物化学的重要组成部分。化学家们投入了巨大的人力和资源来识别各种化学反应模式,以实现高效合成和不对称催化。量子力学计算和机器学习算法在这一领域的最新研究证明了通过计算机学习现有药物合成反应数据并进行精确虚拟筛选的巨大潜力。然而,现有方法局限于单一模态的数据来源,并且由于数据少的限制,只能使用基本的机器学习方法,使它们在更广泛场景中的普遍应用受到阻碍。因此,提出两种融合多模态数据的药物合成反应的筛选模型来进行反应产率和对映选择性的虚拟筛选,并给出了一种基于Boltzmann分布进行加权的3D构象描述符,从而将分子的立体空间信息与量子力学性质结合起来。这两种多模态数据融合模型在两个代表性的有机合成反应(C-N偶联反应和N,S-缩醛反应)中进行了训练和验证,结果表明前者的R2相对于基线方法在大多数据划分上的提升超过了1个百分点,后者的平均绝对误差(MAE)相对于基线方法在大多数据划分上的下降超过了0.5个百分点。可见,在有机反应筛选的不同任务中采用基于多模态数据融合的模型都会带来好的性能。
针对中文医学文本实体嵌套导致的单词边界识别困难问题以及现有栅格结构集成词汇特征所面临的语义信息损失严重的情况,提出一种用于中文医学命名实体识别(MNER)的自适应词汇信息增强模型。首先,利用双向长短期记忆(BiLSTM)网络编码字符序列的上下文信息并捕捉较长距离的依赖关系;然后,对字符序列中每个字符的潜在单词信息进行字词对建模,采用自注意力机制实现不同单词之间的内部交互;最后,通过基于双线性注意力机制的词汇适配器将词汇信息集成到文本序列中的每个字符中,有效增强语义信息的同时充分利用单词丰富的边界信息,并抑制相关性低的单词。实验结果表明,所提模型与基于字符的基线模型相比,平均F1值分别提升了1.37~2.38个百分点,并在结合BERT后取得了最优的效果。
图神经网络(GNN)在处理标记节点稀疏且分布不均的图数据时,普遍面临欠可达问题(Under-Reach),即远端未标记节点因拓扑限制难以接收有效监督信号,导致模型泛化能力受限。现有方法虽能部分解决这一问题,但仍存在过度平滑、计算复杂度高、噪声敏感等局限性。因此,提出一种拓扑语义双域协同的图神经网络框架TriMix,通过三方面改进应对上述挑战:1)动态混合比例机制。基于训练轮次自适应调整伪标签与真实标签的混合权重,在训练初期依赖真实标签稳定收敛,后期逐步引入高置信伪标签以扩展决策边界。2)拓扑语义双域协同的节点加权采样策略。融合节点度、PageRank值和特征相似性,量化节点重要性并优化信息传播路径,提升低中心性节点的可达性。3)对比学习模块。通过类别驱动、特征相似性加权与伪标签引导的三级负样本生成策略,优化嵌入空间的正负样本区分度,增强模型对未标记数据的语义理解。在Cora、PubMed等经典数据集上的实验结果表明,TriMix的节点分类准确率比图卷积网络(GCN)、图注意力网络(GAT)等基线模型高2.1%~4.4%,F1评分与泛化能力均有所提升。TriMix框架通过拓扑结构与语义特征的双域协同优化显著提升了稀疏标记图数据的学习效率,为复杂图结构中的节点分类任务提供了新思路。
针对大规模无线传感器网络(WSN)流量随访问者数量增加而上升的问题,设计并实现了一种适用于构建大型WSN并降低系统流量的应用系统框架。系统采用IPv6和低功耗无线个域网的IPv6技术(6LoWPAN)搭建大规模WSN,使用消息队列遥测传输(MQTT)协议和针对WSN设计的消息队列遥测传输(MQTT-SN)协议在应用层搭建了连接WSN和传统互联网的发布/订阅结构。实验结果显示,当系统中存在5个传感器节点时,与受限应用协议(CoAP)构建的WSN应用系统相比,提出的系统框架的数据流量仅为前者的18%左右。这表明该系统框架可有效地控制访问者增加对WSN流量造成的影响。
针对现有雷达非接触生命体征检测精度低、实时性差等问题,提出一种基于调频连续波(FMCW)雷达的人体生命体征检测算法。首先,通过毫米波雷达获取生命体征信号;其次,利用改进的经验小波变换(EWT)算法,实现生命体征信号的自适应分解和重构,通过引入麻雀搜索算法(SSA)和模糊熵(FE)寻找频谱分割线的最优值;最后,通过改进频率插值的估计算法计算心率和呼吸频率。通过与医用重症监护仪进行对比实验验证所提算法的优越性和鲁棒性。实验结果表明,所提算法相较于小波变换(WT)算法、CEEMD(Complementary Ensemble Empirical Mode Decomposition)算法和VMD(Variational Mode Decomposition)算法,均方误差(MSE)分别减小了77.65、27.25和21.05,平均绝对百分比(MAPE)分别减小了7.33、4.33和3.42个百分点,实时性分别提高了0.72 s, 16.74 s和1.87 s。同时,利用所提算法也实现了对心率变异性(HRV)的检测。
针对传统多用户毫米波中继系统波束赋形方案计算复杂度高的问题,提出一种基于深度学习(DL)的奇异值分解(SVD)方法来设计混合波束赋形,以优化发送端、中继端和接收端波束赋形器。首先,利用DL方法设计发送端、中继端的波束赋形矩阵最大化可实现的频谱效率;然后,设计中继端、接收端的频带波束赋形矩阵以最大化等效信道增益;最后,在接收端设计最小均方误差(MMSE)滤波器消除用户间干扰。理论分析和仿真结果表明,基于DL的混合波束赋形方法相较于交替最大化(AltMax)与传统SVD 方法 在高维信道矩阵和较多的用户情况下,计算复杂度分别降低了12.5%和23.44%;在已知信道状态信息(CSI)的情况下,频谱效率分别提高了2.277%和21.335%,在非完美CSI情况下,频谱效率分别提高了11.452%和43.375%。
针对突发事件中负面网络舆情传播的问题,提出了一种基于情感分析和影响力评估的突发事件情感图谱研究方法。提出了一种基于多头自注意力机制和双向长短期记忆网络(Bi-LSTM)的情感分析模型来计算网站用户的情感倾向,并提出了一种融合加权度与K-shell值的节点影响力评估算法来评估用户的影响力,从而综合构建突发事件的情感图谱,有效提高了情感图谱的准确性和科学性。以“7.7安顺公交车坠湖事件”为例,将突发事件的生命周期划分为爆发期、蔓延期、成熟期和衰退期四个阶段,分别生成情感图谱进行可视化分析。实验结果表明,在酒店评论数据集上,所提出的情感分析模型的F1值在积极和消极方面比文本循环神经网络(Text-RNN)模型分别提升了9.92个百分点和2.5个百分点;在Karate网络上,所提影响力评估算法的区分度和准确性比K-shell算法分别提升了46.89个百分点和29.05个百分点。构建基于社交网络的情感图谱有助于相关部门发现意见领袖及其情感倾向,从而把握网络舆情的发展趋势,并降低消极情感对社会造成的影响。
针对中药材粉末的显微图像中含有大量细微特征和背景干扰因素导致的同一类药材的变化过大(类内差异大)和多种药材之间特征过于相似(类间差异小)的问题,提出一种多尺度2D-Adaboost算法。首先,构建一个全局?局部特征融合的主干网络架构,以更好地提取多尺度特征,该架构通过结合Transformer和卷积神经网络(CNN)的优势能有效提取并融合各个尺度的全局和局部特征,从而显著提高主干网络的特征捕捉能力;其次,将Adaboost的单尺度输出拓展到多尺度,并构建2D-Adaboost结构的背景抑制模块,该模块将主干网络各个尺度的输出特征图划分为前景和背景,从而有效抑制背景区域的特征值,并增加判别性特征的强度;最后,在2D-Adaboost结构的每个尺度上额外添加一个分类器以构建特征细化模块,该模块通过控制温度参数协调分类器间的协作学习,从而逐步细化不同尺度的特征图,帮助网络学习更合适的特征尺度,并丰富细节特征的表示。实验结果表明,所提算法的识别准确率达到了96.85%,与ConvNeXt-L、ViT-L、Swin-L和Conformer-L模型相比分别上升了7.56、5.26、3.79和2.60个百分点。高准确率和分类效果的稳定性验证了所提算法在中药材粉末显微图像分类任务中的有效性。
近似支持向量机(PSVM)在处理不平衡样本时,会过拟合样本点数较多的一类,低估样本点数较少的类的错分误差,从而导致整体样本的分类准确率下降。针对该问题,提出一种用于处理不平衡样本的改进的PSVM新算法。新算法不仅给正、负类样本赋予不同的惩罚因子,而且在约束条件中新增参数,使得分类面更具灵活性。该算法先对训练集训练获得最优参数,然后再对测试集进行训练获得分类超平面,最后输出分类结果。UCI数据库中9组数据集的实验结果表明:新算法提高了样本的分类准确率,在线性的情况下平均提高了2.19个百分点,在非线性的情况下平均提高了3.14个百分点,有效地提高了模型的泛化能力。