传统的基于表示学习的知识推理方法只能用于封闭世界的知识推理,有效进行开放世界的知识推理是目前的热点问题。因此,提出一种基于路径和增强三元组文本的开放世界知识推理模型PEOR(Path and Enhanced triplet text for Open world knowledge Reasoning)。首先,使用由实体对间结构生成的多条路径和单个实体周围结构生成的增强三元组,其中路径文本通过拼接路径中的三元组文本得到,而增强三元组文本通过拼接头实体邻域文本、关系文本和尾实体邻域文本得到;其次,使用BERT(Bidirectional Encoder Representations from Transformers)分别编码路径文本和增强三元组文本;最后,使用路径向量和三元组向量计算语义匹配注意力,再使用语义匹配注意力聚合多条路径的语义信息。在3个开放世界知识图谱数据集WN18RR、FB15k-237和NELL-995上的对比实验结果表明,与次优模型BERTRL(BERT-based Relational Learning)相比,所提模型的命中率(Hits@10)指标分别提升了2.6、2.3和8.5个百分点,验证了所提模型的有效性。
利用场景图的上下文信息可以帮助模型理解目标之间的关联作用;然而,大量不相关的目标可能带来额外噪声,进而影响信息交互,造成预测偏差。在嘈杂且多样的场景中,即使几个简单的关联目标,也足够推断目标所处的环境信息,并消除其他目标的歧义信息。此外,在面对真实场景中的长尾偏差数据时,场景图生成(SGG)的性能难以令人满意。针对上下文信息增强和预测偏差的问题,提出一种基于关联信息增强与关系平衡的SGG(IERB)方法。IERB方法采用一种二次推理结构,即根据有偏场景图的预测结果重新构建不同预测视角下的关联信息并平衡预测偏差。首先,聚焦不同视角下的强相关目标以构建上下文关联信息;其次,利用树型结构的平衡策略增强尾部关系的预测能力;最后,采用一种预测引导方式在已有场景图的基础上预测优化。在通用的数据集Visual Genome上的实验结果表明,与3类基线模型VTransE(Visual Translation Embedding network)、Motif和VCTree(Visual Context Tree)相比,所提方法在谓词分类(PredCls)任务下的均值召回率mR@100分别提高了11.66、13.77和13.62个百分点,验证了所提方法的有效性。
全景场景图生成(PSGG)旨在识别图像中所有对象并自动地捕获所有对象间的语义关联关系。语义关联关系建模依赖目标对象及对象对(subject-object pair)的特征描述,然而现行工作中存在以下不足:采用边界框提取方式获取的对象特征较模糊;仅关注对象的语义和空间位置特征,忽略了对关系预测同样重要的对象对的语义联合特征和相对位置特征;未能针对不同类型的对象对(如前景-前景、前景-背景、背景-背景)进行差异化特征提取,进而忽略了它们之间的差异性。针对上述问题,提出一种基于关系特征强化的全景场景图生成方法(RFE)。首先,通过引入像素级掩码区域特征,丰富对象特征的细节信息,同时有效地融合对象对的联合视觉特征、语义联合特征和相对位置特征;其次,根据对象对的不同类型,自适应地选择最适合本类型对象对的特征提取方式;最后,获得强化后更精确的关系特征用于关系预测。在PSG数据集上的实验结果表明,以VCTree(Visual Contexts Tree)、Motifs、IMP(Iterative Message Passing)和GPSNet为基线方法,ResNet-101为骨干网络,RFE在具有挑战性的SGGen任务上召回率(R@20)指标分别提高了4.37、3.68、2.08和1.80个百分点,验证了所提方法在PSGG的有效性。
多视图聚类是近年来图数据挖掘领域的研究热点。由于数据采集技术的限制或人为因素等原因常导致视图或样本缺失问题。降低多视图的不完整性对聚类效果的影响是多视图聚类目前面临的重大挑战。因此,综合研究不完整多视图聚类(IMC)近年的发展具有重要的理论意义和实践价值。首先,归纳分析不完整多视图数据缺失类型;其次,详细比较基于多核学习(MKL)、矩阵分解(MF)学习、深度学习和图学习这4类IMC方法,分析代表性方法的技术特点和区别;再次,从数据集类型、视图和类别数量、应用领域等角度总结22个公开不完整多视图数据集;继次,总结评价指标,并系统分析现有不完整多视图聚类方法在同构和异构数据集上的性能表现;最后,归纳分析不完整多视图聚类目前存在的问题、未来的发展方向和现有应用领域。
针对命名实体识别(NER)任务中相关模型通常仅对字符及相关词汇进行建模,未充分利用汉字特有的字形结构信息和实体类型信息的问题,提出一种融合先验知识和字形特征的命名实体识别模型。首先,采用结合高斯注意力机制的Transformer对输入序列进行编码,并从中文维基百科中获取实体类型的中文释义,采用双向门控循环单元(BiGRU)编码实体类型信息作为先验知识,利用注意力机制将它与字符表示进行组合;其次,采用双向长短时记忆(BiLSTM)网络编码输入序列的远距离依赖关系,通过字形编码表获得繁体的仓颉码和简体的现代五笔码,采用卷积神经网络(CNN)提取字形特征表示,并根据不同权重组合繁体与简体字形特征,利用门控机制将它与经过BiLSTM编码后的字符表示进行组合;最后,使用条件随机场(CRF)解码,得到命名实体标注序列。在偏口语化的数据集Weibo、小型数据集Boson和大型数据集PeopleDaily上的实验结果表明,与基线模型MECT(Multi-metadata Embedding based Cross-Transformer)相比,所提模型的F1值别提高了2.47、1.20和0.98个百分点,验证了模型的有效性。
目前,图注意力网络(GAT)通过引入注意力机制对目标实体的邻域实体赋予不同权重并进行信息聚合,使得它更关注实体的局部邻域,忽略了图结构中实体和关系之间的拓扑结构;而且在多头注意力后将输出嵌入向量简单拼接或平均,导致注意力头之间相互独立,未能捕捉不同注意力头的重要语义信息。针对GAT应用于知识图谱(KG)推理任务时未充分挖掘实体结构信息和语义信息的问题,提出融合实体语义及结构信息的知识图谱推理(FESSI)模型。首先,使用TransE将实体和关系表示为同一空间的嵌入向量。其次,提出交互注意力机制,将GAT中多头注意力重新融合成多个混合注意力,增强注意力头之间的交互性,以提取目标实体更丰富的语义信息;同时,利用关系图卷积网络(R-GCN)提取实体的结构信息,并通过权重矩阵学习GAT和R-GCN的输出特征向量。最后,使用ConvKB作为解码器进行评分。在知识图谱数据集Kinship、NELL-995和FB15K-237上的实验结果表明,FESSI模型的效果优于多数对比模型,在3个数据集的平均倒数排名(MRR)指标上的结果分别为0.964、0.565和0.562。
针对知识追踪(KT)模型没有充分考虑学生间差异、挖掘知识状态与习题的高度匹配等问题,提出一种双层网络架构——基于个性化学习和深层次细化的知识追踪(PLDRKT)。首先,利用增强注意力机制得到习题的深层次细化表示;其次,从不同学生对习题的难度感知和学习收益方面对初步知识状态进行个性化建模;最后,利用初步知识状态和深层习题表示得到学生的深层次知识状态并预测他们的未来答题情况。将PLDRKT模型与基于对抗训练的增强知识追踪(ATKT)和集成知识追踪(ENKT)等7种模型在Statics2011、ASSIST09、ASSIST15和ASSIST17数据集上进行对比实验。实验结果显示,PLDRKT模型的曲线下面积(AUC)均有增加,在4个数据集上与不考虑习题嵌入的最优基线模型相比,分别增加了0.61、1.32、5.29和0.19个百分点,可见PLDRKT模型可以较好地建模学生知识状态并预测回答。
近年来越来越多的学校广泛使用网络在线授课,然而互联网中海量的学习资源令学习者难以抉择。因此,研究在线学习资源推荐并为学习者进行个性化推荐非常重要,这可以帮助学习者快速获取其所需的优质学习资源。针对在线学习资源推荐的研究现状,从以下5个方面进行分析总结。首先,总结了目前国内外在线教育平台在学习资源推荐方面的工作;其次,分析和探讨了以知识点习题、学习路径、学习视频和学习课程为学习资源推荐目标的4种算法;接着,分别从学习者和学习资源的角度出发,以具体的算法为例,详述了常用的基于学习者画像、基于学习者行为和基于学习资源本体的3种学习资源推荐算法;此外,总结了公开的在线学习资源数据集;最后,分析了学习资源推荐系统目前存在的问题和未来的发展方向。
针对工业领域中故障诊断数据存在时序性和夹杂强噪声的特点导致的收敛速度慢以及诊断精度低的问题,提出了一种基于改进一维卷积和双向长短期记忆(1DCNN-BiLSTM)神经网络融合的故障诊断方法。该方法包括故障振动信号的预处理、特征的自动提取以及振动信号的分类。首先,采用自适应白噪声的完整经验模态分解(CEEMDAN)技术对原始振动信号进行预处理;其次,构建1DCNN-BiLSTM双通道模型,将处理后信号输入双向长短期记忆(BiLSTM)神经网络模型和一维卷积神经网络(1DCNN)模型两个通道,从而对信号的时序相关性特征、局部空间的非相关性特征和弱周期性规律进行充分提取;然后,针对信号夹杂强噪声的问题,对压缩与激励网络(SENet)模块进行改进并将其作用于两个不同的通道;最后,输入全连接层将双通道提取的特征进行融合并借助Softmax分类器实现对设备故障的精确识别。使用凯斯西储大学轴承数据集进行实验,结果表明改进后的SENet模块同时作用于1DCNN通道和stacked BiLSTM通道,1DCNN-BiLSTM双通道模型在保证快速收敛的情况下有最高诊断精度96.87%,优于传统单通道模型,有效提高了机械设备故障诊断效率。
聚类是一种寻找数据之间内在结构的技术,是许多数据驱动应用领域的一个基本问题,而聚类性能在很大程度上取决于数据表示的质量。近年来,深度学习因其强大的特征提取能力被广泛地应用于聚类任务,以学习更好的特征表示,显著提高了聚类性能。首先,介绍了传统的聚类任务;然后,根据网络结构介绍了基于深度学习的聚类及代表性方法,指出了当前存在的问题,并介绍了基于深度学习的聚类在不同领域的应用;最后,对基于深度学习的聚类发展进行了总结与展望。
针对投稿刊物推荐算法总是单独考虑文本主题或者作者历史发刊记录,导致投稿刊物推荐结果准确率低的问题,提出了一种基于作者偏好的学术刊物投稿推荐算法。该算法不仅协调使用了文本主题和作者历史发刊记录,还挖掘了投稿刊物的学术焦点与时间的潜在联系。首先,使用潜在狄利克雷(LDA)主题模型对文章标题进行主题提取;其次,建立主题-刊物和时间-刊物的模型图,并采用大规模信息网络嵌入(LINE)模型学习异构图节点的嵌入;最后,融合作者的主题偏好和历史发刊记录来计算刊物的综合得分,并据此对投稿作者进行投稿刊物推荐。在两个公开数据集DBLP和PubMed上的实验结果表明,相比奇异值分解(SVD)、DeepWalk、非负矩阵分解(NMF)等6个算法,所提出的算法在不同推荐的投稿刊物列表长度的情况下的召回率均为最优,并且在需要从论文和知识库中获取更少信息的同时,保持了较高的准确性,能有效提高投稿刊物推荐算法的鲁棒性。
针对现有室内移动机器人自定位方法中存在的定位精度不高,随时间积累定位误差增大,复杂室内环境下信号存在多径效应和非视距效应等问题,提出了一种基于蒙特卡罗定位(MCL)的新的移动机器人自定位方法。首先,通过分析基于无线射频识别(RFID)技术的移动机器人自定位系统,建立机器人运动模型;然后,通过分析基于接收信号强度指示(RSSI)的移动机器人自定位系统,提出机器人移动过程的观测模型;最后,针对粒子滤波定位执行效率不高的问题,提出粒子剔除策略和依据粒子方位赋予粒子权值策略,提高系统的定位精度和执行效率。仿真实验表明,机器人在移动过程中的自定位误差在X轴和Y轴方向上为3 cm,传统定位算法误差为6cm,新算法定位精度提高近1倍,且算法具有很好的鲁棒性。