基于文本的人物检索旨在通过使用文本描述作为查询来识别特定人物。现有的先进方法通常设计多种对齐机制实现跨模态数据在全局和局部的对应关系,然而忽略了不同对齐机制之间的相互影响。因此,提出一种多粒度共享语义中心关联机制,深入探索全局对齐和局部对齐之间的促进和抑制效应。首先,引入一个多粒度交叉对齐模块,并通过增强图像-句子和局部区域-分词之间的交互,实现跨模态数据在联合嵌入空间的多层次对齐;其次,建立一个共享语义中心,将它作为一个可学习的语义枢纽,并通过全局特征和局部特征的关联,增强不同对齐机制之间的语义一致性,促进全局和局部特征的协同作用。在共享语义中心内,计算图像特征和文本特征之间的局部和全局跨模态相似性关系,提供一种全局视角与局部视角的互补度量,并最大限度地促进多种对齐机制之间的正向效应;最后,在CUHK-PEDES数据集上进行实验。结果表明:所提方法在Rank-1指标上较基线方法显著提升了8.69个百分点,平均精度均值(mAP)提升了6.85个百分点。在ICFG-PEDES和RSTPReid数据集上所提方法也取得了优异的性能,明显超越了所有对比方法。
遥感图像中目标尺度变化大且目标长宽比差异大,导致遥感图像目标检测困难。针对遥感图像的这一特点,通过改进YOLO框架,提出EW-YOLO(Efficient Weighted-YOLO)提高遥感图像目标检测的精度。首先,在特征融合部分,设计多级特征融合结构,以利用双分支的残差模块促进不同尺度特征的融合,并通过融合模块的级联以及跨层特征的融合设计,增强对不同尺度目标的提取能力,并进一步增强检测能力;其次,在预测部分,提出加权检测头,引入加权检测框融合(WBF),以利用置信度分数对每个候选框进行加权,并融合生成预测框,从而提高不同长宽比目标的检测精度;最后,针对图像尺寸过大的问题,提出图像重采样处理方法,即通过将图像采样至合适大小并参与网络训练,解决由于切割造成的大尺寸目标检测精度较低的问题。在DOTA数据集上进行的实验的结果表明,所提方法的检测平均精度均值(mAP)达到了77.47%,较基于原始YOLO框架的方法提升了1.55个百分点,且优于目前的主流方法。同时,也在HRSC和UCAS-AOD数据集上验证了所提方法的有效性。
时间序列分类是时间序列分析的基础。然而,现有的时间序列分类方法对应的形态特征并不能作为分类依据,且通道间的特征通过图上的单一权重刻画不够准确,导致分类精度不高。因此,提出一种融合衍生特征的时间序列事件分类方法(TSEC-FDF)。首先,在时间序列上构建时间序列事件集合后,根据每个时间序列事件构建突变图、协同图、启发图,以减少噪声对高维特征的干扰;其次,融合多图的特征作为衍生特征,并抽取时间序列事件的多个时间级别的特征;最后,提出一种融合衍生特征的多图卷积分类模型级联时间序列和图特征作为时间序列事件的高维特征。实验结果表明,与TF-C(Time-Frequency Consistency)和BiLSTM+隐马尔可夫模型(Bi-directional Long Short-Term Memory-Hidden Markov Model, BL-HMM)方法相比,TSEC-FDF在4个真实数据集上的准确率、精确率、查全率、F1值、AUROC(Area Under the Receiver Operating Characteristic curve)以及AUPRC(Area Under the Precision versus Recall Curve)至少提升了3.2%、4.7%、7.8%、6.3%、0.9%和2.2%。
针对联邦空间数据的数据孤岛问题、空间数据索引问题以及发布联邦空间数据存在的隐私问题,提出基于动态四分树的联邦空间数据发布(FSP)方法。首先,在FSP方法的每轮迭代中,服务端把四分树副本共享给该轮中每个客户端,每个客户端利用四分树副本编码自身位置数据,利用Polya分布产生离散噪声在本地扰动编码结果;其次,结合容错学习(LWE)生成本地掩码对噪声结果进行加密;再次,安全聚集端结合该轮迭代中每个客户端的报告值,执行安全聚集与消除掩码操作,然后把聚集结果发送给服务端;最后,服务端结合收集的编码向量与噪声方差自底向上地动态修剪四分树结构。在Beijing、Checkin、NYC和Landmark 4个空间数据集上的实验结果表明,FSP方法在保证客户端隐私的同时,与已有的较好的联邦空间数据发布方法AHH(Adaptive Hierarchical Histograms)相比,在隐私预算为1.8时,FSP的均方误差(MSE)分别降低了3.80%、2.96%、7.51%和14.13%。可见使用FSP方法进行联邦空间数据发布的精度优于同类方法。
针对现有联邦学习模型中存在的本地设备模型梯度泄露、中心化服务器设备可随意退出、全局模型无法抵御恶意用户攻击等问题,提出面向联邦学习的随机验证区块链构建及隐私保护方法。首先,引入可验证哈希函数以随机选举区块链的领导节点,确保节点出块的公平性;其次,设计了验证节点的交叉检测机制防御恶意节点的攻击;最后,基于差分隐私技术训练区块链节点,根据节点对模型的贡献程度构建激励规则进行节点激励,提高联邦学习模型的训练准确率。实验结果表明,所提方法在20%恶意节点的情况下,对于恶意节点的投毒攻击能够达到80%的准确率,相较于Google FL提升了61个百分点,而所提方法在噪声方差为10-3时梯度匹配损失比Google FL提升了14个百分点。可见,相较于Google FL等联邦学习方法,所提方法在提升模型的安全性前提下能够保证良好的精确度,具有更好的安全性和鲁棒性。
区块链具有去中心化、不可篡改、可追溯等特征。现有的联盟链系统在数据上链后会全程留痕,当出现敏感信息或恶意数据时无法处理,或处理后区块链分叉、中断。针对这些问题,提出一种基于变色龙哈希和可验证秘密共享的联盟链数据修改方法。首先,把变色龙哈希的陷门再分配给身份节点,从而将发起修改者与实际修改者进行隔离;其次,为保证再分配值的正确性,将不同时间周期变色龙哈希所对应的数据设为可验证数据,用验证节点上传承诺到可验证数据,并用提案节点通过承诺验证秘密共享值;最后,为防止节点作恶,提出基于奖励金机制的数据纠正方法提高节点纠正作恶的积极性,降低作恶的可能。在中山大学区块链与智能金融研究中心InPlusLab开发的DApps数据集上进行实验的结果表明:当恶意节点数30个时,所提方法相较于用传统变色龙哈希修改联盟链数据的方法在处理恶意节点的效率方面提高了44.1%;当恶意数据量达到30条时,在处理恶意数据的时间上缩短了53.7%。
为了更好地满足中餐菜品识别对准确性和时效性的应用需求,设计一种新型的菜品识别网络。在原YOLOv5模型的基础上,结合Supermask方法与结构化通道剪枝对模型进行剪枝操作,并利用Int8量化技术最终实现对模型的轻量化处理,保证模型在菜品识别中兼顾准确率和速度,同时提高模型的可移植性。实验结果表明,所提模型在交并比(IoU)为0.5时,平均精度均值(mAP)达到99.00%,平均每帧识别时间达到59.54 ms,相较于原始YOLOv5降低了20 ms,且准确率基本保持一致。此外,利用Qt软件将新型菜品识别网络移植到瑞萨RZ/G2L开发板,构建智能出餐系统,可实现点餐、生成订单、自动出餐全流程,为未来真正的餐厅智能出餐系统的构建应用提供了理论与实践基础。
针对现有微博事件抽取方法由于基于事件的内容特征,而忽略事件本身的社会属性与时间特征之间的关系,进而无法识别微博热点传播过程中关键事件的问题,提出了一种融合社会影响力和时间分布的微博关键事件抽取方法。首先通过建模社会影响力来刻画微博事件的重要性,然后融合微博事件演化过程中的时间特性以捕获事件在不同时间分布下的差异,最后抽取出不同时间分布下的微博关键事件。在真实数据集上的实验结果表明,所提方法能有效抽取微博热点中的关键事件,较随机选择、词频-逆文本频率(TF-IDF)、最小权重支配集以及度与聚集系数这四种方法在事件集的完整性指标ROUGE-1上在数据集1上分别提升了21%、18%、26%以及30%,在数据集2上分别提升了14%、2%、21%以及23%,抽取效果优于传统方法。
股票市场是金融市场关键组成部分,因此对股票市场波动的研究对合理化控制金融市场风险、提高投资收益提供了重要支持,一直以来都是学术界和相关业界的关注焦点,然而,股票市场会受到各种因素的影响。面对股票市场中多源化、异构化的信息,如何高效挖掘、融合股票市场的多源异构数据具有挑战性。为了充分解释不同信息及信息间相互作用对于股票市场价格波动的影响,提出一种基于多重注意力机制的图神经网络来预测股票市场的价格波动。首先,引入关系维度构建股票市场交易数据和新闻文本的异构子图,并利用多重注意力机制实现图数据的融合;其次,通过图神经网络门控循环单元(GRU)进行图分类,在此基础上完成对股票市场中上证综合指数、沪深300指数、深证成份指数这三个重要指数波动的预测。实验结果表明,从异构信息特性角度,相较于股票市场交易数据,股市新闻信息对于股票价格影响存在滞后性;从异构信息融合角度,所提方法与支持向量机(SVM)、随机森林、多核k-means (MKKM)聚类等算法相比,预测准确率分别提升了17.88个百分点、30.00个百分点和38.00个百分点,并进行了模型交易策略的量化投资模拟。
光伏板积灰会降低光伏发电的转换效率,同时易造成光伏板的损坏;因此,对光伏板的积灰进行智能识别具有重大意义。针对以上问题,提出一种基于改进深度残差网络的光伏板积灰程度识别模型。首先,通过分解卷积和微调下采样,对次代残差网络(ResNeXt)50进行改进;然后,融合坐标注意力(CA)机制,将位置信息嵌入到通道注意力中,通过精确的位置信息对通道关系和长期依赖性进行编码,并通过二维全局池操作将特征图像分解为两个一维编码,以增强关注对象的表示;最后,用监督对比(SupCon)学习损失函数替代交叉熵损失函数,从而有效提高识别准确率。实验结果表明,在真实光伏电站4个等级的光伏板积灰程度识别中,改进后的ResNeXt50的识别准确率为90.7%,与原始ResNeXt50相比提升了7.2个百分点。所提模型可满足光伏电站智能运维的基本要求。
时空数据作为一种同时具有时间维度及空间维度的数据类型,被广泛应用于供应链管理、电子商务等领域,它的完整性及安全性在实际应用中具有重要意义。针对目前时空数据集中式存储方式存在数据不透明且易被篡改的问题,将区块链技术的去中心化、防篡改、可追溯等特性与时空数据管理相结合,提出面向时空数据的区块链构建及查询方法。首先,提出一种基于改进图型区块链(Block?DAG)的时空数据区块链架构ST_Block?DAG;其次,为了提升时空数据的存储及查询效率,在ST_Block?DAG区块链内部采取基于四叉树及单链表的结构存储时空数据;最后,在ST?Block?DAG存储结构基础上实现了多种时空数据查询算法,如单值查询、范围查询等。实验结果表明,与STBitcoin、Block?DAG以及STEth相比,ST_Block?DAG的时空数据处理效率提升了70%以上,时空数据综合查询性能提升了60%以上。所提方法能够实现时空数据的快速存储及查询,可以有效支持时空数据的管理。
针对传统的卷积神经网络(CNN)不能直接处理点云数据,需先将点云数据转换为多视图或者体素化网格,导致过程复杂且点云识别精度低的问题,提出一种新型的点云分类与分割网络Linked-Spider CNN。首先,在Spider CNN基础上通过增加Spider卷积层数以获取点云深层次特征;其次,引入残差网络的思想在每层Spider卷积增加短连接构成残差块;然后,将每层残差块的输出特征进行拼接融合形成点云特征;最后,使用三层全连接层对点云特征进行分类或者利用多层卷积层对点云特征进行分割。在ModelNet40和ShapeNet Parts数据集上将所提网络与PointNet、PointNet++和Spider CNN等网络进行对比实验,实验结果表明,所提网络可以提高点云的分类精度和分割效果,说明该网络具有更快的收敛速度和更强的鲁棒性。