为了解决区块链数据量剧增带来的存储问题,提出一种改进的一致性哈希算法,以实现区块链的存储扩展。针对Hyperledger Fabric在企业级应用中节点存储负载不均和数据倾斜的问题,基于一致性哈希算法提出了改进方案——基于虚拟节点分配与动态权重策略的哈希算法(VNDWS)。首先,采用虚拟节点分配机制为每个节点动态分配多个虚拟节点,使数据在哈希环中均匀分布,减少负载不均;其次,应用动态权重机制,基于节点存储能力和网络延迟等性能指标实时调整权重,使高性能节点承担更多数据负载,从而优化数据分配和存储效率。仿真实验结果表明,与传统区块链Fabric网络和传统一致性哈希算法相比,VNDWS的节点存储消耗分别降低了48.31和6.39个百分点,而数据查询效率分别提升了96.25%和21.95%。VNDWS在存储扩展方面能有效降低节点存储消耗并提高查询效率。
针对目前交通流短时预测对于交通流特性考虑得不够全面、预测精度不高的问题,提出一种基于时空节点选择和深度学习的城市道路交通流短时预测方法。首先,在理论和数据表现上对交通流特性进行分析,获得时空特性;其次,根据车流的可达范围确定候选时空节点集合,以误差平方和的倒数为目标函数计算适应度,在训练集上使用遗传算法和反向传播神经网络(BPNN)进行时空节点选择,得到最终的时空节点和训练好的BPNN;最后,在工作集上将选择的时空节点的实测值输入训练好的BPNN得出预测值。实验结果表明,所提模型与仅使用相邻时空节点数据、采用其他时间节点范围、支持向量机(SVM)和梯度提升树(GBDT)相比误差略有降低,平均绝对误差(MAE)和平均绝对百分误差(MAPE)分别为10.631 6和14.275 8%;仅使用与待预测路段相邻空间的交通流数据的预测结果相比MAE和MAPE两个值上分别高出了0.257 3和0.999 1个百分点。
随着数据与系统规模的不断扩大,网络传输成为了键值存储系统的性能瓶颈。同时,远程直接内存访问(RDMA)技术能够支持高带宽和低时延的数据传输,为键值存储系统设计提供了新的思路。结合高性能网络中的RDMA技术,设计并实现了高性能、低CPU负载的键值存储系统Chequer;结合RDMA原语的特性,重新设计了键值存储系统的基本操作工作流程;并设计了基于线性探测的共享hash表,解决客户端缓存失效的问题以及提高hash命中率来减少客户端的读取轮数,进一步提高了系统的性能。在小规模集群上实现了Chequer系统,并通过实验验证了其性能。