为了更好地发挥通信系统的性能,充分利用系统节点的资源,提高系统的可靠性与稳定性,设计了一种基于DPDK并行通信的动态监控模型。该模型结合DPDK和通信系统的高速率、大流量、强实时性等特点,面向多节点备份、数据包与控制包分离、多网口并行收发数据包、多核并行处理数据包进行设计,分析了监控对象,研究了数据采集方法,设计了二层通信协议DMPD,并对网口进行了细粒度监控,给出了网口负载信息模型。另外,将散列函数、调整函数与动态负载信息结合起来设计了更有效、更公平的基于多网口的动态负载均衡算法。实验结果表明,该监控模型能够准确检测和及时处理系统出现的异常,并且实现了多网口的动态负载均衡。
针对大规模项目资源库中项目资源信息无序而导致无法准确快速找出项目资源库中所需资源的问题,提出了基于MapReduce的并行化模糊聚类划分算法。该算法首先抽象原始项目资源特征属性并标准化;其次,根据标准化后的特征属性建立项目相似矩阵,运用矩阵分块思想分割矩阵;然后,利用MapReduce技术处理分块矩阵并合并结果;最后,运用阈值评判划分成若干个有序的项目组。与K-means算法和遗传算法的对比实验结果证明:该算法具有较高的准确率和查全率,并且在大规模数据计算时能够得到较高的加速比,可以有效准确地划分项目资源。