%0 Journal Article %A 宫秀军 %A 邳文君 %T 基于Hadoop架构的数据驱动的SVM并行增量学习算法 %D 2016 %R 10.11772/j.issn.1001-9081.2016.11.3044 %J 计算机应用 %P 3044-3049 %V 36 %N 11 %X 针对传统支持向量机(SVM)算法难以处理大规模训练数据的困境,提出一种基于Hadoop的数据驱动的并行增量Adaboost-SVM算法(PIASVM)。利用集成学习策略,局部分类器处理一个分区的数据,融合其分类结果得到组合分类器;增量学习中用权值刻画样本的空间分布特性,对样本进行迭代加权,利用遗忘因子实现新增样本的选择及历史样本的淘汰;采用基于HBase的控制器组件用以调度迭代过程,持久化中间结果并减小MapReduce原有框架迭代过程中的带宽压力。多组实验结果表明,所提算法具有优良的加速比、扩展率和数据伸缩度,在保证分类精度的基础上提高了SVM算法对大规模数据的处理能力。 %U http://www.joca.cn/CN/10.11772/j.issn.1001-9081.2016.11.3044