优化的支持向量机集成分类器在非平衡数据集分类中的应用

doi:10.11772/j.issn.1001-9081.2015.05.1306

计算机应用 ›› 2015, Vol. 35 ›› Issue (5): 1306-1309.DOI: 10.11772/j.issn.1001-9081.2015.05.1306

优化的支持向量机集成分类器在非平衡数据集分类中的应用

章少平, 梁雪春

南京工业大学自动化与电气工程学院, 南京 211816

收稿日期:2014-12-16 修回日期:2015-01-14 发布日期:2015-05-14 出版日期:2015-05-10
通讯作者: 梁雪春
作者简介:章少平(1990-),男,江苏盐城人,硕士研究生,主要研究方向:机器学习、数据挖掘; 梁雪春(1969-),女,江苏南京人,教授,博士,主要研究方向:复杂系统预测及建模.
基金资助:
江苏省普通高校研究生科研创新计划项目(SJLX_0334);江苏省科技厅软科学项目(BR2012043).

Applications of unbalanced data classification based on optimized support vector machine ensemble classifier

ZHANG Shaoping, LIANG Xuechun

School of Automation and Electrical Engineering, Nanjing Technology University, Nanjing Jiangsu 211816, China

Received:2014-12-16 Revised:2015-01-14 Online:2015-05-14 Published:2015-05-10

摘要/Abstract

摘要：

传统的分类算法大都建立在平衡数据集的基础上,当样本数据不平衡时,这些学习算法的性能往往会明显下降.对于非平衡数据分类问题,提出了一种优化的支持向量机(SVM)集成分类器模型,采用KSMOTE和Bootstrap对非平衡数据进行预处理,生成相应的SVM模型并用复合形算法优化模型参数,最后利用优化的参数并行生成SVM集成分类器模型,采用投票机制得到分类结果.对5组UCI标准数据集进行实验,结果表明采用优化的SVM集成分类器模型较SVM模型、优化的SVM模型等分类精度有了明显的提升,同时验证了不同的bootNum取值对分类器性能效果的影响.

关键词: 非平衡数据, 分类算法, 支持向量机, 集成分类器

Abstract:

The traditional classification algorithms are mostly based on balanced datasets. But when the sample is not balanced, the performance of these learning algorithms are often significantly decreased. For the classification of imbalanced data, a optimized Support Vector Machine (SVM) ensemble classifier model was proposed. Firstly, the model used KSMOTE and Bootstrap to preprocess the imbalanced data and paralleled to generate the corresponding SVM models. And then these SVM models' parameters were optimized by using complex method. At last the optimized SVM ensemble classifier model was generated by the above parameters and produce the final result by voting mechanism. Through the experiment on 5 groups of UCI standard data set, the experimental results show that the optimized SVM ensemble classifier model has higher classification accuracy than SVM model, optimized SVM model and so on. And the results also verify the effect of different bootNum values on the optimized SVM ensemble classifier.

Key words: unbalanced data, classification method, Support Vector Machine (SVM), ensemble classifier

中图分类号:

TP391

章少平, 梁雪春. 优化的支持向量机集成分类器在非平衡数据集分类中的应用[J]. 计算机应用, 2015, 35(5): 1306-1309.

ZHANG Shaoping, LIANG Xuechun. Applications of unbalanced data classification based on optimized support vector machine ensemble classifier[J]. Journal of Computer Applications, 2015, 35(5): 1306-1309.

参考文献

[1] GUO W. Classification of imbalanced datasets research based on ensemble learning[D]. Xi'an: Xidian University, 2013.(郭文利. 基于集成学习的非平衡数据集分类问题的研究[D]. 西安: 西安电子科技大学, 2013.)
[2] HE L. A study for ensemble learning based on SVM[D]. Guangzhou: South China University of Technology, 2010.(贺粱. 基于支持向量机的集成学习算法研究[D]. 广州: 华南理工大学, 2010.)
[3] TAO C. Feature extraction and classification methods for imbalanced and small sample datasets[D]. Harbin: Harbin Institute of Technology, 2012.(陶存贵. 不平衡小样本数据的特征提取与分类方法研究[D]. 哈尔滨: 哈尔滨工业大学, 2012.)
[4] CHAWLA N V, BOWYER K W, HALL L O, et al. SMOTE: synthetic minority over-sampling technique[J]. Journal of Artificial Intelligence Research, 2002,16(1):321-357.
[5] HANSEN L K, SALAMON P. Neural network ensembles[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990,12(10):993-1001.
[6] KEARNS M, VALIANT L G. Learning Boolean formulae or factoring, TR-1488[R]. Cambridge: Harvard University,1988.
[7] VILARINO F, SPYRIDONOS P, RADEVA R, et al. Experiments with SVM and stratified sampling with an imbalanced problem: detection of intestinal contractions[C]// Proceedings of the 3rd International Conference on Advances in Pattern Recognition, LNCS 3687. Berlin: Springer, 2005:783-791.
[8] ZHOU S, ZHANG L, LI L. Application of over-sampling algorithm based on K nearest neighbors in imbalanced medical datasets learning[J]. Chinese Journal of Health Statistics, 2008,12(25):566-569.(周舒冬,张磊,李丽霞.基于K近邻的过抽样算法在不平衡的医学资料中的应用[J].中国卫生统计,2008, 12(25):566-569.)
[9] EFRON B. Bootstrap methods: another look at the jackknife[J]. The Annals of Statistics,1979,7(1):1-26.
[10] VAPNIK V. The nature of statistical learning theory[M]. New York: Spring-Verlag,1995:988-999.
[11] BOX M J. A new method of constrained optimization and a comparison with other methods[J].Constrained Optimization, 1965,8(1):42-52.
[12] SU J. Study on optimization design and motion simulation of operating mechanism of loader[D]. Jinan: Shandong University, 2002.(宿洁华.装载机工作装置优化设计及运动仿真研究[D]. 济南:山东大学,2002.)

[1]	孙敏, 成倩, 丁希宁. 基于CBAM-CGRU-SVM的Android恶意软件检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1539-1545.
[2]	乔恩保, 高向阳, 程俊. 基于支持向量机的自恢复自适应蒙特卡洛定位算法[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3246-3251.
[3]	崔昊阳, 张晖, 周雷, 杨春明, 李波, 赵旭剑. 有序规范实数对多相似度K最近邻分类算法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2673-2678.
[4]	黄学雨, 贺怀宇, 林慧敏, 陈金水. 基于特征聚合的铜合金金相图分类识别方法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2593-2601.
[5]	孙林, 黄金旭, 徐久成. 基于邻域容差互信息和鲸鱼优化算法的非平衡数据特征选择[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1842-1854.
[6]	温祥西, 彭娅婷, 毕可心, 衡宇铭, 吴明功. 基于最优样本集在线模糊最小二乘支持向量机的飞行冲突网络态势预测[J]. 《计算机应用》唯一官方网站, 2023, 43(11): 3632-3640.
[7]	韩亚茹, 闫连山, 姚涛. 基于元学习的深度哈希检索算法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2015-2021.
[8]	张仲华, 赵福媛, 郭钧枫, 赵高长. 柯西自适应回溯搜索与最小二乘支持向量机的集成预测模型[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1829-1836.
[9]	杨磊, 赵红东, 于快快. 基于多头注意力机制的端到端语音情感识别[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1869-1875.
[10]	屈震, 李堃婷, 冯志玺. 基于有效通道注意力的遥感图像场景分类[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1431-1439.
[11]	乔桂芳, 侯守明, 刘彦彦. 基于改进卷积神经网络与支持向量机结合的面部表情识别算法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1253-1259.
[12]	邱云志, 汪廷华, 戴小路. 双重特征加权模糊支持向量机[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 683-687.
[13]	祁祥洲, 邢红杰. 基于中心核对齐的多核单类支持向量机[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 349-356.
[14]	谭旺, 李轶. 循环程序的界函数合成[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 565-573.
[15]	李蒙蒙, 刘艺, 李庚松, 郑奇斌, 秦伟, 任小广. 不平衡多分类算法综述[J]. 《计算机应用》唯一官方网站, 2022, 42(11): 3307-3321.

优化的支持向量机集成分类器在非平衡数据集分类中的应用

Applications of unbalanced data classification based on optimized support vector machine ensemble classifier

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics