基于Word2Vec词嵌入和高维生物基因选择遗传算法的文本特征选择方法

doi:10.11772/j.issn.1001-9081.2020122032

《计算机应用》唯一官方网站 ›› 2021, Vol. 41 ›› Issue (11): 3151-3155.DOI: 10.11772/j.issn.1001-9081.2020122032

所属专题：人工智能

基于Word2Vec词嵌入和高维生物基因选择遗传算法的文本特征选择方法

张阳¹, 王小宁¹^,²()

^1.中国传媒大学数据科学与智能媒体学院，北京 100024
^2.媒体融合与传播国家重点实验室（中国传媒大学），北京 100024

收稿日期:2020-12-24 修回日期:2021-07-30 接受日期:2021-08-04 发布日期:2021-07-20 出版日期:2021-11-10
通讯作者: 王小宁
作者简介:张阳（1996—），男，河北邯郸人，硕士研究生，主要研究方向：文本挖掘
王小宁（1989—），男，山东德州人，讲师，博士，CCF会员，主要研究方向：文本挖掘、机器学习。
基金资助:
北京市自然科学基金面上项目(9202018);中央高校基本科研业务费专项基金资助项目(CUC200F08)

Text feature selection method based on Word2Vec word embedding and genetic algorithm for biomarker selection in high-dimensional omics

Yang ZHANG¹, Xiaoning WANG¹^,²()

^1.School of Data Science and Intelligent Media，Communication University of China，Beijing 100024，China
^2.State Key Laboratory of Media Convergence and Communication （Communication University of China），Beijing 100024，China

Received:2020-12-24 Revised:2021-07-30 Accepted:2021-08-04 Online:2021-07-20 Published:2021-11-10
Contact: Xiaoning WANG
About author:ZHANG Yang，born in 1996，M. S. candidate. His research interests include text mining
WANG Xiaoning，born in 1989，Ph. D.，lecturer. His research interests include text mining，machine learning
Supported by:
the Surface Program of Beijing Municipal Natural Science Foundation(9202018);the Fundamental Research Funds for the Central Universities(CUC200F08)

摘要/Abstract

摘要：

文本特征是自然语言处理中的关键部分。针对目前文本特征的高维性和稀疏性问题，提出了一种基于Word2Vec词嵌入和高维生物基因选择遗传算法（GARBO）的文本特征选择方法，从而便于后续文本分类任务。首先，优化数据输入形式，使用Word2Vec词嵌入方法将文本转变成类似基因表示的词向量；然后，将高维词向量模拟基因表达方式进行迭代进化；最后，使用随机森林分类器对特征选择后的文本进行分类。使用中文评论数据集对所提出的方法进行实验，实验结果表明了优化后的GARBO特征选择方法在文本特征选择上的有效性，该方法成功地将300维特征降低为50维更有价值的特征，分类准确率达到88%，与其他过滤式文本特征选择方法相比，能够有效地降低文本特征维度，提高文本分类效果。

关键词: 文本分类, 遗传算法, 特征降维, Word2Vec, 文本特征

Abstract:

Text feature is the key part of natural language processing. Concerning the problems of high dimensionality and sparseness of text features， a text feature selection method based on Word2Vec word embedding and Genetic AlgoRithm for Biomarker selection in high-dimensional Omics （GARBO） was proposed， so as to facilitate the subsequent text classification tasks. Firstly， the data input form was optimized， and the Word2Vec word embedding method was used to transform the text into the word vectors similar to gene expression. Then， the gene expression simulated by the high-dimensional word vectors was iteratively evolved. Finally， the random forest classifier was used to classify the text after feature selection. The experiments were conducted on the Chinese comment dataset to verify the proposed method. The experimental results show that， the optimized GARBO feature selection method is effective in text feature selection， successfully reducing 300-dimensional features to 50-dimensional features with more value， and has the classification accuracy reached 88%. Compared with other filtering type text feature selection methods， the proposed method can effectively reduce the dimension of text features and improve the effect of text classification.

Key words: text classification, genetic algorithm, feature dimensionality reduction, Word2Vec, text feature

中图分类号:

TP391.1

张阳, 王小宁. 基于Word2Vec词嵌入和高维生物基因选择遗传算法的文本特征选择方法[J]. 计算机应用, 2021, 41(11): 3151-3155.

Yang ZHANG, Xiaoning WANG. Text feature selection method based on Word2Vec word embedding and genetic algorithm for biomarker selection in high-dimensional omics[J]. Journal of Computer Applications, 2021, 41(11): 3151-3155.

图/表 11

图1 传统遗传算法流程

Fig. 1 Flow chart of traditional genetic algorithm

图2 改进的自适应遗传算法流程

Fig. 2 Flow chart of improved adaptive genetic algorithm

图3 交叉算子的继承特点

Fig. 3 Inheritance characteristics of crossover operator

图4 变异过程

Fig. 4 Process of mutation

图5 算子参数传递

Fig. 5 Operator parameter passing

表1 参数设置

Tab. 1 Parameter setting

参数	值	参数	值
n_estimators	100	突变概率（mutpb）	0.1
class_weight	“balanced”	突变因子概率（mutop）	［0.2，0.2，0.6］
n_ jobs	1	特征集数	50
oob_score	True	迭代次数	100
交叉概率（cxpb）	0.6

图6 特征平均准确率与最大准确率随迭代次数变化

Fig. 6 Feature average accuracy and maximum accuracy varying with number of iterations

图7 特征适应度随迭代次数变化

Fig. 7 Feature fitness varying with number of iterations

图8 特征最大准确率和平均准确率分别与特征维度的比值随迭代次数变化

Fig. 8 Ratios of feature maximum accuracy and averageaccuracy to feature dimension varying with number of iterations

图9 特征维度随迭代次数变化

Fig. 9 Feature dimension varying with number of iterations

表2 不同方法的实验结果比较

Tab. 2 Experimental result comparison of different methods

模型	准确率/%	F1/%	特征维度数
TF-IDF	82.0	86.40	9 000
卡方统计（CHI）	84.0	86.49	8 000
GA	86.5	85.90	5 648
本文方法	88.9	86.94	50

参考文献 20

1	徐冠华，赵景秀，杨红亚，等.文本特征提取方法研究综述［J］.软件导刊，2018，17（5）：13-18.
	XU G H， ZHAO J X， YANG H Y， et al. A review of text feature extraction methods ［J］. Software Guide， 2018， 17（5）： 13-18.
2	张丽，马静.一种基于“特征降维”文本复杂网络的特征提取方法［J］.情报科学，2019，37（10）：20-25.
	ZHANG L， MA J. A feature extraction method based on “feature dimensionality reduction” text complex network ［J］. Information Science， 2019， 37（10）： 20-25.
3	马思丹，刘东苏.基于加权Word2vec的文本分类方法研究［J］.情报科学，2019，37（11）：38-42.
	MA S D， LIU D S. Text classification method based on weighted Word2vec ［J］. Information Science， 2019， 37（11）： 38-42.
4	ZHANG P J， GAN S C. An improved feature selection algorithm utilizing the within category variance ［C］// Proceedings of the 2015 International Conference on Electrical， Automation and Mechanical Engineering. Dordrecht： Atlantis Press， 2015： 814-816. 10.2991/eame-15.2015.217
5	UĞUZ H. A two-stage feature selection method for text categorization by using information gain， principal component analysis and genetic algorithm ［J］. Knowledge-Based Systems， 2011， 24（7）：1024-1032. 10.1016/j.knosys.2011.04.014
6	杜若鹏，鲜国建，寇远涛.基于改进TF-IDF-CHI算法的农业科技文献文本特征抽取［J］.数字图书馆论坛，2019（8）：18-24. 10.3772/j.issn.1673-2286.2019.08.003
	DU R P， XIAN G J， KOU Y T. Improvement and application of TF-IDF-CHI in agricultural science text feature extraction ［J］. Digital Library Forum， 2019（8）： 18-24. 10.3772/j.issn.1673-2286.2019.08.003
7	路永和，李焰锋.改进TF-IDF算法的文本特征项权值计算方法［J］.图书情报工作，2013，57（3）：90-95. doi:10.7536/j.issn.0252-3116.2013.03.017
	LU Y H， LI Y F. Improvement of text feature weighting method based on TF-IDF algorithm ［J］. Library and Information Service， 2013， 57（3）： 90-95. doi:10.7536/j.issn.0252-3116.2013.03.017
8	周茜，赵明生，扈旻.中文文本分类中的特征选择研究［J］.中文信息学报，2004，18（3）：17-23. 10.3969/j.issn.1003-0077.2004.03.003
	ZHOU Q， ZHAO M S， HU M. Study on feature selection in Chinese text categorization ［J］. Journal of Chinese Information Processing， 2004， 18（3）： 17-23. 10.3969/j.issn.1003-0077.2004.03.003
9	FIGUEIREDO F， ROCHA L， COUTO T， et al. Word co-occurrence features for text classification ［J］. Information Systems， 2011， 36（5）： 843-858. 10.1016/j.is.2011.02.002
10	YANG J M， LIU Y N， ZHU X D， et al. A new feature selection based on comprehensive measurement both in inter-category and intra-category for text categorization ［J］. Information Processing and Management， 2012， 48（4）： 741-754. 10.1016/j.ipm.2011.12.005
11	马武彬，王锐，吴亚辉，等.基于改进NSGA-Ⅲ的文本空间树聚类算法［J］.华中科技大学学报（自然科学版），2020，48（5）：86-92.
	MA W B， WANG R， WU Y H， et al. Spatial-text tree clustering algorithm based on improved NSGA-III ［J］. Journal of Huazhong University of Science and Technology （Natural Science Edition）， 2020， 48（5）： 86-92.
12	LU H J， CHEN J Y， YAN K， et al. A hybrid feature selection algorithm for gene expression data classification ［J］. Neurocomputing， 2017， 256： 56-62. 10.1016/j.neucom.2016.07.080
13	UYSAL A K， GUNAL S. Text classification using genetic algorithm oriented latent semantic features ［J］. Expert Systems with Applications， 2014， 41（13）： 5938-5947. 10.1016/j.eswa.2014.03.041
14	TREVINO V， FALCIANI F. GALGO： an R package for multivariate variable selection using genetic algorithms ［J］. Bioinformatics， 2006， 22（9）： 1154-1156. 10.1093/bioinformatics/btl074
15	GHAREB A S， BAKAR A A， HAMDAN A R. Hybrid feature selection based on enhanced genetic algorithm for text categorization ［J］. Expert Systems with Applications， 2016， 49： 31-47. 10.1016/j.eswa.2015.12.004
16	FORTINO V， SCALA G， GRECO D. Feature set optimization in biomarker discovery from genome-scale data ［J］. Bioinformatics， 2020， 36（11）： 3393-3400. 10.1093/bioinformatics/btaa144
17	BREIMAN L. Random forests ［J］. Machine Learning， 2001， 45（1）： 5-32. 10.1023/a:1010933404324
18	MAMDANI E H. Application of fuzzy algorithms for control of simple dynamic plant ［J］. Proceedings of the Institution of Electrical Engineers， 1974， 121（12）： 1585-1588. 10.1049/piee.1974.0328
19	TAN S B， ZHANG J. An empirical study of sentiment analysis for Chinese documents ［J］. Expert Systems with Applications， 2008， 34（4）： 2622-2629. 10.1016/j.eswa.2007.05.028
20	刘成锴，王斌君，吴勇.基于遗传算法的文本特征选择［J］.科学技术与工程，2019，19（33）：302-307. 10.3969/j.issn.1671-1815.2019.33.044
	LIU C K， WANG B J， WU Y. Text feature selection based on genetic algorithm ［J］. Science Technology and Engineering， 2019， 19（33）： 302-307. 10.3969/j.issn.1671-1815.2019.33.044

[1]	刘栋, 李晨航, 吴长茂, 茹法鑫, 夏媛媛. 基于可校正强化搜索遗传算法的光学系统自动设计[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2838-2847.
[2]	余新言, 曾诚, 王乾, 何鹏, 丁晓玉. 基于知识增强和提示学习的小样本新闻主题分类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1767-1774.
[3]	姚迅, 秦忠正, 杨捷. 生成式标签对抗的文本分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1781-1785.
[4]	李炫锋, 刘晟材, 唐珂. 机会约束的多选择背包问题的遗传算法求解[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1378-1385.
[5]	高麟, 周宇, 邝得互. 进化双层自适应局部特征选择[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1408-1414.
[6]	佘维, 李阳, 钟李红, 孔德锋, 田钊. 基于改进实数编码遗传算法的神经网络超参数优化[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 671-676.
[7]	余杭, 周艳玲, 翟梦鑫, 刘涵. 基于预训练模型与标签融合的文本分类[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 709-714.
[8]	王楷天, 叶青, 程春雷. 基于异构图表示的中医电子病历分类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 411-417.
[9]	张家伟, 高冠东, 肖珂, 宋胜尊. 基于改进分层注意网络和TextCNN联合建模的暴力犯罪分级算法[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 403-410.
[10]	于碧辉, 蔡兴业, 魏靖烜. 基于提示学习的小样本文本分类方法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2735-2740.
[11]	崔雨萌, 王靖亚, 刘晓文, 闫尚义, 陶知众. 融合注意力和裁剪机制的通用文本分类模型[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2396-2405.
[12]	梁军, 洪泽泓, 余松森. 基于改进粒子群优化算法和遗传变异的图像分割模型[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1743-1749.
[13]	王彬, 向甜, 吕艺东, 王晓帆. 基于NSGA‑Ⅱ的自适应多尺度特征通道分组优化算法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1401-1408.
[14]	杨森淇, 段旭良, 肖展, 郎松松, 李志勇. 基于ERNIE+DPCNN+BiGRU的农业新闻文本分类[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1461-1466.
[15]	张旭, 生龙, 张海芳, 田丰, 王巍. 基于标签混淆的院前急救文本分类模型[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1050-1055.

基于Word2Vec词嵌入和高维生物基因选择遗传算法的文本特征选择方法

Text feature selection method based on Word2Vec word embedding and genetic algorithm for biomarker selection in high-dimensional omics

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 20

相关文章 15

编辑推荐

Metrics