基于词频差异的特征选取及改进的TF-IDF公式

doi:10.3724/SP.J.1087.2005.02031

计算机应用 ›› 2005, Vol. 25 ›› Issue (09): 2031-2033.DOI: 10.3724/SP.J.1087.2005.02031

基于词频差异的特征选取及改进的TF-IDF公式

罗欣，夏德麟，晏蒲柳

武汉大学电子信息学院

发布日期:2011-04-11 出版日期:2005-09-01

Improved feature selection method and TF-IDF formula based on word frequency differentia

LUO Xin,XIA De-lin,YAN Pu-liu

School of Electronics & Information,Wuhan University,Hubei Wuhan 430079,China

Online:2011-04-11 Published:2005-09-01

摘要/Abstract

摘要： 文档向量化的质量对于文本分类的速度和准确度有着很大的影响。对文档向量化中常用的TF-IDF公式,互信息量公式以及信息增益公式进行了分析。提出一种基于词频差异的特征选取方法和改进的TF-IDF公式,以提高特征选取质量和文本分类的速度及准确度。

关键词: , 特征选取, 向量空间模型, 文本分类, TF-IDF, 信息增益, 互信息量

Abstract: The vectorization of documents affects the speed and accuracy of text categorization greatly.The most common used formulas: TF-IDF,MI,and IG were analyzed.The method of feature selection based on word frequency differentia was proposed and TF-IDF formula was modified to improve the quality of feature selection,the speed and accuracy of categorization.

Key words: feature selection, VSM, text categorization, TF-IDF, IG, MI

中图分类号:

TP391.1

罗欣，夏德麟，晏蒲柳. 基于词频差异的特征选取及改进的TF-IDF公式[J]. 计算机应用, 2005, 25(09): 2031-2033.

LUO Xin,XIA De-lin,YAN Pu-liu. Improved feature selection method and TF-IDF formula based on word frequency differentia[J]. Journal of Computer Applications, 2005, 25(09): 2031-2033.

[1]	张洋, 江铭虎. 基于注意力机制的文本作者识别[J]. 计算机应用, 2021, 41(7): 1897-1901.
[2]	温超东, 曾诚, 任俊伟, 张. 结合ALBERT和双向门控循环单元的专利文本分类[J]. 计算机应用, 2021, 41(2): 407-412.
[3]	张阳, 王小宁. 基于Word2Vec词嵌入和高维生物基因选择遗传算法的文本特征选择方法[J]. 《计算机应用》唯一官方网站, 2021, 41(11): 3151-3155.
[4]	尹春勇, 何苗. 基于改进胶囊网络的文本分类[J]. 计算机应用, 2020, 40(9): 2525-2530.
[5]	廖胜兰, 殷实, 陈小平, 张波, 欧阳昱, 张衡. 面向电力业务对话系统的意图识别数据集[J]. 计算机应用, 2020, 40(9): 2549-2554.
[6]	王敏蕊, 高曙, 袁自勇, 袁蕾. 基于动态路由序列生成模型的多标签文本分类方法[J]. 计算机应用, 2020, 40(7): 1884-1890.
[7]	李鸣, 郭晨皓, 陈星. 视觉类深度神经网络的自动标注[J]. 计算机应用, 2020, 40(6): 1593-1600.
[8]	王留洋, 俞扬信, 陈伯伦, 章慧. 基于共识和分类改善文档聚类的识别信息方法[J]. 计算机应用, 2020, 40(4): 1069-1073.
[9]	张小川, 戴旭尧, 刘璐, 冯天硕. 融合多头自注意力机制的中文短文本分类模型[J]. 计算机应用, 2020, 40(12): 3485-3489.
[10]	马建刚, 马应龙. 语义驱动的司法文档学习分类方法[J]. 计算机应用, 2019, 39(6): 1696-1700.
[11]	马建刚, 张鹏, 马应龙. 基于知识块摘要和词转移距离的高效司法文档分类[J]. 计算机应用, 2019, 39(5): 1293-1298.
[12]	王伟, 谢耀滨, 尹青. 针对不平衡数据的决策树改进方法[J]. 计算机应用, 2019, 39(3): 623-628.
[13]	邱宁佳, 丛琳, 周思丞, 王鹏, 李岩芳. 结合改进主动学习的SVD-CNN弹幕文本分类算法[J]. 计算机应用, 2019, 39(3): 644-650.
[14]	唐小川, 邱曦伟, 罗亮. 基于交互作用的文本分类特征选择算法[J]. 计算机应用, 2018, 38(7): 1857-1861.
[15]	卢玲, 杨武, 王远伦, 雷子鉴, 李莹. 结合注意力机制的长文本分类方法[J]. 计算机应用, 2018, 38(5): 1272-1277.

基于词频差异的特征选取及改进的TF-IDF公式

Improved feature selection method and TF-IDF formula based on word frequency differentia

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics