新的短文本特征权重计算方法

计算机应用 ›› 2013, Vol. 33 ›› Issue (08): 2280-2282.

新的短文本特征权重计算方法

马雯雯¹,邓一贵¹,²

1. 重庆大学计算机学院，重庆 400044;
2. 重庆大学信息与网络管理中心，重庆 400044

收稿日期:2013-02-25 修回日期:2013-03-30 出版日期:2013-08-01 发布日期:2013-09-11
通讯作者: 马雯雯
作者简介:马雯雯(1986-)，女，陕西西安人，硕士，主要研究方向：计算机网络与信息安全;
邓一贵(1971-)，男，四川简阳人，高级工程师，博士，主要研究方向：计算机网络与信息安全、移动代理。
基金资助:
重庆市自然科学基金资助项目

New feature weight calculation method for short text

MA Wenwen¹,DENG Yigui¹,²

1. College of Computer Science, Chongqing University, Chongqing 400044, China
2. Center of Information and Network, Chongqing University, Chongqing 400044, China

Received:2013-02-25 Revised:2013-03-30 Online:2013-09-11 Published:2013-08-01
Contact: MA Wenwen

摘要/Abstract

摘要： 短文本固有的特征稀疏和样本高度不均衡等特点，使得传统长文本的加权方法难以直接套用。针对此问题，提出一种针对短文本的特征权重计算方法——综合类别法。该方法引入反文档频和相关性频率的概念，综合考虑了样本在正类和负类中的分布情况。实验结果表明，相对于其他特征权重方法，该方法的微平均和宏平均值均在90%以上，能增强样本在负类中的类别区分能力，改善短文本分类的查准率和查全率。

关键词: 短文本, 特征权重, 不均衡样本, 文本分类

Abstract: The inherent sparse features and unbalanced sample of the short text make it difficult for short text to use traditional weight of long text mechanically. To resolve this problem, an approach of short text feature weight named Integrated Category (IC) was proposed. This approach introduced the concept of inverse document frequency and relevancy frequency, and integrated the distribution of sample in positive category and negative category. The experimental results show that, compared with other feature weight methods, the micro-average and macro-average of this method are above 90%, and it can enhance the sample categories distinguishing ability in negative category, and improve the precision and recall of short text categorization.

Key words: short text, feature weight, unbalanced sample, text categorization

中图分类号:

TP311

马雯雯邓一贵. 新的短文本特征权重计算方法[J]. 计算机应用, 2013, 33(08): 2280-2282.

MA Wenwen DENG Yigui. New feature weight calculation method for short text[J]. Journal of Computer Applications, 2013, 33(08): 2280-2282.

[1]	张洋, 江铭虎. 基于注意力机制的文本作者识别[J]. 计算机应用, 2021, 41(7): 1897-1901.
[2]	蔡瑞光, 张德生, 肖燕婷. 参数独立的加权局部均值伪近邻分类算法[J]. 计算机应用, 2021, 41(6): 1694-1700.
[3]	温超东, 曾诚, 任俊伟, 张. 结合ALBERT和双向门控循环单元的专利文本分类[J]. 计算机应用, 2021, 41(2): 407-412.
[4]	张阳, 王小宁. 基于Word2Vec词嵌入和高维生物基因选择遗传算法的文本特征选择方法[J]. 《计算机应用》唯一官方网站, 2021, 41(11): 3151-3155.
[5]	邓钰, 李晓瑜, 崔建, 刘齐. 用于短文本情感分类的多头注意力记忆网络[J]. 《计算机应用》唯一官方网站, 2021, 41(11): 3132-3138.
[6]	尹春勇, 章荪. 面向短文本情感分类的端到端对抗变分贝叶斯方法[J]. 计算机应用, 2020, 40(9): 2536-2542.
[7]	廖胜兰, 殷实, 陈小平, 张波, 欧阳昱, 张衡. 面向电力业务对话系统的意图识别数据集[J]. 计算机应用, 2020, 40(9): 2549-2554.
[8]	尹春勇, 何苗. 基于改进胶囊网络的文本分类[J]. 计算机应用, 2020, 40(9): 2525-2530.
[9]	王敏蕊, 高曙, 袁自勇, 袁蕾. 基于动态路由序列生成模型的多标签文本分类方法[J]. 计算机应用, 2020, 40(7): 1884-1890.
[10]	李鸣, 郭晨皓, 陈星. 视觉类深度神经网络的自动标注[J]. 计算机应用, 2020, 40(6): 1593-1600.
[11]	王留洋, 俞扬信, 陈伯伦, 章慧. 基于共识和分类改善文档聚类的识别信息方法[J]. 计算机应用, 2020, 40(4): 1069-1073.
[12]	王舒漫, 李爱萍, 段利国, 付佳, 陈永乐. 基于BTM的物联网服务发现方法[J]. 计算机应用, 2020, 40(2): 459-464.
[13]	张小川, 戴旭尧, 刘璐, 冯天硕. 融合多头自注意力机制的中文短文本分类模型[J]. 计算机应用, 2020, 40(12): 3485-3489.
[14]	陈洁, 邵志清, 张欢欢, 费佳慧. 基于并行混合神经网络模型的短文本情感分析[J]. 计算机应用, 2019, 39(8): 2192-2197.
[15]	马建刚, 马应龙. 语义驱动的司法文档学习分类方法[J]. 计算机应用, 2019, 39(6): 1696-1700.