突发事件新闻标题与正文提取方法

doi:10.11772/j.issn.1001-9081.2014.10.2865

计算机应用 ›› 2014, Vol. 34 ›› Issue (10): 2865-2868.DOI: 10.11772/j.issn.1001-9081.2014.10.2865

突发事件新闻标题与正文提取方法

罗永莲,赵昌垣

晋中学院信息技术与工程学院，山西晋中 030619

收稿日期:2014-05-08 修回日期:2014-06-18 出版日期:2014-10-01 发布日期:2014-10-30
通讯作者: 罗永莲
作者简介:罗永莲（1973-），女，山西晋中人，副教授，硕士，主要研究方向：中文信息处理、教育测量理论；赵昌垣（1963-），男，山西晋中人，高级讲师，主要研究方向：数据库、软件工程管理。
基金资助:
山西省高等学校教学改革项目;山西省教育科学“十一五”规划课题

Extracting method of emergency news headline and text from webpages

LUO Yonglian,ZHAO Changyuan

School of Information Technology and Engineering, Jinzhong University, Jinzhong Shanxi 030619, China

Received:2014-05-08 Revised:2014-06-18 Online:2014-10-01 Published:2014-10-30
Contact: LUO Yonglian

摘要/Abstract

摘要：

针对突发事件新闻网页语料处理问题，提出了一种基于此类新闻特点与网页标记信息的抽取和定位新闻内容的方法。该方法将网页标记与文本相似度作为机器学习的特征项，利用贝叶斯分类方法提取新闻标题。利用事件新闻的用词稳定性与网页标记的嵌套特点，减少了文本处理数量，降低了文本向量维数，在此基础上计算向量相似度以定位新闻篇首与篇尾。实验结果表明，该方法抽取标题的准确率达到86.5%，抽取正文的平均准确率在78%以上，能有效抽取新闻内容，且易于实现，对其他网页文本处理中挖掘标记信息与文本自身信息具有一定的借鉴意义。

Abstract:

Concerning the processing of emergency news webpages corpora, an news content extracting and locating method based on the characteristics of emergency news and webpage tags was proposed. By taking webpage tags and text similarity as the features of machine learning, this method extracted the news headlines based on the Bayes method. Meanwhile, the method reduced text processing quantity and dimensionality of text vector based on the stability of emergency news words and nesting of webpage tags, so that it calculated similarity of vector to locate the news beginning and ending. The experimental results show that this method extracts news headlines with an 86.5% accuracy rate and extracts news texts with an average accuracy rate of more than 78%. The proposed method is effective and efficient. It has certain reference for mining webpage tags and own information of text on webpages.

中图分类号:

TP391.1

罗永莲赵昌垣. 突发事件新闻标题与正文提取方法[J]. 计算机应用, 2014, 34(10): 2865-2868.

LUO Yonglian ZHAO Changyuan. Extracting method of emergency news headline and text from webpages[J]. Journal of Computer Applications, 2014, 34(10): 2865-2868.

参考文献

［1］ZHANG C, GU X, BAI Y. The progress of Web data extraction technology ［J］. Computers Science, 2004,31(2):129-131.（张成洪，古晓洪，白延红.Web数据抽取技术研究进展［J］.计算机科学,2004,31(2):129-131.）
［2］WU L, WANG X. Research on application of data mining technology in the field of education ［M］. Beijing: Beijing University of Posts and Telecommunications Press, 2013:202-206.（武丽芬，王秀华.数据挖掘技术在教育领域的应用研究［M］.北京：北京邮电大学出版社，2013：202-206.）［3］YANG Y, PEDERSEN J O. A comparative study on feature selection in text categorization ［C］// Proceedings of the 1997 14th International Conference on Machine Learning. San Francisco: Morgan Kaufmann,1997:263-267.
［4］ZHANG J, HU X, BU J. Survey on text information extraction from Web page ［J］. Application Research of Computers, 2009,26(8):2827-2831.（张俊英，胡侠，卜佳俊.网页文本信息自动提取技术综述［J］.计算机应用研究,2009,26(8)：2827-2831.）
［5］HUANG L, CHEN L. Web information extraction based on visual block segmentation ［J］. Journal of Computer Applications, 2008，28(12):326-328.（黄玲，陈龙.基于网页分块的正文信息提取方法［J］.计算机应用，2008，28(12)：326-328.）
［6］LUO Y, QIN Z. Research on extracting topic content from news webpages ［J］. Micrcomputer Applications, 2007,28(5):556-560.（罗永莲，秦振吉.新闻网页主题内容提取方法研究［J］.微计算机应用，2007，28(5)：556-560.）
［7］LUO Y, ZHANG Y. On deletion of duplicated breaking news webpages［J］. Computer Applications and Software, 2008,25(8):24-26.（罗永莲，张永奎.突发事件新闻网页的去重方法研究［J］.计算机应用与软件，2008，25(8)：24-26.）
［8］CHENG L, HE P, SUN Y. Study on Chinese keyword extraction algorithm based on naive Bayes model ［J］. Journal of Computer Applications, 2005，25(12):2780-2782.（程岚岚，何丕廉，孙越恒.基于朴素贝叶斯模型的中文关键词提取算法研究［J］.计算机应用,2005，25(12)：2780-2782.）
［9］ZHANG Y, LIU T, WEN X. Modified Bayesian model based question classification ［J］. Journal of Chinese Information Processing, 2005,19(2):100-105.（张宇，刘挺，文勖.基于改进贝叶斯模型的问题分类［J］.中文信息学报，2005，19(2)：100-105.）
［10］TONG B. Introduction to the theory of journalism ［M］. Beijing：China Renmin University Press, 2002：118-223.（童兵.理论新闻传播学导论［M］. 北京：中国人民大学出版社,2002：118-223.）
［11］YAN T W, GARCIA-MOLINA H. Index structures for information filtering under the vector space model ［C］// Proceedings of the 10th International Conference on Data Engineering. Washington, DC: IEEE Computer Society, 1994:37-47.
［12］LI G, CHEN C, LI Z, et al.Automatic Web structured data extraction based on tag path ［J］. Computers Science,2013,40(6A):141-145.（李贵，陈成，李征宇，等.基于标签路径的Web结构化数据自动抽取［J］.计算机科学,2013,40(6A)：141-145.）

[1]	殷雨昌王洪元陈莉冯尊登肖宇. 基于单标注样本的多损失学习与联合度量视频行人重识别[J]. 计算机应用, 0, (): 0-0.
[2]	左亚尧陈致然洪嘉伟陈坤. 融合多语义特征的命名实体识别方法[J]. 计算机应用, 0, (): 0-0.
[3]	袁景凌, 丁远远, 潘东行, 李琳. 基于时序和上下文特征的中文隐式情感分类模型[J]. 计算机应用, 2021, 41(10): 2820-2828.
[4]	杨书新, 张楠. 融合情感词典与上下文语言模型的文本情感分析[J]. 计算机应用, 2021, 41(10): 2829-2834.
[5]	杨璐, 何明祥. 基于门控机制和卷积神经网络的中文文本情感分析模型[J]. 计算机应用, 2021, 41(10): 2842-2848.
[6]	董永峰, 刘超, 王利琴, 李英双. 融合多跳关系路径信息的关系推理方法[J]. 计算机应用, 2021, 41(10): 2799-2805.
[7]	吴赛赛, 梁晓贺, 谢能付, 周爱莲, 郝心宁. 面向领域实体关系联合抽取的标注方法[J]. 计算机应用, 2021, 41(10): 2858-2863.
[8]	胡婕胡燕刘梦赤张龑. 基于知识库实体增强BERT模型的中文命名实体识别[J]. 计算机应用, 0, (): 0-0.
[9]	郝志刚秦丽李国亮. 基于多属性综合评价的食品安全标准引用网络重要节点发现方法[J]. 计算机应用, 0, (): 0-0.
[10]	丁行硕李翔谢乾. 基于标签分层延深建模的企业画像构建方法[J]. 计算机应用, 0, (): 0-0.
[11]	刘子辰, 李小娟, 韦伟. 基于循环神经网络的专利价格自动评估[J]. 计算机应用, 2021, 41(9): 2532-2538.
[12]	余敦辉, 万鹏, 王社. 基于企业知识图谱构建的实体关联查询系统[J]. 计算机应用, 2021, 41(9): 2510-2516.
[13]	张阳王小宁. 基于Word2Vec词嵌入和高维生物基因选择遗传算法的文本特征选择方法 [J]. 计算机应用, 0, (): 0-0.
[14]	李灿杨雅婷马玉鹏董瑞. 基于语种相似性挖掘的神经机器翻译语料库扩充方法[J]. 计算机应用, 0, (): 0-0.
[15]	王伟, 赵尔平, 崔志远, 孙浩. 基于HowNet义原和Word2vec词向量表示的多特征融合消歧方法[J]. 计算机应用, 2021, 41(8): 2193-2198.

突发事件新闻标题与正文提取方法

Extracting method of emergency news headline and text from webpages

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics