突发事件新闻标题与正文提取方法

doi:10.11772/j.issn.1001-9081.2014.10.2865

计算机应用 ›› 2014, Vol. 34 ›› Issue (10): 2865-2868.DOI: 10.11772/j.issn.1001-9081.2014.10.2865

突发事件新闻标题与正文提取方法

罗永莲,赵昌垣

晋中学院信息技术与工程学院，山西晋中 030619

收稿日期:2014-05-08 修回日期:2014-06-18 发布日期:2014-10-30 出版日期:2014-10-01
通讯作者: 罗永莲
作者简介:罗永莲（1973-），女，山西晋中人，副教授，硕士，主要研究方向：中文信息处理、教育测量理论；赵昌垣（1963-），男，山西晋中人，高级讲师，主要研究方向：数据库、软件工程管理。
基金资助:
山西省高等学校教学改革项目;山西省教育科学“十一五”规划课题

Extracting method of emergency news headline and text from webpages

LUO Yonglian,ZHAO Changyuan

School of Information Technology and Engineering, Jinzhong University, Jinzhong Shanxi 030619, China

Received:2014-05-08 Revised:2014-06-18 Online:2014-10-30 Published:2014-10-01
Contact: LUO Yonglian

摘要/Abstract

摘要：

针对突发事件新闻网页语料处理问题，提出了一种基于此类新闻特点与网页标记信息的抽取和定位新闻内容的方法。该方法将网页标记与文本相似度作为机器学习的特征项，利用贝叶斯分类方法提取新闻标题。利用事件新闻的用词稳定性与网页标记的嵌套特点，减少了文本处理数量，降低了文本向量维数，在此基础上计算向量相似度以定位新闻篇首与篇尾。实验结果表明，该方法抽取标题的准确率达到86.5%，抽取正文的平均准确率在78%以上，能有效抽取新闻内容，且易于实现，对其他网页文本处理中挖掘标记信息与文本自身信息具有一定的借鉴意义。

Abstract:

Concerning the processing of emergency news webpages corpora, an news content extracting and locating method based on the characteristics of emergency news and webpage tags was proposed. By taking webpage tags and text similarity as the features of machine learning, this method extracted the news headlines based on the Bayes method. Meanwhile, the method reduced text processing quantity and dimensionality of text vector based on the stability of emergency news words and nesting of webpage tags, so that it calculated similarity of vector to locate the news beginning and ending. The experimental results show that this method extracts news headlines with an 86.5% accuracy rate and extracts news texts with an average accuracy rate of more than 78%. The proposed method is effective and efficient. It has certain reference for mining webpage tags and own information of text on webpages.

中图分类号:

TP391.1

罗永莲赵昌垣. 突发事件新闻标题与正文提取方法[J]. 计算机应用, 2014, 34(10): 2865-2868.

LUO Yonglian ZHAO Changyuan. Extracting method of emergency news headline and text from webpages[J]. Journal of Computer Applications, 2014, 34(10): 2865-2868.

参考文献

［1］ZHANG C, GU X, BAI Y. The progress of Web data extraction technology ［J］. Computers Science, 2004,31(2):129-131.（张成洪，古晓洪，白延红.Web数据抽取技术研究进展［J］.计算机科学,2004,31(2):129-131.）
［2］WU L, WANG X. Research on application of data mining technology in the field of education ［M］. Beijing: Beijing University of Posts and Telecommunications Press, 2013:202-206.（武丽芬，王秀华.数据挖掘技术在教育领域的应用研究［M］.北京：北京邮电大学出版社，2013：202-206.）［3］YANG Y, PEDERSEN J O. A comparative study on feature selection in text categorization ［C］// Proceedings of the 1997 14th International Conference on Machine Learning. San Francisco: Morgan Kaufmann,1997:263-267.
［4］ZHANG J, HU X, BU J. Survey on text information extraction from Web page ［J］. Application Research of Computers, 2009,26(8):2827-2831.（张俊英，胡侠，卜佳俊.网页文本信息自动提取技术综述［J］.计算机应用研究,2009,26(8)：2827-2831.）
［5］HUANG L, CHEN L. Web information extraction based on visual block segmentation ［J］. Journal of Computer Applications, 2008，28(12):326-328.（黄玲，陈龙.基于网页分块的正文信息提取方法［J］.计算机应用，2008，28(12)：326-328.）
［6］LUO Y, QIN Z. Research on extracting topic content from news webpages ［J］. Micrcomputer Applications, 2007,28(5):556-560.（罗永莲，秦振吉.新闻网页主题内容提取方法研究［J］.微计算机应用，2007，28(5)：556-560.）
［7］LUO Y, ZHANG Y. On deletion of duplicated breaking news webpages［J］. Computer Applications and Software, 2008,25(8):24-26.（罗永莲，张永奎.突发事件新闻网页的去重方法研究［J］.计算机应用与软件，2008，25(8)：24-26.）
［8］CHENG L, HE P, SUN Y. Study on Chinese keyword extraction algorithm based on naive Bayes model ［J］. Journal of Computer Applications, 2005，25(12):2780-2782.（程岚岚，何丕廉，孙越恒.基于朴素贝叶斯模型的中文关键词提取算法研究［J］.计算机应用,2005，25(12)：2780-2782.）
［9］ZHANG Y, LIU T, WEN X. Modified Bayesian model based question classification ［J］. Journal of Chinese Information Processing, 2005,19(2):100-105.（张宇，刘挺，文勖.基于改进贝叶斯模型的问题分类［J］.中文信息学报，2005，19(2)：100-105.）
［10］TONG B. Introduction to the theory of journalism ［M］. Beijing：China Renmin University Press, 2002：118-223.（童兵.理论新闻传播学导论［M］. 北京：中国人民大学出版社,2002：118-223.）
［11］YAN T W, GARCIA-MOLINA H. Index structures for information filtering under the vector space model ［C］// Proceedings of the 10th International Conference on Data Engineering. Washington, DC: IEEE Computer Society, 1994:37-47.
［12］LI G, CHEN C, LI Z, et al.Automatic Web structured data extraction based on tag path ［J］. Computers Science,2013,40(6A):141-145.（李贵，陈成，李征宇，等.基于标签路径的Web结构化数据自动抽取［J］.计算机科学,2013,40(6A)：141-145.）

[1]	张庆杨凡方宇涵. 基于多模态信息融合的中文拼写纠错算法[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[2]	高颖杰, 林民, 斯日古楞null, 李斌, 张树钧. 基于片段抽取原型网络的古籍文本断句标点提示学习方法[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3815-3822.
[3]	王猛张大千周冰艳马倩影吕继东. 基于时序知识图谱补全的CTCS-3级列控车载接口设备故障诊断方法[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[4]	杨青朱焱. 改进语言规则中的表示的隐喻识别技术[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[5]	余婧陈艳平扈应黄瑞章秦永彬. 结合实体边界偏移的序列标注优化方法[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[6]	张伟牛家祥马继超沈琼霞. 深层语义特征增强的ReLM中文拼写纠错模型[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[7]	徐章杰陈艳平扈应黄瑞章秦永彬. 联合边界生成的多目标学习嵌套命名实体识别[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[8]	代震龙韩萌杨文艳朱诗能杨书蓉. 序列模式挖掘综述[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[9]	徐乐黄瑞章白瑞娜秦永彬. 基于意图正则化的深度半监督文本聚类[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[10]	彭一峰朱焱. 结合预处理方法和对抗学习的公平链接预测[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[11]	赵彪秦玉华田荣坤胡月航陈芳锐. 依赖类型及距离增强的方面级情感分析模型[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[12]	任登燃王淑营. 基于差分边界增强的风电装备嵌套实体识别模型[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[13]	田海燕黄赛豪张栋李寿山. 视觉指导的分词和词性标注[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[14]	帅健王中卿陈嘉沥. 基于代码生成的细粒度情感分析方法[J]. 《计算机应用》唯一官方网站, 0, (): 0-0.
[15]	姜雨杉, 张仰森. 大语言模型驱动的立场感知事实核查[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3067-3073.

突发事件新闻标题与正文提取方法

Extracting method of emergency news headline and text from webpages

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics