一种基于锚文本和改进C4.5决策树算法的主题爬行方法

计算机应用

一种基于锚文本和改进C4.5决策树算法的主题爬行方法

刘金红陆余良

解放军电子工程学院网络系解放军电子工程学院网络系

收稿日期:2006-06-05 修回日期:2006-07-26 发布日期:2006-12-01 出版日期:2006-12-01
通讯作者: 刘金红

Focused crawling method based on improved C4.5 exploiting anchor text

Received:2006-06-05 Revised:2006-07-26 Online:2006-12-01 Published:2006-12-01

摘要/Abstract

摘要： 提出了一种基于锚文本和改进C4.5决策树算法的主题爬行方法：基于锚文本词项集训练决策树，然后基于决策树模型来计算网页的主题相关性和待爬行URL的优先级顺序。最后，应用该方法在四所大学网站网页数据集上针对“学术报告”主题进行了主题爬行实验，并与两种标准的网络爬虫进行了性能对比，实验结果验证了该方法的有效性。

关键词: 主题网络爬虫, 锚文本, 决策树

Abstract: A new focused crawling method based on anchor text and improved C4.5 decision tree algorithm was proposed. It exploited the anchor text of URL to train the decision tree, and then applied the decision tree model to decide whether a downloaded page was on topic and how to choose the next URL to visit. Finally, a prototype system named DTFC based on this method was implemented, and experiments in four university websites were carried out in allusion to "academic report". The experimental results show that DTFC outperforms two standard crawlers for focused crawling.

Key words: focused crawler, anchor text, decision tree

刘金红陆余良 . 一种基于锚文本和改进C4.5决策树算法的主题爬行方法[J]. 计算机应用.

. Focused crawling method based on improved C4.5 exploiting anchor text[J]. Journal of Computer Applications.

[1]	谢鑫, 张贤勇, 王旋晔, 唐鹏飞. 变精度邻域等价粒的邻域决策树构造算法[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 382-388.
[2]	王雅辉, 钱宇华, 刘郭庆. 基于模糊优势互补互信息的有序决策树算法[J]. 计算机应用, 2021, 41(10): 2785-2792.
[3]	周翔, 翟俊海, 黄雅婕, 申瑞彩, 侯璎真. 基于随机森林和投票机制的大数据样例选择算法[J]. 计算机应用, 2021, 41(1): 74-80.
[4]	赵一, 段兴, 谢仕义, 梁春林. 面向特定目标自识别的交通图像语义检索方法[J]. 《计算机应用》唯一官方网站, 2020, 40(2): 553-560.
[5]	王伟, 谢耀滨, 尹青. 针对不平衡数据的决策树改进方法[J]. 计算机应用, 2019, 39(3): 623-628.
[6]	莫赞, 盖彦蓉, 樊冠龙. 基于GAN-AdaBoost-DT不平衡分类算法的信用卡欺诈分类[J]. 计算机应用, 2019, 39(2): 618-622.
[7]	郭冰楠, 吴广潮. 基于改进的代价敏感决策树的网络贷款分类[J]. 计算机应用, 2019, 39(10): 2888-2892.
[8]	颜宏文, 盛成功. 基于层次聚类和极限学习机的母线短期负荷预测[J]. 计算机应用, 2018, 38(8): 2437-2441.
[9]	折蓉蓉, 张丽萍, 侯敏, 闫盛. 基于决策树推荐克隆重构的方法[J]. 计算机应用, 2018, 38(7): 2037-2043.
[10]	徐光宪, 赵越, 赖俊宁. 基于网络编码的确定性逐层构造算法[J]. 计算机应用, 2018, 38(3): 769-775.
[11]	段大高, 盖新新, 韩忠明, 刘冰心. 基于梯度提升决策树的微博虚假消息检测[J]. 计算机应用, 2018, 38(2): 410-414.
[12]	黄宇扬, 董明刚, 敬超. 面向K最近邻分类的遗传实例选择算法[J]. 计算机应用, 2018, 38(11): 3112-3118.
[13]	王婷, 王祺, 黄越圻, 殷亦超, 高炬. 基于症状构成成分的上下位关系自动抽取方法[J]. 计算机应用, 2017, 37(10): 2999-3005.
[14]	陈环环, 陈小红, 阮彤, 高大启, 王昊奋. 知识驱动的游戏攻略自动标注算法[J]. 计算机应用, 2017, 37(1): 278-283.
[15]	任胜兵, 吴斌, 张健威, 王志健. 基于可满足性模理论求解器的程序路径验证方法[J]. 计算机应用, 2016, 36(10): 2806-2810.