检索结果

期刊

出版年

关键词

Please wait a minute...

选择:

导出引用
EndNote Ris BibTeX

显示/隐藏图片

Select

1. 基于傅立叶变换的网页去重算法

陈锦言孙济洲张亚平

计算机应用

摘要（1624）

PDF （495KB）（939）

去除重复网页可以提高搜索引擎的搜索精度，减少数据存储空间。目前文本去重算法以关键词去重、语义指纹去重为主，用上述算法进行网页去重时容易发生误判。通过对字符关系矩阵进行KL展开，将每个字符映射成为一个数值，然后对这个数值序列做离散傅立叶变换，得到每个网页的傅立叶系数向量，通过比较傅立叶系数向量差异实现对网页的相似度判断。实验结果表明该方法可对网页实现较好的去重。