面向Web电子产品信息分布式检索系统的设计与实现

doi:10.3724/SP.J.1087.2013.01026

计算机应用 ›› 2013, Vol. 33 ›› Issue (04): 1026-1030.DOI: 10.3724/SP.J.1087.2013.01026

面向Web电子产品信息分布式检索系统的设计与实现

张渊源¹,张琴燕²,蒋关富³

1. 浙江中医药大学信息技术学院，杭州 310053
2. 浙江大学计算中心，杭州 310058
3. 浙江大学计算机科学与技术学院，杭州 315100

收稿日期:2012-09-06 修回日期:2012-10-28 出版日期:2013-04-01 发布日期:2013-04-23
通讯作者: 张琴燕
作者简介:张渊源(1980-)，女，浙江杭州人，讲师，硕士，主要研究方向：信息系统、医疗软件中间件；张琴燕(1976- )，女，浙江杭州人，工程师，硕士，主要研究方向：语义Web、中间件；蒋关富(1986-)，男，浙江杭州人，硕士研究生，主要研究方向：信息融合。
基金资助:
浙江教育厅科研项目(Y201225127);浙江省自然科学基金资助项目（LY12F02029);国家科技支撑计划项目（2011BAH16B04）

Design and implementation of distributed retrieval system for electronic products information

ZHANG YuanYuan¹,ZHANG Qinyan²,JIANG Guanfu³

1. College of Information Technology, Zhejiang Chinese Medical University, Hangzhou Zhejiang 310053, China
2. Computer Center, Zhejiang University, Hangzhou Zhejiang 310058, China
3. School of Computer Science and Technology, Zhejiang University, Hangzhou Zhejiang 315100, China

Received:2012-09-06 Revised:2012-10-28 Online:2013-04-01 Published:2013-04-23
Contact: ZHANG Qinyan

摘要/Abstract

摘要： 为了从这些海量信息中获取“有用的、满足用户需求的信息”，提出一个基于Hadoop和Lucene技术的分布式检索系统架构处理Web电子产品信息检索。利用Hadoop的Map和Reduce实现分布式索引文件的存储，通过Lucene检索技术实现索引文件的访问，从而提高信息检索的效率。并且针对Lucene_Hadoop架构存在粗粒度检索问题，提出了一种细粒度检索方法，减少了系统建立索引的时间。实验表明基于Hadoop和Lucene的分布式检索系统在Web电子产品信息中具有较高的检索性能。

关键词: 分布式检索系统, Web电子产品信息, Hadoop, Lucene, 细粒度检索

Abstract: In order to obtain the useful information that can satisfy the user requirements, this paper proposed a distributed information retrieval system based on Hadoop and Lucene handling the Web electronic products information retrieval. In order to improve the retrieval efficiency, using the Map and Reduce method of Hadoop technology implemented the storage of distributed index files and using Lucene technology implemented the file access of distributed index files. At the same time, it also proposed an improved method at fine grain retrieval level, which reduced the index building time. The experiment demonstrates that our distributed information retrieval system has a good retrieval performance for Web electronic products information.

Key words: distributed information retrieval system, Web electronic products information, Hadoop, Lucene, fine grain retrieval

中图分类号:

张渊源张琴燕蒋关富. 面向Web电子产品信息分布式检索系统的设计与实现[J]. 计算机应用, 2013, 33(04): 1026-1030.

ZHANG YuanYuan ZHANG Qinyan JIANG Guanfu. Design and implementation of distributed retrieval system for electronic products information[J]. Journal of Computer Applications, 2013, 33(04): 1026-1030.

[1]	董聪, 张晓, 程文迪, 石佳. 基于新型存储器件的分布式文件系统性能优化[J]. 计算机应用, 2020, 40(12): 3594-3603.
[2]	李耘书, 滕飞, 李天瑞. 基于微操作的Hadoop参数自动调优方法[J]. 计算机应用, 2019, 39(6): 1589-1594.
[3]	郑振涛, 赵卓峰, 王桂玲, 徐垚. 面向港口停留区域识别的船舶停留轨迹提取方法[J]. 计算机应用, 2019, 39(1): 113-117.
[4]	李强, 刘晓峰. 基于Hopfield神经网络的云存储负载均衡策略[J]. 计算机应用, 2017, 37(8): 2214-2217.
[5]	吴家皋, 夏轩, 刘林峰. 基于MapReduce的轨迹压缩并行化方法[J]. 计算机应用, 2017, 37(5): 1282-1286.
[6]	温占考, 易秀双, 田申申, 李婕, 王兴伟. 基于边界矩阵低阶近似和近邻模型的协同过滤算法[J]. 计算机应用, 2017, 37(12): 3472-3476.
[7]	付晨, 钟诚, 叶波. MapReduce并行加速数据流多模式相似性搜索[J]. 计算机应用, 2017, 37(1): 37-41.
[8]	杨俊杰, 廖卓凡, 冯超超. 大数据存储架构和算法研究综述[J]. 计算机应用, 2016, 36(9): 2465-2471.
[9]	邢淑凝, 刘方爱, 赵晓晖. 基于聚类划分的高效用模式并行挖掘算法[J]. 计算机应用, 2016, 36(8): 2202-2206.
[10]	朱洁, 李雯睿, 王江平, 赵红. 基于节点集计算能力差异的Hadoop自适应任务调度算法[J]. 计算机应用, 2016, 36(4): 918-922.
[11]	邱桂, 闫仁武. 基于灰色关联分析的分布式协同过滤推荐算法[J]. 计算机应用, 2016, 36(4): 1054-1059.
[12]	刘青, 付印金, 倪桂强, 梅建民. 基于Hadoop平台的分布式重删存储系统[J]. 计算机应用, 2016, 36(2): 330-335.
[13]	杨燕霞, 冯林. 基于Hadoop平台的并行DHP数据分析方法[J]. 计算机应用, 2016, 36(12): 3280-3284.
[14]	邳文君, 宫秀军. 基于Hadoop架构的数据驱动的SVM并行增量学习算法[J]. 计算机应用, 2016, 36(11): 3044-3049.
[15]	王春波, 董红斌, 印桂生, 刘文杰. 基于Hadoop的超像素分割算法[J]. 计算机应用, 2016, 36(11): 2985-2992.

面向Web电子产品信息分布式检索系统的设计与实现

Design and implementation of distributed retrieval system for electronic products information

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics