基于MapReduce的增量式全文Lucene引擎并行检索
作者:
刘永花
[1]
杨丽娜
[2]
王静宇
[3]
关键词:
Lucene检索
MapReduce并行
增量索引
大数据
摘要：
为提高 Lucene 针对大数据的检索效率,提出基于 MapReduce 的增量式全文Lucene 引擎并行检索方法.首先,对 Lucene 索引原理结构进行研究,并基于增量索引改进、提高缓冲区索引容量以及降低磁盘文件索引书写频率,实现索引创建效率提高的效果;其次,针对单进程 Lucene 索引效率提升有限的情况,基于 Hadoop 框架下并行MapReduce 计算模块,构建并行 Lucene 全文检索引擎,实现大数据检索的并行化执行;最后,通过构建大数据全文检索仿真环境,显示所提并行检索方式相对单一进程检索方式,可大幅提升检索精度和执行效率.
上一篇： 融合内容和改进协同过滤的个性化推荐算法
下一篇： 含光伏发电系统的冷库多目标优化运行研究