多MapReduce作业协同下的大数据挖掘类算法资源效率优化

摘要: 由于任意的MapReduce作业都需要独立的进行任务调度、资源分配等一系列复杂的操作，这使得同一算法协同的多个MapReduce作业之间，存在着大量的冗余磁盘I/O及资源重复申请操作，导致计算过程中资源利用效率低下。大数据挖掘类算法通常被切分成多个MapReduce Job协作完成，以ItemBased算法为例，对多MapReduce作业协同下的大数据挖掘算法存在的资源效率问题进行了分析，提出基于DistributedCache的ItemBased算法，利用DistributedCache将多个MapReduce Job之间的I/O数据进行缓存处理，打破作业之间独立性的缺陷，减少Map与Reduce任务之间的等待时延。实验结果表明，DistributedCache能够提高MapReduce作业的数据读取速度，利用DistributedCache重构后的算法极大地减少了Map与Reduce任务之间的等待时延，资源效率提高3倍以上。