Current Location:home > Browse

1. chinaXiv:201812.00078 [pdf]

异构资源环境下Hadoop节点能力自适应调度算法

沈学利; 盛方严
Subjects: Computer Science >> Integration Theory of Computer Science

为了解决当前Hadoop集群在异构资源环境下固有的调度分配方法的不足,提出了一种基于节点能力的自适应调度算法NCAS(node capacity adaptive scheduling)。首先,NCAS算法根据节点性能、任务特征计算得到调度因子;然后,由调度因子确定各节点应分得的数据量与任务槽数;最后,将数据和任务多分给快节点同时少分给慢节点。实验结果表明,与传统的调度算法相比,NCAS算法大幅度减少了备份任务的启动数量,明显减少了作业完成时间,提升了任务执行效率。

submitted time 2018-12-13 From cooperative journals:《计算机应用研究》 Hits924Downloads548 Comment 0

  [1 Pages/ 1 Totals]