云—边缘系统中跨域大数据作业调度技术研究

摘要: 为提升用户服务质量，各类边缘集群部署于用户周围，在成为云数据中心重要补充的同时，也因其与用户不断交互而产生大量用户数据。为了降低因处理这些跨域大数据带来的作业完成时延，首先提出了以最小化系列跨域作业平均完成时间为优化目标的在线随机调度算法ranTA。ranTA基于跨域资源的异构性在线地计算出各计算任务调度至不同位置的偏好，并以此偏好作为概率调度每个计算任务；更进一步，为了避免将“热点”数据积压在边缘集群造成性能瓶颈，提出基于ranTA的捎带式数据重分布机制ranTA-data，其将部分数据随任务执行留存至云数据中心。ranTA-data不仅优化了当前作业的完成时间，也能证明在该机制下系列作业的平均完成时间以大概率汇聚于最优解附近。大规模仿真实验表明，所提出的在线随机化算法与数据重部署机制相比传统方法平均降低系列作业完成时间近30%。