分类： 天文学 >> 天文学 提交时间： 2019-12-26 合作期刊: 《天文研究与技术》
摘要： SKA 科学数据处理产生的数据超出了所有已存在的分布式处理系统的处理能力，如何实现一个分布式执行框架是当前科学数据处理的一个重要研究内容。Spark 是非常成熟的一个商业框架，在互联网应用中被广泛应用，本文根据SKA项目进展要求，重点研究了如何将算法参考库(ARL)中的部分管线移植到Spark上执行。本文对部分实现过程进行了分析讨论，给出了相应的任务流程实现。最终结果表明，移植后代码生成结果符合预期，Spark能够满足部分数据分布式数据的要求，但迫切需要解决自身存在的一系列问题。
分类： 天文学 >> 天文学 提交时间： 2018-12-03 合作期刊: 《天文研究与技术》
摘要： 平方公里阵望远镜(SKA)即将开始建设，各子工作包也将进入关键设计评估阶段。 基于云与容器技术是当前 SKA 科学数据处理器（SDP）未来可能采用的平台技术。本文针对 SDP 超大规模海量数据处理中所面临的天文应用软件快速部署、运行与实测要求，充分考虑 了天文应用软件运行环境复杂，云计算环境下超大规模计算集群部署困难等问题，系统研究 并给出了一种使用 Docker 技术的天文应用软件通用自动部署方法，论文以目前较为常用的 可见度函数校准软件 SAGECaL 为例，首先分析了 SAGECaL 的相关特性和分布式部署方面存在的困难，进而给出了基于 Docker 容器技术的 SAGECaL 分布式集群的自动部署方法。实验结果表明，本文所提出的自动部署方法极大地提高了 SAGECaL 分布式集群的部署效率，满足了项目组承担 SKA-SDP 相关测试工作中所需要的基础平台部署与切换等需求。同时，本工作也为其它天文软件在云端的快速部署与执行提供了有益的思路。
点击量
点击量
下载量
评论
