注册
登录
EN
|
中文
首页
论文提交
论文浏览
论文检索
个人中心
帮助
搜索
显示全部
确认邀请
取消邀请
添加新专家
发送邮件中...
确认回复
取消回复
*
专家姓名:
*
>专家邮箱:
*
专家机构:
*
研究领域:
物理学
天文学
生物学
数学
图书馆学、情报学
计算机科学
地球科学
其他
材料科学
能源科学
信息科学与系统科学
力学
化学
心理学
农、林、牧、渔
医学、药学
工程与技术科学
测绘科学技术
矿山工程技术
冶金工程技术
机械工程
动力与电气工程
核科学技术
电子与通信技术
化学工程
纺织科学技术
食品科学技术
土木建筑工程
水利工程
交通运输工程
航空、航天科学技术
环境科学技术及资源科学技术
安全科学技术
管理学
统计学
语言学及应用语言学
光学
护理学
法学
数字出版
药物科学
*
专家学术主页:
联系方式:
确认添加
取消添加
开始评论:
公开评论
匿名评论
仅发给作者
评论提交
关闭评论
检索
您当前的位置: >
详细浏览
基于Spark的SKA1-MID自校准管线分布计算实现
请选择邀稿期刊:
邀请
关闭
作者:
戴伟
1
汪森
1
李秋虹
2
邓辉
3
梅盈
3
王锋
1,3
作者单位:
1.
昆明理工大学云南省计算机技术应用重点实验室,云南昆明,650051
2.
复旦大学,上海,210000
3.
广州大学天体物理中心,广东广州,510006
提交时间:
2019-12-26
摘要:
SKA 科学数据处理产生的数据超出了所有已存在的分布式处理系统的处理能力,如何实现一个分布式执行框架是当前科学数据处理的一个重要研究内容。Spark 是非常成熟的一个商业框架,在互联网应用中被广泛应用,本文根据SKA项目进展要求,重点研究了如何将算法参考库(ARL)中的部分管线移植到Spark上执行。本文对部分实现过程进行了分析讨论,给出了相应的任务流程实现。最终结果表明,移植后代码生成结果符合预期,Spark能够满足部分数据分布式数据的要求,但迫切需要解决自身存在的一系列问题。
分布计算管线
算法参考库-ARL
分布数据处理
分类:
天文学
>>
天文学
引用:
ChinaXiv:202001.00044
(或此版本
ChinaXiv:202001.00044V1
)
doi:10.12074/202001.00044
CSTR:32003.36.ChinaXiv.202001.00044.V1
推荐引用方式:
戴伟,汪森,李秋虹,邓辉, 梅盈,王锋 .(2019).基于Spark的SKA1-MID自校准管线分布计算实现.天文研究与技术.[ChinaXiv:202001.00044]
(点此复制)
版本历史
[V1]
2019-12-26 11:28:11
ChinaXiv:202001.00044V1
下载全文
相关论文推荐
1. The Impact of Bias Row Noise to Photometric Accuracy: Case Study Based on a Scientific CMOS Detector
2024-02-28
2. A New Method for Monitoring Scattered Stray Light of an Inner-occulted Coronagraph
2024-02-28
3. The Precursor of GRB211211A: A Tide-induced Giant Quake?
2024-02-28
4. Lobe-dominated γ-Ray Emission of Compact Symmetric Objects
2024-02-28
5. GRB 200612A: An Ultralong Gamma-Ray Burst Powered by Magnetar Spinning Down
2024-02-28
6. Relations between the Fractional Variation of the Ionizing Continuum and C iv Broad Absorption Lines with Different Ionization Levels
2024-02-28
7. Dreicer Electric Field Definition and Runaway Electrons in Solar Flares
2024-02-28
8. Electromagnetic Ion Beam Instability in the Solar Corona
2024-02-28
9. Analysis of Bright Source Hardness Ratios in the 4 yr Insight-HXMT Galactic Plane Scanning Survey Catalog
2024-02-28
10. Variation in the Flaring Potential of Different Sunspot Groups During Different Phases of Solar Cycles 23 and 24
2024-02-28
相关信息
点击下载全文
PDF
BIB
ZIP
预览
PDF
许可声明
ChinaXiv许可声明
metrics指标
点击量
7077
下载量
1691
评论
我要评论
分享
分享至:
申请专家评阅
申请专家评阅