Subjects: Astronomy >> Astrophysical processes submitted time 2021-05-27 Cooperative journals: 《天文研究与技术》
Abstract:望远镜自动化观测编排,是望远镜观测控制系统实现自主观测必不可少的组成部分。云南天文台40米射电望远镜需要对观测目标制定中长期和短期的纲要,目前对短期的目标进行纲要的编制时,主要依赖观测人员根据经验手动来实现,这种方式不仅低效耗时,更有可能会导致结果显著地偏离最优观测方案,不能充分利用望远镜宝贵的观测时间。本文使用混合整数线性规划模型,分析了云南天文台40米射电望远镜的短期观测目标的问题,定义了短期观测目标调度中的限制条件,以最小化望远镜的寻址时间作为目标函数,使用数学优化来解决射电望远镜短期观测目标编排问题,并在云南天文台40米射电望远镜上进行了测试,能较好地满足目前短期观测目标编排的需求。
Subjects: Astronomy >> Astrophysical processes submitted time 2021-03-30 Cooperative journals: 《天文研究与技术》
Abstract:快速傅里叶变换比傅里叶变换有更好的算法性能,是射电干涉成像基础算法,但因为天线阵列的不规则采样,需使用网格化算法将可见度数据重采样到规则的网格上,才能应用快速傅里叶变换。基于卷积的网格化计算具有计算密集型和迭代型的特点,特别是在处理海量可见度数据的情况下,高性能的网格化计算对加速整个成像过程就显得尤为重要。为了缓解数据处理的压力,在现有处理整块数据和支持多核计算的算法基础上,拓展应用Dask并行计算框架,不仅将数据分块并分配到多线程上,提高数值计算效率,而且动态的分布式任务调度策略优化了网格化的实时处理。实验结果表明多核CPU利用率显著提高,即使增加数据量,也能进一步提升网格化算法性能。分布式任务调度能够将(单)多测量集的网格化弹性缩放到(单)多机系统,充分发挥了集群的规模化优势。
Subjects: Astronomy >> Astrophysical processes submitted time 2020-11-12 Cooperative journals: 《天文研究与技术》
Abstract: 随着巡天观测计划的进行,传统数据库技术无法满足海量天文数据的存储以及检索性能的需求。本文针对海量天文数据存储以及锥形检索时的高并发、高性能问题,采用数据库中间件技术,当海量数据到达传统数据库存储的阈值时,能够通过中间件技术以分库分表的形式存储到数据库集群中,充分整合关系性数据库和分布式技术的优点。在本文中,利用MySQL数据库集成DIF插件,在分布式数据库中建立伪球面索引,能够满足海量天文数据中锥形索引需求。
Subjects: Astronomy >> Astrophysical processes submitted time 2020-09-23 Cooperative journals: 《天文研究与技术》
Abstract: 天线增益是用来衡量天线在指定方向接收和发射信号能力的参数。随着平方公里阵列(Square Kilometre Array,SKA)建设的日趋临近,基于Python语言的射电天文仿真、校准以及成像软件库(Radio Astronomy Simulation, Calibration and Imaging Library ,RASCIL)正在开发完善中,天线增益校准算法的高性能实现是其中重要的组成部分。本文基于RASCIL antsol天线增益校准算法开发工作,首先讨论了antsol算法的基本原理,随后分析说明了基于纯Python的实现过程,在此基础上进一步讨论了Python语言中算法的优化方法。结果表明,通过底层优化后的antsol算法实现可以达到非常高的性能。经过优化的算法将运用到SKA的增益数据校准实验中,本文所介绍的优化方法对其它天文软件的开发有一定的参考价值。
Subjects: Astronomy >> Astrophysical processes submitted time 2020-03-07 Cooperative journals: 《天文研究与技术》
Abstract:通过添加太阳黑子周期长度构建长短期记忆网络(Long Short-Term Memory,LSTM)的多变量输入数据,在多时间步长上预测未来10年的太阳黑子变化。将数据集以训练数据长度为标准划分出两组时间序列片段,分别是分片11和分片6,并在分片上分别对比了单变量和多变量在单时间步长和多时间步长上的预测效果。最后,得出以下主要结论:(1)比起分片6,分片11的采样方式有更低的均方根误差(Root mean squared error,RMSE);(2)最优多步长的预测效果比单步长的要好;(3)通过图例上周期的起始点、结束点和最大振幅位置三个点的准确度证明了多变量的多步长方法确实有更好的预测效果。
Subjects: Astronomy >> Astrophysical processes submitted time 2019-12-26 Cooperative journals: 《天文研究与技术》
Abstract: SKA 科学数据处理产生的数据超出了所有已存在的分布式处理系统的处理能力,如何实现一个分布式执行框架是当前科学数据处理的一个重要研究内容。Spark 是非常成熟的一个商业框架,在互联网应用中被广泛应用,本文根据SKA项目进展要求,重点研究了如何将算法参考库(ARL)中的部分管线移植到Spark上执行。本文对部分实现过程进行了分析讨论,给出了相应的任务流程实现。最终结果表明,移植后代码生成结果符合预期,Spark能够满足部分数据分布式数据的要求,但迫切需要解决自身存在的一系列问题。
Subjects: Astronomy submitted time 2018-12-04 Cooperative journals: 《天文研究与技术》
Abstract:射电干涉阵列宽视场成像网格化处理过程中必须考虑w项的影响。w-projection和w-stacking是两个重要的宽视场成像网格化处理算法, w-plane参数是算法中影响计算速度和成图质量的一个重要因素。本文研究了w-projection和w-stacking两种网格化算法,利用SKA1低频阵台站数据和ASKAP软件包进行模拟观测,对两种算法在不同w-plane参数取值情况下的成图速度和成图质量进行了定量分析对比。结果进一步表明w-plane是性能改善的重要参数,针对w-projection算法来说,w-plane取值应比一般给定的经验值要大才能较好的得到成像效果。w-stacking算法虽然有很大的速度优势,但算法实现中w-plane的影响更为显著,论文给出了推荐的w-plane取值。本文工作是大视场成像算法的基础研究工作,对未来SKA科学数据处理中的管线设计有较好的参考价值。
Subjects: Astronomy submitted time 2018-12-04 Cooperative journals: 《天文研究与技术》
Abstract:观测控制系统(Observation Control System,OCS)是当前的一个研究热点,底层通信是OCS架构中重要的一个环节。但传统的OCS中一般采用裸套接技术实现,缺少统一的传输控制机制,在密集数据通信时经常存在延迟影响实时控制的需要; 同时缺少广播与组播机制,限制了OCS系统的设计。本文针对OCS的要求,系统研究分析了基于ZeroMQ不同通信模型及所对应的天文控制模式,对不同的通信控制架构可用性进行了分析。在此基础上通过实验对相应的通信模型进行了测试,验证其在天文仪器分布控制中的可用性。测试结果进一步说明ZeroMQ构建OCS的底层通信架构是可行的,能够满足OCS对设备的各种控制需求。
Subjects: Astronomy >> Astrophysical processes submitted time 2018-09-11 Cooperative journals: 《天文研究与技术》
Abstract: 平方公里阵列(Square Kilometre Array,SKA)望远镜建成后将会具有超高的灵敏度、超快的巡天速度以及宽视场,进而产生超海量的观测数据。在SKA天文台与各国区域数据中心间的海量数据同步/传输是当前SKA建设中的一个难点。SKA先导项目使用的下一代归档存储系统(Next Generation Archive System, NGAS)在应用测试中存在效率低下,性能不足等问题。本文提出了一种基于ZeroMQ的数据存储与同步方法,通过采用更加高效的异步消息机制实现同步传输数据,回避了NGAS原有的采用HTTP协议的局限。实验结果表明新方法在平均数据归档存储效率方面比NGAS原有方法快了将近40倍,能够基本满足10GB带宽的全速传输需要,取得了较好的使用效果。
Subjects: Astronomy >> Astronomical Instruments and Techniques submitted time 2018-06-21 Cooperative journals: 《天文研究与技术》
Abstract: In the research of the Solar observation, the registration between high-resolution observation images and full-disk Solar images is a greatly meaningful work. However, it is difficult to register with high accuracy due to the rotation, scaling and translation between them. This paper presents an image registration method combining local statistical information and control point matching: At first, between the high-resolution observation image and the full-disk Solar image is preliminary estimated about the orientation, scale, and positional parameters. Then the images are pretreated based on the estimated parameters. And then the pretreatment of the field of view is divided into a large number of overlapping local regions equally. Each corresponding local area is determined by the Correlation matching on the full-disk after preprocessing. Next, the sub-pixel offset between each pair of local regions is then measured, and the coordinate positions of the feature point are determined according to the sub-pixel offset between each pair of local regions, which is used as the feature control point in the point matching. Finally, the conversion equations of the affine transformation are established according to the control point, then use the least squares to solve the entire field of view of the transformation parameters. The image is reiterated according to the parameters to be solved, and the transformation parameters are obtained after the final iteration to register images. By registering the high-resolution observation images and the full-disk Solar SDO/HMI continuous spectrum, the deviation of fitting results is within 0.25 arc-seconds.
Subjects: Astronomy >> Astrophysical processes submitted time 2018-05-29 Cooperative journals: 《天文研究与技术》
Abstract: 明安图射电频谱日像仪(MingantU SpEctral Radioheliograph, MUSER)目前已经进入常规观测,必将产生海量的观测数据。针对日像仪需要高效管理其产生的海量观测数据并提供高效检索服务的需求,负数据库管理系统提出并被应用到日像仪中。详细介绍了负数据库的接口设计与实现,并通过实验验证了所设计接口的有效性和性能。负数据库管理系统不仅可以有效解决其面临的问题,也可以为新一代望远镜负数据库管理系统提供参考。
Subjects: Astronomy >> Astrophysical processes submitted time 2018-05-29 Cooperative journals: 《天文研究与技术》
Abstract: 光学和近红外太阳爆发监测望远镜每天可以获得大量的太阳图像数据,对这些观测数据进行实时选帧处理,一方面可以减轻存储压力,另一方面也可以提高后续图像重建的质量。针对实时观测过程中的选帧要求,设计并实现了一套基于图形处理器的图像选帧实时处理模块,当前的模块已经实现了平均梯度法和谱比法选帧两种算法的高速并行处理。对模块的实现进行了细致的讨论,并比较了两种选帧方法的加速比。实验表明,该模块运行稳定可靠;从执行效率来看,针对近全日面图像的选帧总体执行时间最快为1.2s,比原有串行实现提升了7倍;局部面图最快为0.7s,平均提升了5倍。整体模块的实现与当前性能已经可以满足实时观测与处理的要求。
Subjects: Astronomy >> Astrophysical processes submitted time 2017-09-26 Cooperative journals: 《天文研究与技术》
Abstract:目前天文观测中对数据的实时处理需求越来越多,性能要求也越来越高,我国明安图射电频谱日像仪(MingantU SpEctral Radioheliograph, MUSER)是同时以高时间、高空间和高频率分辨率对太阳进行射电频谱成像的设备。在低频部分的日常观测中,包含了两方面的需求:(1)对历史数据的处理;}2) 5秒钟抽样观测数据的处理。抽样观测数据需要实时处理,并在监控终端显示,数据处理过程包含了数据校验、修正、成图、洁化等多个步骤,传统的单机处理模式已无法满足大数据量下的实时性要求。因此,实时数据计算中,使用Spark Streaming流式计算这一新兴的分布式计算方法,设计了自定义的接收器,并将多个图形处理器节点加入到分布式集群中。通过实验对性能进行评估,结果证明基于内存的高速执行引擎的特点能显著提高性能。期待能通过实验进一步优化算法和配置,获得更好的结果,并最终运用到实际环境中。
Subjects: Astronomy >> Astrophysical processes submitted time 2017-09-26 Cooperative journals: 《天文研究与技术》
Abstract:明安图射电频谱日像仪(Mingantu Ultrawide SpEctral Radioheliograph, MUSER)已经完成硬件建设,与之配套的数据处理系统也初步开发完成。为提高用户操作的可用性,简化操作难度,数据处理系统在提供传统的命令行用户界面的同时,也提供了网络交互方式。简单介绍了Web.py的基本概念和内部组件交互流程,讨论了基于Web.py进行网络开发的方法和流程,并利用 Web.py框架实现了数据处理系统的网络界面交互。成果已经应用,提高了日像仪数据处理系统的可用性,也为其它天文软件系统的开发提供了一定的借鉴与参考价值。
Subjects: Astronomy >> Astrophysical processes submitted time 2017-09-26 Cooperative journals: 《天文研究与技术》
Abstract:在太阳观测研究中,高分辨图像与全日面像的配准是一项非常有意义的工作,但由于他们之间存在着旋转、缩放和平移,因此很难高精度地进行匹配。提出一种结合局部统计信息和控制点匹配的图像配准方法,核心思想为将视场等间隔划分为大量重叠的局部区域,通过相关匹配在全日面像上寻找对应的局部区域,然后计算每一对局部区域间的亚像元偏移,根据偏移量确定每一对特征点的坐标位置,据此作为点匹配中的特征控制点;最后根据控制点建立仿射变换的转换方程,采用最小二乘求解整个视场的转换参数,根据解出的参数重新对图像进行迭代,得到收敛后的结果并进行配准。通过对高分辨观测图像和全日面SDO/HMI连续谱图像进行配准,拟合结果的偏差在0.25” 以内。
Subjects: Astronomy >> Astrophysical processes submitted time 2017-09-26 Cooperative journals: 《天文研究与技术》
Abstract:射电观测是研究太阳活动的重要探测手段。我国明安图频谱射电日像仪(MingantU SpEctral Radioheliograph, MUSER)主要用以研究太阳爆发活动初始能量释放区的物理过程,其观测将在太阳射电成像开辟一个新的窗口。成像处理是MUSER数据处理的重要组成部分,如何提高成像质量是当前数据处理的研究重点。首先介绍了射电干涉成像的基本理论,随后分析了对MUSER观测得到的可见度数据积分的必要性,细致讨论了短时段可见度数据叠加求平均和长时段UV覆盖叠加两种积分方法,并给出了完整的实现。通过实验验证的方法与实现的正确性,两种积分均可以有效提高信噪比,图像质量明显提高。
Subjects: Astronomy >> Astrophysical processes submitted time 2017-09-26 Cooperative journals: 《天文研究与技术》
Abstract:天文数据处理是天文研究的一个重要环节。随着新一代望远镜功能与观测能力的快速发展,在观测地点构建高性能实时计算平台,快速完成数据的分析与处理是一种趋势针对明安图射电频谱日像仪和明安图观测站实时数据处理系统的建设要求,系统研究了基于OpenStack的本地云实现方法与系统自动管理模式,提出了动态进行计算节点启停的方法,并进行了实际测试。实验表明,该模式完全可以满足天文数据处理的需求,并且比传统的静态分配计算资源的数据处理方法更高效,可以有效地节省能源开销,降低观测成本,对未来天文台站高性能计算平台的建设有一定的参考价值。