Subjects: Astronomy >> Astrophysical processes submitted time 2023-01-18 Cooperative journals: 《天文研究与技术》
Abstract: With the rapid development of astronomical observation technology, astronomical data processing software has become increasingly complex, and it is challenging to deploy the software environment. Container technology was used for packaging the pulsar data processing environment to images by applying hierarchical encapsulation. According to the data processing requirements, a private library of images has been established, and the users can select the images according to the data processing mode. The hardware environment, the traditional virtual machine environment, and the container environment performed coherent dedispersion for pulsar baseband data. The resource utilization and data processing efficiency of different platforms are compared. Experimental results show that the performance of the container is similar to the physical machine. In multi-threaded parallel processing, the resource allocation of the container is more reasonable and can improve the efficiency of service resource utilization. Implemented container-based data processing architecture deployment on Xinjiang Astronomical Observatory pulsar data processing server, designed and developed the container management graphical user interfaces. Through optimizing functions such as multi-user login, authentication, and data volume mount to improve the efficiency of astronomical data processing using container technology.
Subjects: Astronomy >> Astrophysical processes submitted time 2022-04-14 Cooperative journals: 《天文研究与技术》
Abstract:针对射电天文观测过程中的射频干扰(RFI)问题,详细分析了国内外台站RFI抑制策略。根据各天文台站实际观测过程中遇到的RFI问题,分别从主动预防阶段、预相关阶段、后相关阶段、机器学习和深度学习等方面研究了RFI的预防策略和抑制方法。详细分析了主动预防阶段可采取的方法,预相关阶段的自适应滤波,和空间滤波方法;后相关阶段的VarThreshold,SumThreshold和奇异值分解等方法。探讨了基于机器学习的主成分分析、支持向量机、全卷积神经网络、卷积神经网络、U-Net等相关技术和方法在RFI信号处理方面的应用。
Subjects: Astronomy >> Astrophysical processes submitted time 2021-09-29 Cooperative journals: 《天文研究与技术》
Abstract:瞬时射频干扰(RFI)信号是最难以识别并消除的一类干扰。针对射电天文观测过程中遇到瞬时RFI问题,本文提出了一种基于RFI信号峰值的特征提取方法,利用该方法生成了RFI信号的特征模板,并基于动态时间规整(DTW)算法和打分策略设计了特征识别算法,实现了RFI信号识别以及分类功能。利用ARRL官网提供的RFI数据完成了特征模板的交叉验证对比,测试结果显示RFI特征模板与同类别RFI相似度高,表明该算法能够对RFI进行识别和分类,该算法为瞬时RFI的特征提取以及识别提供了一种新思路。
Subjects: Astronomy >> Astrophysical processes submitted time 2021-03-30 Cooperative journals: 《天文研究与技术》
Abstract:针对超宽带及多波束接收系统海量天文信号实时高效传输与处理问题,对基于FPGA+GPU的主流终端设备软件系统进行了测试分析,超宽带接收设备要求终端系统软件能够在更宽带宽,更高时间、频率分辨率条件下,实现实时数据流传输与处理。结合大口径射电观测设备未来发展方向提出了利用高速并行环形缓冲区实现数据流缓存、基于GPU集群实现数据流实时处理、基于BeeGFS实现分布式并行数据存储,模块化构建射电天文信号传输管道软件的设计思路。
Subjects: Astronomy >> Astrophysical processes submitted time 2020-12-21 Cooperative journals: 《天文研究与技术》
Abstract: 射电脉冲信号在传输过程中受到星际介质的影响会导致轮廓展宽和变形,在研究过程中需要对信号进行消色散处理。本文设计并实现了基于零拷贝的脉冲星数据GPU相干消色散算法,采用设备内存映射以消除主机到设备的拷贝开销,利用CUDA的cuFFT库进行多BATCH傅里叶变换以提高DFT效率,同时采用多线程实现了传递函数的加速计算。实验结果表明,与传统CPU及GPU算法相比,本文提出的算法在大数据量时表现良好。
Subjects: Astronomy >> Astronomical Instruments and Techniques submitted time 2018-06-21 Cooperative journals: 《天文研究与技术》
Abstract: After years of observation, Xinjiang Astronomical Observatory(XAO) Nanshan 26 meters radio telescope (referred to as NSRT) had accumulated massive scientific data. A remote backup system was established for the online data storage of NSRT, this redundant storage system contains two storage clusters, one cluster was in XAO headquarters and another one located in Nanshan station, the real-time synchronization of NSRT data can be realized between two storage clusters. Based on the object storage technology, centralized Luster storage system was created for storage clusters, and the I/O performance test of luster systems was finished. Redundant storage system solved the online archive and data safety issue for NSRT data.
Subjects: Astronomy >> Astrophysical processes submitted time 2017-09-26 Cooperative journals: 《天文研究与技术》
Abstract:经过多年观测,新疆天文台积累了大量珍贵的观测数据。如何高效管理快速增长的海量观测数据,如何实现全波段观测数据的融合及未来更大口径望远镜产生的海量数据归档与发布是目前新疆天文台急需解决的问题。新疆天文台数据中心面向天文学科研需求提供天文科学数据服务和基拙设施,由新疆天文台计算机技术室负责运行与维护。数据中心以最新的虚拟天文台相关标准为基拙建设,基本服务包括:为天文观测项目提供数据保存、管理和发布服务;为有价值的天文科学数据及二次处理后的数据提供长期保存和访问服务;为用户提供科学数据归档与发布服务及相关技术支持。数据资源主要有:新疆天文台25 m射电望远镜的脉冲星观测数据;活动星系核观测数据以及分子谱线观测数据。提供的数据服务有:PPMXL星表锥形检索;海量星表数据在线交又认证;统一内容描述符信息查询等服务。主要介绍新疆天文台数据中心建设及其提供的服务,如何使用已发布的服务在线检索数据及利用标准虚拟天文台工具实现数据操作。
Subjects: Astronomy >> Astrophysical processes submitted time 2017-09-26 Cooperative journals: 《天文研究与技术》
Abstract:海量观测数据及次生数据的高效存储与检索,天文大数据的快速及时处理,加速天文学研究的科学产出等问题,已成为天文观测和天文研究迫切需要解决的难题。以信息技术为支撑的天文大数据的高效分析和处理,帮助天文学家重新审视和了解宇宙。虚拟天文台的出现为全球范围内研究资源的无缝透明连接提供了协议、标准,以协议为基拙规范了天文数据的发布与检索方式。以国内外现有的观测设备为基拙,综述目前主流天文机构的数据发布与检索相关情况。