分类: 天文学 >> 天文学 提交时间: 2017-09-26 合作期刊: 《天文研究与技术》
摘要: 天文数据处理是天文研究的一个重要环节。随着新一代望远镜功能与观测能力的快速发展,在观测地点构建高性能实时计算平台,快速完成数据的分析与处理是一种趋势针对明安图射电频谱日像仪和明安图观测站实时数据处理系统的建设要求,系统研究了基于OpenStack的本地云实现方法与系统自动管理模式,提出了动态进行计算节点启停的方法,并进行了实际测试。实验表明,该模式完全可以满足天文数据处理的需求,并且比传统的静态分配计算资源的数据处理方法更高效,可以有效地节省能源开销,降低观测成本,对未来天文台站高性能计算平台的建设有一定的参考价值。
分类: 天文学 >> 天文学 提交时间: 2023-01-18 合作期刊: 《天文研究与技术》
摘要: 随着天文观测技术的飞速发展,天文数据处理软件日趋复杂,天文数据处理环境的部署与管理日渐繁琐。利用容器技术将脉冲星数据处理环境封装成容器镜像并建立私有镜像库,科研人员可以根据数据处理需求选择镜像,实现数据处理环境的快速部署。利用实体计算机、虚拟机和容器中对脉冲星基带数据进行相干消色散处理,对比不同平台的资源利用率与数据处理效率。实验结果表明,容器的性能与实体计算机相近;在多任务并发的数据处理测试中,容器的资源分配更加合理,相较虚拟机可以提高计算资源利用效率。在新疆天文台脉冲星数据处理服务器上实现了基于容器的数据处理架构部署,设计并开发了容器管理图形用户界面,通过优化多用户登录、身份验证、数据卷挂载管理等功能,提高利用容器技术进行天文数据处理的效率。
分类: 天文学 >> 天文学 提交时间: 2017-09-26 合作期刊: 《天文研究与技术》
摘要: 天文瞬变源后随观测对于瞬变源证认具有重要的意义。瞬变源发生的偶然性和光变的快速性要求后随观测系统具有快速自动响应的能力。介绍了基于Python开发的天文瞬变源快速自动响应观测系统的研究和实现,核心是基于Django架构实现数据库交互与模块调度功能。系统有基于VOEvent的警报消息传递、网络端状态监控与交互平台、数据自动处理和结果自动反馈以及望远镜控制接口等主要功能。通过在北京的中法天文卫星科学中心和兴隆观测基地之间的消息数据传递和实际触发观测测试表明,系统能满足中法天文卫星项目地基观测系统瞬变源后随自动响应观测的基本要求,同时系统还具有良好的可移植性,适用于其他类似的自动响应观测系统。
分类: 天文学 >> 天文仪器与技术 提交时间: 2018-06-22 合作期刊: 《天文研究与技术》
摘要: SAGE是自主设计的能够准确计算恒星大气参数以及消光的新测光系统。对北天除银盘外共计约12,000平方度的天区开展了SAGE系统测光巡天,计划获取约5亿颗恒星的高精度测光数据。单次曝光条件下100σ完备星等uSC ~ 17.3,vSAGE~16.8(AB星等)。这为研究银河系提供宝贵的测光资料。介绍了巡天专用的数据处理程序的研究和开发,主要研究了针对单幅图像的快速自动化处理过程,重点介绍数据改正、天体测量校正、测光和流量定标过程,以及数据结果和数据质量检测等。
分类: 天文学 提交时间: 2023-10-07 合作期刊: 《天文学报》
摘要: 流星监测网是小尺寸近地小天体撞击监测、判断陨石落点的主要工具. 提出了一种基于多站布局的全天视频相机组网监测系统, 并在江苏及周边构建了一个区域级原型系统, 实现了火流星监测组网控制、视频数据采集、数据处理及流星体定轨的完整流程. 通过1\;yr的实测运行表明, 该系统可观测流星极限视星等为$-1.0$等, 可以实现绝对星等$-2.5$等流星的完备检测; 根据监测数据得到火流星通量为$2.68\!\times\!10^{-7}$\;km$^{-2}$\,$\cdot$\,h$^{-1}$; 群流星和偶发流星占比分别为46\%和54\%, 偶发流星中类小行星轨道和类彗星轨道比例分别为27.1\%和72.9\%. 统计结果与国际主要流星监测网相接近, 验证了监测网系统在实际组网使用中的监测能力.
分类: 数学 >> 建模与仿真 提交时间: 2021-05-07
摘要: 近年来,灰色系统理论在各个领域中的应用愈发广泛.在灰色预测模型中,GM(1,1)模型最为核心与基础,但该模型对振荡序列难以进行模拟,且振荡序列往往无法通过准指数律检验,这削弱了GM(1,1)模型的应用范围.本文利用GM(1,1)模型对单调序列的模拟,对振荡序列的1-AGO序列建立 GM(1,1)模型.再通过引入修正项的IAGO操作,还原到对原振荡序列的模拟.建立了改进的GM(1,1)模型,弥补了传统GM(1,1)模型对振荡序列模拟的缺陷.
分类: 计算机科学 >> 计算机科学的集成理论 提交时间: 2019-01-03 合作期刊: 《计算机应用研究》
摘要: 为提升用户服务质量,各类边缘集群部署于用户周围,在成为云数据中心重要补充的同时,也因其与用户不断交互而产生大量用户数据。为了降低因处理这些跨域大数据带来的作业完成时延,首先提出了以最小化系列跨域作业平均完成时间为优化目标的在线随机调度算法ranTA。ranTA基于跨域资源的异构性在线地计算出各计算任务调度至不同位置的偏好,并以此偏好作为概率调度每个计算任务;更进一步,为了避免将“热点”数据积压在边缘集群造成性能瓶颈,提出基于ranTA的捎带式数据重分布机制ranTA-data,其将部分数据随任务执行留存至云数据中心。ranTA-data不仅优化了当前作业的完成时间,也能证明在该机制下系列作业的平均完成时间以大概率汇聚于最优解附近。大规模仿真实验表明,所提出的在线随机化算法与数据重部署机制相比传统方法平均降低系列作业完成时间近30%。
分类: 天文学 >> 天文仪器与技术 提交时间: 2018-06-22 合作期刊: 《天文研究与技术》
摘要: 1.26m红外望远镜是一台由国家天文台和广州大学联合建设的望远镜系统,测光观测是该望远镜的重要观测手段之一。但当前一直存在数据处理周期较长、处理过程基本需要人工处理等问题。为了提高广州大学合作团队的数据处理能力,提出了一种面向1.26m红外望远镜半自动的测光处理管线,该管线在获取原始数据后,基于当日的观测记录重建FITS头文件信息,随后管线系统自动对图片进行预处理、定位目标星源、计算出目标星等相关操作,最后获得可利用的测光数据。这种方式高效、便捷,同时精度也得到了保证,它把当前主流测光模式中繁杂的、需要不断重复的步骤交由程序运行,从而节省了时间,显著提高了工作效率,解决了当前光学测光模式中图像数据的处理跟不上数据产出的大难题,满足了广大科研工作者的需求。
分类: 天文学 >> 天文学 提交时间: 2021-01-11 合作期刊: 《天文研究与技术》
摘要: 边缘检测是图像处理和计算机视觉中的基本问题,其目的是标识数字图像中亮度变化明显的点。激光测距是测距领域精度最高的的重要技术手段,激光测距数据能够被应用于科学研究之前,需要对原始数据进行一系列的预处理。根据目标信号和噪声信号在图像上的分布特点,本文提出了一种基于边缘检测来提取目标信号的方法,将原始数据转化成测距残差图像,对其进行边缘检测后识别信号位置。用过对实测数据处理表明本文提出的算法具有一定的可行性、通用性。
分类: 天文学 >> 天文学 提交时间: 2019-01-03 合作期刊: 《天文研究与技术》
摘要: 郭守敬望远镜(LAMOST)每日产生海量观测数据,数据处理涉及观测计划生成、二 维和一维数据分析、参数测量、质量控制和光谱释放等诸多环节。为了更高效地获取、处理、分析数据和发布数据以及及时解决数据处理过程中出现的问题,开展了LAMOST数据流与光谱质量控制研究。首先,深入研究LAMOST系统数据流和工作流程,结合关系型数据库进行数据建模,实现基于Linux的MySQL数据库系统,将数据处理和发布各个环节有机串联并融合在一起;然后,基于该数据库系统,定义光谱质量控制模型,建立光谱质量控制系统,严格控制光谱质量和光谱产出各个环节,从而为优质的光谱资源的释放提供保障。该数据流与光谱质量控制系统可以很好的满足LAMOST数据处理和数据管理的需要,是可以扩展至同类望远镜系统进行数据处理的一种有效方案。
分类: 天文学 >> 天文学 提交时间: 2017-09-26 合作期刊: 《天文研究与技术》
摘要: 基于FAST主动反射面健康监测系统的多传感器测点与海量监测数据,提出一种数据处理方法,对系统采集的温度、应力、风速及索力等数据进行处理;采用多项式回归分析数据相关性,辨识温度梯度对应力的影响。利用提出的数据处理方法对不同工况下圈梁结构应力、索力和温度之间的相关性进行分析。分析结果表明,圈梁结构应力与温度显著相关,且在索网未变位期间圈梁结构应力主要受温度影响,索网变位期间主要受索力影响。通过对数据的处理可识别影响结构内力的主要因素,并有效分离温度变化对应力的作用,为后期运行维护提供数据支持。
分类: 工程与技术科学 >> 计量学 分类: 工程与技术科学 >> 仪器仪表技术 提交时间: 2024-02-13
摘要: 对国产多功能电能表的技术演进进行了深入的探讨。随着国内电力市场的快速发展和技术的不断创新,国产多功能电能表经历了从简单计费到复杂多功能、从单一应用到广泛领域的转变。这种转变不仅推动了电能表技术的快速发展,也满足了日益增长的电力需求和管理要求。文章从多功能表概念,采用数字乘法器的电能表工作原理及算法,多功能电能表标准的起缘及演进,国产多功能电能表产品的起缘及演进四个方面进行阐述。尽管国内自主生产的多功能表在性能上取得了不俗的成绩,但在可靠性和关键工艺技术方面仍有待提高。此外,通信技术的发展也为电能表技术的进步提供了新的机遇。新技术的应用,为电能表的数据传输和远程管理提供了更加便捷和高效的方式。国产多功能电能表在技术演进和应用拓展方面取得了显著的成就,但仍面临一些挑战和机遇。未来,随着电力市场的不断发展和智能电网建设的推进,国产多功能电能表需要继续加强技术创新和产品研发,提高产品的可靠性和竞争力,以满足更高的应用需求和市场要求。
分类: 天文学 >> 天文学 提交时间: 2023-06-07 合作期刊: 《天文学进展》
摘要: 宇宙再电离时期 (epoch of reionization, EoR) 的探测是 SKA 的重要科学目标之一,也是目前许多 SKA 探路者阵列的首要科学目标。由于宇宙再电离信号非常微弱,因此在数据处理的过程中存在许多难点,如高精度校准、大视场高动态成像等。对默奇森宽场阵列(Murchison Widefifield Array, MWA)、低频阵列 (Low Frequency Array, LOFAR)、21CMA 阵列 (21 Centimeter Array, 21CMA) 等 SKA 低频先导干涉阵列的基本数据处理方法进行了综述,如干扰的识别与去除、数据校准、可视度研究以及成像研究等,并对数据处理时用到的一些常用技术与软件作了相应的介绍与总结。
分类: 天文学 >> 天文学 提交时间: 2022-09-19 合作期刊: 《天文研究与技术》
摘要: 对各类变星的观测研究是时域天文学中的重要内容,中国科学院国家天文台兴隆观测站作为亚洲大陆规模最大的光学天文观测基地,拥有一批米级口径望远镜,每年面向全球天文工作者开放申请,承担了大量变星的测光观测,但至今没有完全针对兴隆观测站中小口径望远镜的测光数据自动化处理软件。本文介绍了一种针对兴隆观测站望远镜观测数据的光变曲线自动抽取程序,现了从原始观测数据到获得光变曲线的全过程。该程序具备模块化和可自定义等特性,通过简单配置也可适用于其它光学天文望远镜数据。本文还介绍了该程序的结构、特点、使用方法,并以食变星UY UMa的实测数据处理为例展示了处理结果,最后讨论了程序的局限性和对其未来发展的展望。
分类: 天文学 >> 天文学 提交时间: 2019-12-26 合作期刊: 《天文研究与技术》
摘要: SKA 科学数据处理产生的数据超出了所有已存在的分布式处理系统的处理能力,如何实现一个分布式执行框架是当前科学数据处理的一个重要研究内容。Spark 是非常成熟的一个商业框架,在互联网应用中被广泛应用,本文根据SKA项目进展要求,重点研究了如何将算法参考库(ARL)中的部分管线移植到Spark上执行。本文对部分实现过程进行了分析讨论,给出了相应的任务流程实现。最终结果表明,移植后代码生成结果符合预期,Spark能够满足部分数据分布式数据的要求,但迫切需要解决自身存在的一系列问题。
分类: 天文学 >> 天文学 提交时间: 2017-09-26 合作期刊: 《天文研究与技术》
摘要: 采用图形处理器和最新的通用并行计算架构设计了射电天文多相滤波器组,并对其性能指标进行了测试和分析。利用图形处理器强大的浮点数计算和高效并行执行能力实现了多相滤波器、快速傅里叶变换算法加速,改善了多相滤波器组算法的执行效率。实验结果表明,设计的多相滤波器组具有一定的灵活性和可扩展性,能够实现射电信号的高速滤波及信道化,可有效提高射电望远镜数字终端算法的并行数据处理能力和计算效率。
分类: 地球科学 >> 空间物理学 提交时间: 2017-03-10
摘要: 针对卫星有效载荷数传数据传输速度快、实时处理难等特点,提出一种面向有效载荷高速数据流的实时数据处理方法。该方法借鉴MapReduce的多线程并行模式,采用hash算法与归并排序算法相结合的方式,提高数据处理吞吐率,实现实时处理;采用基于XTCE(XML Telemetry & Command Exchange)数据模型的参数解析算法,实现通用性。实验表明该方法能够满足有效载荷对数据处理的实时性和正确性的要求。
分类: 计算机科学 >> 计算机应用技术 提交时间: 2016-11-02
摘要: 本文针对互联网应用中出现的新兴海量数据存储和处理系统,对比了新兴系统与传统关系型数据库的差异,以及各种系统实现技术之间的不同特点,并总结出相应的关键技术问题。
分类: 天文学 >> 天文学 提交时间: 2023-06-07 合作期刊: 《天文学进展》
摘要: 光学窄波段观测能够表征发射线天体清晰的结构,是研究发射线天体的重要手段,对恒星形成区、类星体窄线区、星系 H II 区、星际介质等方面的研究具有重要意义。消除窄波段图像的连续谱是常用的搜寻发射线天体的方法,传统上连续谱扣除的解决方法是根据像素位置、方向和强度来调整图像对齐,然后进行两幅图像的相减,但是其过程繁琐不适合用于巡天大数据减连续谱。基于窄波段巡天项目 (narrow band survey, NBS) [S II] 波段数据,提出一种通过自动匹配宽、窄波段流量数据与星像轮廓方法。该方法自动匹配图像天文位置,避免了图像像素对齐过程中像素位置调整和图像选择。通过快速探测宽、窄视场图像的流量和星像,完成相应匹配,提高图像相减效率。根据实验结果,减完连续谱的图像中大概 70% 亮星能被扣除干净,并且能够获取到较清晰的发射线天体结构。目前该方法已用于搜寻 Herbig-Haro 天体 (简称 HH 天体),超新星遗迹候选体选取等工作中。
分类: 天文学 >> 天文学 提交时间: 2017-09-26 合作期刊: 《天文研究与技术》
摘要: 高重频卫星激光测距系统中,激光脉冲飞行时间通过事件计时器分别测量主波和回波时刻获得。为了采用更高重频且高精度的事件计时器,将Guidetech公司的GT668SLR-1事件计时器应用于中国科学院云南天文台的1.2m望远镜激光测距系统,对其结构原理进行分析,并利用其测量由信号发生器产生的固定信号、地靶测距和卫星测距等试验,采集数据的处理结果达到激光测距精度要求,由此判定GT668SLR-1事件计时器可用做卫星激光测距系统的时间测量单元。