您选择的条件: 赵 青
  • 基于 Spark 分布式框架的海量星表数据 时序重构方法研究

    分类: 天文学 提交时间: 2024-03-26 合作期刊: 《天文学进展》

    摘要: 时序重构是时域天文学中的一个重要数据处理步骤,也是拟合光变曲线、开展时域分析研究的基础。Hadoop、Spark 这类MapReduce 分布式模型在执行过程中分布式集群{节点间的任务}比较独立,需要跨节点的数据传输量较少。提出了非阻塞异步执行流程,每个分布式进程完全针对独立天区的数据进行连续处理,而分块边缘的新增天体导致的其他节点的新增证认任务延时批量追加,并且会根据各进程间的进度不同确定追加方式,保证证认计算没有遗漏,从而在提高并发效率的同时保证算法的精度。此外,对两表间的不同Join 策略从理论和实验两个角度进行了研究并提出了免Join 策略。最后通过基于Spark 分布式框架的高效时序重构系统的设计完成了以上研究的验证。实验表明,与以往研究结果相比,该时序重构算法效率提升明显,为时域天文学中的天文时序数据分析的开展打下了良好的基础。

  • 基于 Spark 分布式框架的海量星表数据时序重构方法研究

    分类: 天文学 提交时间: 2024-03-22 合作期刊: 《天文学进展》

    摘要: 时序重构是时域天文学中的一个重要数据处理步骤,也是拟合光变曲线、开展时域分析研究的基础。Hadoop、Spark 这类MapReduce 分布式模型在执行过程中分布式集群{节点间的任务}比较独立,需要跨节点的数据传输量较少。提出了非阻塞异步执行流程,每个分布式进程完全针对独立天区的数据进行连续处理,而分块边缘的新增天体导致的其他节点的新增证认任务延时批量追加,并且会根据各进程间的进度不同确定追加方式,保证证认计算没有遗漏,从而在提高并发效率的同时保证算法的精度。此外,对两表间的不同Join 策略从理论和实验两个角度进行了研究并提出了免Join 策略。最后通过基于Spark 分布式框架的高效时序重构系统的设计完成了以上研究的验证。实验表明,与以往研究结果相比,该时序重构算法效率提升明显,为时域天文学中的天文时序数据分析的开展打下了良好的基础。

  • 粮食安全视角下的环京津地区耕地生态补偿量化研究

    分类: 农、林、牧、渔 >> 农业基础学科 提交时间: 2017-11-09 合作期刊: 《中国生态农业学报》

    摘要: 本文基于生态系统服务价值, 从粮食安全角度出发, 通过计算粮食耕地盈亏量、粮食耕地超载指数和 补偿系数, 建立了耕地生态补偿模型, 通过量化县域耕地生态补偿, 对河北省环京津地区耕地生态补偿问题进行了研究。研究结果表明: 1)环京津耕地“生态供给”与“生态消费”存在典型的“空间异位”现象, 其中耕地“生态消费”主要集中于环京津南部地区, 而耕地“生态供给”则主要集中在环京津西部地区。2)2014 年环京津耕地生态系统服务价值为4.480 5×1010 元, 整体呈现不能自足的态势, 总赤字金额为7.834×109 元。3)环京津地区中,河北省张北县、兴隆县、蔚县、尚义县和涞源县等17 个县市表现为盈余, 其余各县市均呈现为赤字状态。其中滦南县需支付的耕地生态补偿量最高, 为5.173×107 元, 其次为玉田县和东光县, 分别为4.864×107 元和4.849×107 元。虽然遵化市、滦平县、曲阳县可获得补偿, 但其耕地生态条件也仅仅表现为“紧平衡”, 仍需受到广泛关注。4)以粮食安全角度为出发点, 2014 年环京津区急需获得耕地生态补偿的县为张北县、蔚县、尚义县、阳原县、涞源县和曲阳县, 需支付耕地生态补偿的县为滦南县、玉田县、献县、吴桥县和定州市, 唐县、涞水县和丰宁满族自治县既不需获得也不需支付耕地生态补偿。与前人的研究相比, 本研究以生态补偿为切入点对河北省环京津地区耕地补偿问题进行了研究, 研究结果对于促进环京津地区经济发展、耕地生态环境保护与耕地资源持续高效利用发挥着重要作用。同时, 此方法的运用可为类似地区生态补偿的量化研究提供参考, 为其他地区以生态价值量确定耕地保护指标提供依据, 对耕地生态补偿价值机制的研究有指导意义。

  • 粮食安全视角下的环京津地区耕地生态补偿量化研究

    分类: 农、林、牧、渔 >> 农业基础学科 提交时间: 2017-11-09 合作期刊: 《中国生态农业学报》

    摘要: 本文基于生态系统服务价值, 从粮食安全角度出发, 通过计算粮食耕地盈亏量、粮食耕地超载指数和 补偿系数, 建立了耕地生态补偿模型, 通过量化县域耕地生态补偿, 对河北省环京津地区耕地生态补偿问题进行了研究。研究结果表明: 1)环京津耕地“生态供给”与“生态消费”存在典型的“空间异位”现象, 其中耕地“生态消费”主要集中于环京津南部地区, 而耕地“生态供给”则主要集中在环京津西部地区。2)2014 年环京津耕地生态系统服务价值为4.480 5×1010 元, 整体呈现不能自足的态势, 总赤字金额为7.834×109 元。3)环京津地区中,河北省张北县、兴隆县、蔚县、尚义县和涞源县等17 个县市表现为盈余, 其余各县市均呈现为赤字状态。其中滦南县需支付的耕地生态补偿量最高, 为5.173×107 元, 其次为玉田县和东光县, 分别为4.864×107 元和4.849×107 元。虽然遵化市、滦平县、曲阳县可获得补偿, 但其耕地生态条件也仅仅表现为“紧平衡”, 仍需受到广泛关注。4)以粮食安全角度为出发点, 2014 年环京津区急需获得耕地生态补偿的县为张北县、蔚县、尚义县、阳原县、涞源县和曲阳县, 需支付耕地生态补偿的县为滦南县、玉田县、献县、吴桥县和定州市, 唐县、涞水县和丰宁满族自治县既不需获得也不需支付耕地生态补偿。与前人的研究相比, 本研究以生态补偿为切入点对河北省环京津地区耕地补偿问题进行了研究, 研究结果对于促进环京津地区经济发展、耕地生态环境保护与耕地资源持续高效利用发挥着重要作用。同时, 此方法的运用可为类似地区生态补偿的量化研究提供参考, 为其他地区以生态价值量确定耕地保护指标提供依据, 对耕地生态补偿价值机制的研究有指导意义。