基于HBase的列存储压缩策略的选择优化

摘要: 大数据时代背景下，列存储数据库使用场景愈加增多，推动了列存储相关领域的研究进展。为解决现有列存储数据库压缩策略在压缩过程中遇到的数据离散程度大，分类粒度小，配套分类算法缺陷导致的学习成本高，压缩效率难以保证的问题，本文提出了一种基于排序的列区混合压缩策略，首先根据HBase特点设计了一种对各列数据进行排序的方法加强数据紧密度，然后根据数据特点分别使用混级区压缩策略和混级列压缩策略进行压缩策略推荐，在TPC-DS标准数据集上与前人策略进行比较，实验结果显示本文方法在压缩率、压缩/解压时间方面均有优异的表现，从而证明了本文方法的有效性。