科创中国

基于Hadoop的封闭直方图立方

原文链接：万方

• 作者：

  冷芳玲,鲍玉斌,于戈,李炳梁

• 摘要：

  封闭数据立方是一种有效的无损压缩技术,它去掉了数据立方中的冗余信息,从而有效降低了数据立方的存储空间、加快了计算速度,而且几乎不影响查询性能.Hadoop的MapReduce并行计算模型为数据立方的计算提供了技术支持,Hadoop的分布式文件系统HDFS为数据立方的存储提供了保障.为了节省存储空间、加快查询速度,在传统数据立方的基础上提出封闭直方图立方,它在封闭数据立方的基础上通过编码技术进一步节省了存储空间,通过建立索引加快了查询速度.Hadoop并行计算平台不论从扩展性还是均衡性都为封闭直方图立方提供了保证.实验证明:封闭直方图立方对数据立方进行了有效压缩,具有较高的查询性能,根据Hadoop的特点通过增加节点个数明显加快了计算速度.

• 关键词：

  封闭数据立方 直方图数据立方 Hadoop MapReduce

• 作者单位：

  东北大学信息科学与工程学院

• 基金项目：

  国家自然科学基金项目(61173028,61033007)资助% 中央高校基本科研业务费专项资金项目(N100304005)资助

• 来源期刊：

  小型微型计算机系统

• 年，卷(期)：

  2012010