-
基于Hadoop的封闭直方图立方
封闭数据立方是一种有效的无损压缩技术,它去掉了数据立方中的冗余信息,从而有效降低了数据立方的存储空间、加快了计算速度,而且几乎不影响查询性能.Hadoop的MapReduce并行计算模型为数据立方的计算提供了技术支持,Hadoop的分布式文件系统HDFS为数据立方的存储提供了保障.为了节省存储空间、加快查询速度,在传统数据立方的基础上提出封闭直方图立方,它在封闭数据立方的基础上通过编码技术进一步节省了存储空间,通过建立索引加快了查询速度.Hadoop并行计算平台不论从扩展性还是均衡性都为封闭直方图立方提供了保证.实验证明:封闭直方图立方对数据立方进行了有效压缩,具有较高的查询性能,根据Hadoop的特点通过增加节点个数明显加快了计算速度.冷芳玲,鲍玉斌,于戈,李炳梁 - 小型微型计算机系统文章来源： 万方数据 -
基于Hadoop集群的分布式入侵检测系统的设计与实现
设计并实现了一个基于Hadoop集群的分布式入侵检测系统(HDIDS).该系统实现了数据采集的分布化,数据存储的分布化和数据分析的分布化.有效地克服单点失效问题以及数据处理能力的瓶颈问题.谢天宇,曹奇英 - 微计算机信息文章来源： 万方数据 -
基于Hadoop的异常传感数据时间序列检测?
无线传感器网络中,异常时间序列的研究具有十分重要的意义。针对传统研究在海量数据环境中时间效率低下的问题,提出了基于Hadoop的异常时间序列检测算法。首先对时间序列进行预处理,然后在Hadoop的MapReduce操作中调用动态时间弯曲距离计算算法,实现了DTW距离计算的并行化,从而大大提高检测速度。同时针对传统DTW算法计算复杂度瓶颈问题以及传统约束方法准确率较低问题,提出了基于显著特征匹配的局部约束算法,对弯曲路径进行局部限制,在确保准确性的同时进一步降低了时间、空间复杂度。 Hadoop平台下实验结果表明,该方法既提高了检测速度,又保证了检测准确率。张建平,李斌,刘学军,胡平 - 传感技术学报文章来源： 万方数据 -
Cumulus:一个基于网络编码的分布式文件系统
基于网络编码在并发式数据传输时能够有效地降低网络负载的优越性,应用网络编码优化分布式文件系统的容错问题得到了广泛的关注.为了研究网络编码在分布式文件系统中的应用及其在降低网络负载的有效性,文中基于开源的Hadoop项目设计并实现了面向网络编码的分布式文件系统.该系统通过对存储文件进行切分,然后将这些文件切片进行编码存储,能够以更小的冗余开销获得更好的容错性能,同时,能够利用网络编码的性能提高网络资源利用率.陈运海,陈正亮,王钦辉,叶保留 - 微电子学与计算机文章来源： 万方数据
科创中国
