首页 > 成果展示
最优修复和低计算复杂度的二进制存储编码及大数据存储系统

专利权人:东莞理工学院

如何用廉价的硬件存储设备提供高可靠性高可用性高安全性的大数据存储服务已经成为当前大数据及其相关产业的核心问题。分布式存储系统是通过网络通信技术把分散的大量廉价的存储设备连接在一起,构建统一的存储空间,其目标为提供高可靠低成本高可用高安全的存储服务。当前,商用分布式存储系统(如Google文件系统)使用3倍复制的方式以保障部分存储设备在失效后依然可用,提供高可靠高可用的存储服务。然而,随着数据量的不断增加,3倍复制带来的存储开销越来越大,存储系统的成本也成倍增加。另一种方式是通过编码的方式达到容错的目的。当

具体了解该成果信息,请致电:18576711047

如何用廉价的硬件存储设备提供高可靠性高可用性高安全性的大数据存储服务已经成为当前大数据及其相关产业的核心问题。分布式存储系统是通过网络通信技术把分散的大量廉价的存储设备连接在一起,构建统一的存储空间,其目标为提供高可靠低成本高可用高安全的存储服务。当前,商用分布式存储系统(如Google文件系统)使用3倍复制的方式以保障部分存储设备在失效后依然可用,提供高可靠高可用的存储服务。然而,随着数据量的不断增加,3倍复制带来的存储开销越来越大,存储系统的成本也成倍增加。另一种方式是通过编码的方式达到容错的目的。当存储设备失效后对失效存储设备的修复以及编解码计算复杂度是编码的主要性能指标。现有的编码方法均无法同时在修复和计算复杂度达到最优,如应用在Facebook数据系统的RS码的修复带宽非最优。本项目为分布式存储系统研究并设计了一种具有最优修复性能和低计算复杂度的二进制存储编码技术,并基于所研究的二进制存储编码搭建了高可靠高可用高安全的分布式海量数据存储系统原型。本项目研究的二进制编码技术在理论上达到了最优的修复带宽,最优的修复读写和目前同类编码中最低的计算复杂度。初步的实验表明,该二进制编码技术在修复性能和计算复杂度性能具有较大优势。