火龙果财经：谈一谈关于区块链技术的分布式存储

我们邀请了华为存储老司机来漫谈一下到底什么是分布式存储。

谈到这里，你已经大概了解了啥是分布式存储。华为从2002年涉足存储技术研究，十几年来不断提升自主研发能力和核心竞争力，截至2018年底，我们的存储产品已经服务于全球150多个国家的超过9000家客户。

存储产业经过几十年的发展，衍生出各种各样的存储产品，满足了企业应用的各种诉求。在数字化时代，华为存储紧紧把握住两大核心——以客户为本、以数据为核心，大力倡导“数据按需服务”的理念。

这个词汇是源于国外，简称是DSS，简单来说，就是存储设备分布在不同的地理位置，数据就近存储，将数据分散在多个存储节点上，各个节点通过网络相连，对这些节点的资源进行统一的管理，从而大大缓解带宽压力，同时也解决了传统的本地文件系统在文件大小、文件数量等方面的限制。

我们可以从两方面来理解分布式存储：用户侧和实现侧。因为在软件领域有个经典的拆解问题的角度：接口和实现分离。

从用户侧来说，单个应用的数据越来越多，廉价商用单机存储难以满足需求。不断增大单机存储容量是一种思路，但是成本会成倍上升，而且总有上限。另一种思路就是集合很多机器对外提供服务。最传统的接口是文件系统和数据库，但其接口都较为复杂，因此一开始分布式存储都寻求简化接口，以将精力放在解决分布式系统的问题上。比如裁剪的文件系统 GFS，比如对象存储S3。随着分布式系统实践越来越多，可以支持更复杂的接口实现，最近趋势是提供更丰富的接口以满足不同场景需求，比如满足缓存的kv，满足通用需求的分布式文件系统，满足关系存储的 NewSQL。

从实现侧来说，数据如何分散到多机上去？最基本的分布式解决办法是将数据分片（partition），使得一个分片能被任何单机存下。当然在实现中，分片一般会更小。随着数据越来越多，分片会越来越多，需要的机器也就越来越多。但硬件有良品率和老化问题，概率虽然不大，但在大机器量的情况下就会成为问题。为了保障数据不丢，需要将每个分片做冗余处理，包括EC编码（纠删码）和多副本（replication）。多副本数据如何做同步，这又会引出分布式系统中经典的一致性问题。再展开就比较晦涩了，有兴趣可以探讨。

分布式存储系统特点

1、大容量：系统节点可采用通用的X86架构存储服务器作为构建单元，可根据用户需要横向无限扩展存储节点，并且形成一个统一的共享存储池。

2、高性能：相比传统存储而言，分布式存储系统能提供高出数倍的聚合IOPS和吞吐量，另外可以随着存储节点的扩容而线性增长，专用的元数据模块可以提供非常快速精准的数据检索和定位，满足前端业务快速响应的需求。

3、更可靠：整个系统无任何的单点故障，数据安全和业务连续性能够得到保障。每个节点可看成是一块硬盘，节点设备之间有专门的数据保护策略，可实现系统的设备级冗余，并且可在线更换损坏的硬盘或者节点设备。

4、易扩展：系统可以支持在线无缝动态横向扩展。在采用冗余策略的情况下，任何一个存储节点的上线和下线对前端业务没有任何影响，完全是透明的。并且系统在扩充新的存储节点后，可以选择自动负载均衡，所有数据压力会均匀分配在各存储节点上。

5、易整合：兼容任何品牌的X86架构通用存储服务器，在标准的IP/IB网络环境下即可轻松实施，无须改变原有网络架构。

6、易管理：通过一个简单的Web界面就可以对整个系统进行配置管理，运维简便，极低的管理成本，一个管理员就可以轻松管理PB级别的存储系统。

基于不同的数据存储需求，我们需要设计不同的分布式方案。这个是一个大问题，上面只是提及冰山一角。

—-

编译者/作者：区块链大咖说

玩币族申明：玩币族作为开放的资讯翻译/分享平台，所提供的所有资讯仅代表作者个人观点，与玩币族平台立场无关，且不构成任何投资理财建议。文章版权归原作者所有。