主流的三种分布式存储系统

主流的3种分布式存储文件系统 存储架构分两种，一种是传统存储阵列架构，另一种就是本文将要重点介绍的分布式存储架构。进入大数据时代，随着数据量的飞速增加，企业对于数据存储的可扩展性不断提出要求，而具有扩展性强、价格低廉特点的分布式存储系统则渐渐成为众多企业的选择。可以说，得益于大数据的繁盛发展，分布式存储架构在近几年中得到了前所未有的关注。 当前市场上，比较主流的3种分布式存储文件系统，分别有AFS、GFS、Lustre。它们基本都有一个共通点——全局名字空间、缓存一致性、安全性、可用性和可扩展性。 二、3种分布式存储文件系统的各自特点 1.AFS 由卡内基美隆大学最初设计开发的AFS，目前已经相当成熟，用于研究和部分大型网络中。AFS是AndrewFileSystem的简称，它的主要组建包括Cells、AFSclients、基本存储单元Volumes、AFSservers和Volumereplication。 拥有良好可扩展性的AFS，能够为客户端带来性能的提升和可用性的提高。AFS将文件系统的可扩展性放在了设计和实践的首要位置，因此AFS拥有很好的扩展性，能够轻松支持数百个节点，甚至数千个节点的分布式环境。它实现的是模块化的，所以并不要求在每台服务器上运行所有服务器进程。 但值得一提的是，AFS的缺点在于管理员界面友好性不足，需要更多的专业知识来支持。

2.GFS 被称为谷歌文件系统的GFS（GoogleFileSystem），是用以实现非结构化数据的主要技术和文件系统。它的性能、可扩展性、可靠性和可用性都受到了肯定。它主要运行在大量运行Linux系统的普通机器上，能大大降低它的硬件成本。 文件的大小，一直是文件系统要考虑的问题。对于任何一种文件系统，成千上万的几KB的系统很容易压死内存。所以，对于大型的文件，管理要高效，对于小型的文件，也需要支持，但是并没有进行优化。在GFS中，chunkserver的大小被固定为64MB，这样的块规模比一般的文件系统的块规模要大得多，可以减少元数据metadata的开销，减少Master的交互。但是，太大的块规模也会产生内部碎片，或者同一个chunk中存在多个小文件可能会产生访问热点。

3.QKFile qkf是qkfile项目的燃料，qkfile项目是一个全球性的公共分布式文件系统，可以给网盘、云存储、短视频、图片、cdn等领域提供可靠的文件存储分发服务，现在文件存储行业的市场规模是千亿美元级别，qkfile项目就是瞄准这个市场而推出的。未来所有的app、网站都可以使用qkfile项目提供的分布式文件系统，存储、分发数据，大家聊天发的图片，朋友圈发的视频，都可以使用qkfile。

—-

编译者/作者：财神圈Tow

玩币族申明：玩币族作为开放的资讯翻译/分享平台，所提供的所有资讯仅代表作者个人观点，与玩币族平台立场无关，且不构成任何投资理财建议。文章版权归原作者所有。