系统架构 盘点存储系统在阿里云内部支持ECS、MaxCompute、OSS、OTS、SLS等几乎所有的阿里云存储产品,对这些产品提供一致、可靠、高性能分布式文件接口和块设备接口,对上层屏蔽硬件错误和存储位置。 系统层次上遵循Meta和Data分离的原则,架构类似HDFS系统的NameNode和DataNode分离,同时利用数据读写和Meta节点低耦合、Meta节点高可用和Meta节点水平扩展等技术方案来规避Meta的单点问题。在盘古系统中NameNode对应盘古的Master节点,DataNode对应盘古的ChunkServer节点。针对块设备,盘古在文件系统上增加block层来将块设备的随机读写映射到顺序读写的文件上,保证块设备数据的强一致。在上述两层之外,增加系统管控层次,可以让存储系统同其他例如流计算、NoSQL、MapReduce等系统协调一致共享硬件资源,在系统运维方面可以从各个节点获取监控、Trace、日志信息,给出运维建议和硬件故障自动处理。 Master节点相当于系统的大脑,主要完成数据分布、恢复、垃圾回收功能。可以在数据写入时根据数据节点的情况动态分配数据位置,防止局部热点。在部分节点失效情况下,合理控制数据恢复过程,既保证数据可靠,同时让性能损失最小,例如在某个交换机出现故障后,为了让数据恢复尽量快,可以先在部分交换机下允许数据有多个副本,这样可以加速数据恢复,在交换机故障恢复后选择多个副本在同以交换机下的数据进行回收,尽量降低单交换机失效引起的集群性能波动。 ChunkServer节点需要做到可以适应不同的硬件类型,以各种硬件最友好的I/O方式操作硬件,释放硬件极限性能,同时对外暴露统一的接口。实现的主要难度是在最小资源消耗的情况下,如何让软件消耗在整个I/O路径上的消耗最小。在数据恢复和重新分布功能中,ChunkServer也是流量控制和优先级控制的重要环节,涉及到多点流量控制,防止系统由于数据恢复过多占用整体或者局部网络流量导致系统性能下降。 而qkf(qkfile)分布式文件存储系统,数据不是保存在区块链上,而是存在WAN存储系统中,由分布在全球的成千上万边缘节点统一组成共享存储池。 qkfile分布式文件存储系统凭借区块链存储核心技术,打造了无法被逾越的竞争壁垒,能够在坚决捍卫用户数据主权的同时较集中式存储至少降低50%的成本优势,并且随着用户增多,成本会至多降低90%。 —- 编译者/作者:财神圈Tow 玩币族申明:玩币族作为开放的资讯翻译/分享平台,所提供的所有资讯仅代表作者个人观点,与玩币族平台立场无关,且不构成任何投资理财建议。文章版权归原作者所有。 |
数据不是保存在区块链上
2020-02-24 财神圈Tow 来源:区块链网络
LOADING...
相关阅读:
- M2Pro矿机订购:芯域矿池超级节点助力新基建(附二维码)2020-08-01
- 区块链红利渗透,谁能把握新时代的数字机遇?2020-08-01
- 政策利好引燃区块链赛道,属于vtoken的新机遇已经到来2020-08-01
- YAS会相对于CPM走独立行情吗?|SET被AP点名|公主是YAS铁粉|投道4232020-08-01
- 俄罗斯总统弗拉基米尔·普京(Vladimir Putin)从2021年起签署了一项有关加2020-08-01