现状 FileStar全网维持了90多PiB的海量数据,这些数据以各种各样的方式存储在磁盘上,每天这些数据都面临抽查,未来还会支持更多有用的数据,因此保障数据安全十分重要。 目前FileStar并未提供底层的存储解决方案,矿工可以自行选择直接存盘上,或是选用Raid、Ceph等存储解决方案。但这些存储解决方案面临了以下痛点: 大吞吐,封装/出块效率的保证:IPFS算力集群庞大,worker节点需要及时写入大文件,常规要求100Gbps+吞吐,以保证封装数据的写入效率; 随机读,证明效率保证:每日48次(半小时)一次的全量证明,要求平台良好的随机读取效率; 单写全读模型:无热点数据,存储分级、缓存等读写优化技术失效; 超大容量:IPFS要求数据持续可读(证明),不删除,周数据数PB级,年度数百PB级至EB级别; 数据安全&低TCO:年百PB数据量长久可访问保存,需要高出盘率,以降低存储成本; 大规模集群的高效运维:数百PB至EB级存储系统的高效运维。 为了解决这些痛点,FileStar开发团队调研了一些商用的存储解决方案,并进行了长达数月的兼容性和稳定性测试。近期,FileStar项目即将支持七牛云KODO作为底层存储解决方案,目前测试工作已接近了尾声。以下是关于七牛云KODO的详细介绍,欢迎查阅。 七牛云KODO 七牛云FCFS文件存储系统是针对IPFS场景下的定制化存储产品,为企业级客户提供高性能、高可扩展性和大数据容量的分布式存储产品。 该产品可以支撑超大型IPFS项目,FCFS单集群根据磁盘数量,读写性能线性扩展;采用文件接口存储,无需修改适配平滑接入;云端对象存储,可无限扩展存储节点,最大可支持EB级容量,海量吞吐性能;同时计算存储分离,灵活进行单独扩容;数据动态负载均衡。 出盘率可提高到90%以上,同时提供多副本的容错能力。多种纠删码(EC)方案灵活部署,满足各种规模存储的建设需要。提供SDK、文件接口等对接方案,适配各种算力方案。完整的数据防误删除,数据恢复机制,保证数据安全可靠。 优化了存储性能,全面提升扇区读写效率。采用了对象存储模型,从key直接到value,无目录树查找损耗,满足千亿文件数低延迟访问。 针对时空证明PoST, 对WindowPoST利用元数据服务快速定位数据,将多个查询请求合并,单个Partition(2349个32G扇区的情况下)可在18.8秒完成读取。对WinningPoST,将读请求合并,66*9次随机读合并为一个请求,大幅降低IO消耗和证明时间。 灵活应对存储小集群、大集群。根据出盘率、故障容忍性与存储容量和性能需求,设计集群规模和EC模型,如6+2,8+2,15+3等,支持一定数目的机器故障,不影响数据写入与时空证明。 扩容方案最小支持单存储节点。推荐根据当前EC规则扩容对应的数量,同时也可以根据需求更改EC,满足提升出盘率、容错性的新需求,应对算力爆发式增长等场景。 存储稳定可靠。有完整的数据冗余和数据保护机制,存储支持磁盘、服务器、机柜等级别纠删码。提供故障隔离功能,保证集群出现故障时的业务连续性。同时具备数据快速修复能力,不影响IPFS的正常运行。 数据迁移方面可以保证新老集群无缝对接。提供专用数据迁移方案和工具,可实现快速、平滑的数据迁移。具备迁移资源确认、路径确认、迁移速度目标、网络准备、带宽评估、工具部署、数据迁移、数据校验等完整迁移流程。 最后还提供公有云级别的运维经验和运维服务。全面的告警项覆盖及动态存储;高到达率并支持多种通知渠道对接;7*24h值守高可靠自动轮询机制;事态感知自动升级和丰富的统计接口。 FileStar 致力于构建基于 IPFS 协议的分布式存储、计算和带宽激励网络,整合全世界互联网基础设施资源,最终成为搭建Web 3.0(未来互联网)的物理世界基础设施,服务于其它区块链项目和Web 3.0世界。 FileStar文曲星支持七牛云KODO作为底层存储解决方案,将更好的促进FileStar生态建设,真正开启FileStar存储网络的商业化应用,包括为蓬勃发展的NFT产业提供高可靠分布式存储空间。 —- 编译者/作者:文曲星FileStar 玩币族申明:玩币族作为开放的资讯翻译/分享平台,所提供的所有资讯仅代表作者个人观点,与玩币族平台立场无关,且不构成任何投资理财建议。文章版权归原作者所有。 |
Web3项目FileStar将支持七牛云KODO对象存储、为NFT产业提供高可靠分布式存储空间
2021-04-07 文曲星FileStar 来源:区块链网络
- 上一篇:4.06和4.07盈利分享
- 下一篇:4.7午间以太坊行情分析:
LOADING...
相关阅读:
- Filecoin自由分布储存数据你知道都有哪些大佬参与吗?2021-04-07
- PMI等六大数据反映中国经济活跃度不断提高2021-04-07
- 参考消息报道:美报告关注“数字丝绸之路”及BSN2021-04-07
- Filecoin全网国模首次达到基线标准对矿工有何影响?2021-04-07
- IPFS-filecoin最新资讯:什么是扇区?关于扇区生命周期的思考2021-04-07