Filecoin大集群方案全新升级，星际鑫航助力大矿工进一步提升投入产出比

据协议实验室最新消息，Filecoin space race（有奖测试计划）将与北京时间8月25日6：00开启，期待已久的有奖测试终于来了。在近期，为更好的服务于客户以大规模集群参与有奖测试，星际鑫航技术团队在原来的集群方案基础上进一步升级，实现更大规模集群的稳定运转，资源使用率高。

新的集群方案着力于解决以下问题：1、如何解决集群内部大量数据传输造成的网络拥堵的问题？2、如何智能分发P1/P2/C2环节的任务，提高集群内各机器使用率？3、不同的集群如何合并与拆分，如何实现Filecoin矿池的灵活扩容与缩容

针对这些问题，我们总结过往测试网经验，在原来的集群方案基础上，对集群的结构、机器调度管理、以及部分核心代码进行了进一步优化升级。在初步测试验证确认大集群方案后，在此，向大家简单说明我们全新的大集群方案。

01

大规模集群构成

集群整体构成：1 台Miner +N台 P1&P2 worker+M台 C2 worker+ Ceph存储

Miner机器：搭载Intel V2以上双路CPU+ GPU 即可

P1&P2 worker机：搭载AMD CPU ，支持128G内存以上 N 台 ，CPU 的性能与内存大小决定P2阶段密封扇区并行数

C2 worker机：推荐使用搭载AMD CPU+GPU（2个或4个）结构，性能决定C2环节完成时长

存储机：一般性能Intel机器即可，搭建ceph存储集群，实现数据备份与弹性扩容

各机器配比数由机器性能决定，可基于星际鑫航对各机型历史测试数据搭配，通过测试进一步优化最终确定。

以上为集群整体的构成，我们对集群中各种机器具体的配置与数量没有定统一的标准，可以依据客户的投入资金规模以及现有的供应链优势，进行组合优化。

按照行业内比较习惯的评估方案，当前客户测试的集群投入产出达到5.9GB/h/万元。目前该方案还在进一步优化细节，以实现更高的产出。

02

新集群方案作了哪些优化？

星际鑫航技术团队坚持的技术路线是：在尽可能少编译官方源码的基础上，通过机器的合理分工以及任务调度管理优化，使机器的资源使用率尽可能高，从而保证集群整体的产出。

新集群方案在以下几方面做了进一步优化。

机器分工优化

此前，星际鑫航团队推出的小集群方案是P1环节与P2环节分离，尽可能提高P1环节密封扇区的并行数，从而提高集群整体的密封效率。但是当集群规模达到一定量级以后，集群内部的数据传输会极其拥堵，通过万兆交换机聚合的方式，仍无法解决拥堵问题。

在新方案内，我们将P1与P2在同一台Worker机器完成，减少了单个扇区P1到P2环节的数据传输，有效降低了集群内部网络负载。

同时，结合P1& P2 worker 机器性能参数，通过分布式存储智能运维平台Gamma OS的智能任务调度，精准控制每台P1& P2 worker机器各自进行P1、P2环节的扇区数，使P1& P2 worker 机器的资源使用率保持较高水平。

支持多Miner合并的矿池方案

多miner合并的矿池，是指将原本各自独立运行的Filecoin计算集群合并在一起，原本的集群保持不变，各自相互独立，同时也保持网络互通，数据互通。这样的N个集群会有N个Miner，运行编译后的Filecoin客户端，共同归集在一个矿工ID下，各自的算力也汇总在一个矿工ID下。

相比较于在同一个Miner下增加worker机器的扩容方案，这种多Miner合并的矿池方案，实现了矿池规模的灵活扩充，同时不会给Miner机器增加过多负载，另外也能有效减少集群内的数据传输增多造成的网络压力。

需要说明的是，当前测试成功的多Miner合并方案，仍不支持跨机房集群的合并。对于跨机房的矿池方案，目前已有理论可行的思路，接下来会重点攻克测试验证。

Ceph存储优化

对于集群内存在大量数据传输的环节，统一采用Ceph存储，扇区密封结束后，数据直接同步至Ceph存储集群。密封扇区结束后，Miner向Ceph拉取数据向网络提交时空证明。

另外，在集群内需要大规模并发读写时，启用多活MDS，能够自动对读写请求进行负载均衡。在整个Filecoin的大集群中，优化了Ceph存储集群后，集群整体基本不出现大批量数据传输。

少量核心代码优化

如果让众多资深程序员评价Filecoin的源码，估计大部分程序员会说:"waht a shit ".虽然Filecoin热度很高，但是目前Filecoin的客户端相关代码确实比较差，还有较大的优化空间。

我们在不改变Filecoin技术路线与结构的基础上，针对密封扇区过程中的任务分配算法以及网络传输2个方面集进行局部优化，目前已经实现P1与P2在同一台Wokrer上并行（此前P2不可并行），集群内数据传输路径优化，大幅降低网络压力。

03

新集群方案实测效果与产出

依据上述的集群新方案，在最新版的校准网Calibration（最接近有奖测试网以及未来的主网）测试中，P1&P2worker机（AMD）＋C2 worke机（Intel）的Filecoin集群，实现了每小时2.2T的产出，结合该集群的硬件采购成本以及网络搭建成本，我们大致算出投入产出为5.9GB/h/万元（即每万元的硬件投入每小时密封的数据量，该规则为行业内通常采用的评估性价比的方式）

当然，绕开集群的高效管理以及机房的网络条件，谈集群的实际产出是不现实的。在经过大量集群的搭建、管理测试，我们发现集群的运维管理，机房网络环境对于集群整体产出的影响超过了集群机器的性能。

任务分发——Gamma OS批量管理集群

Filecoin测试在慢慢走向尾声，经历过大量集群测试的矿工都会感受到，机器性能是基础，代码优化和机器的科学调度管理是核心，网络环境以及集群的运维是保障最终产出的根本。

通过星际鑫航自主研发的分布式存储智能运维平台Gamma OS的辅助下，星际鑫航技术团队可以协助客户，在半个小时内即完成大集群的环境准备以及搭建工作。同时，机房的运维人员以及集群的管理人员都能通过Gamma OS的监控功能，及时获取集群内各机器的信息，灵活快速处理集群的异常。

全球矿工盼Filecoin久已，虽然即将上线的最终测试版离完美还很远，但是并不妨碍各位矿工的参与热情。在此预祝各位矿工在即将开始的角逐中，旗开得胜。

星际鑫航将始终从运维的角度出发，精心打磨智能运维平台Gamma OS，为广大矿工的机器运维提供支持。

欢迎持续关注微信公众号：星际鑫航，了解更多IPFS&Filecoin解决方案。

本文来源：星际鑫航
原文标题：Filecoin大集群方案全新升级，星际鑫航助力大矿工进一步提升投入产出比

—-

编译者/作者：星际鑫航

玩币族申明：玩币族作为开放的资讯翻译/分享平台，所提供的所有资讯仅代表作者个人观点，与玩币族平台立场无关，且不构成任何投资理财建议。文章版权归原作者所有。