01、背景 自从我们两周前发布了机器选型的内容,并深入地探讨了并行封装的问题之后(详情请见:石榴矿池Filecoin硬件选型全方位测评),官方开发团队也对并行化产生了兴趣。在Slack上,官方对我们上文中所提到的“在1TB内存上并行地封装10个sector”充满了期待。我们也着手进行了一系列测试,并决定公开相关的实验结果。 02、环境 AMD EYPC 7*** (出于商业原因暂时隐去型号)1TB内存4TB NVMe SSD * 22080Ti * 103、实验 实验1:官方代码 我们首先在以上环境中运行了官方的benchmark,作为对照。结果如下: results (v27) (34359738368) seal: addPiece: 10m6.129864129s (54.1 MiB/s) seal: preCommit phase 1: 4h18m12.197808042s (2.12 MiB/s) seal: preCommit phase 2: 21m53.294717595s (25 MiB/s) seal: commit phase 1: 429.925168ms (74.4 GiB/s) seal: commit phase 2: 49m6.659433424s (11.1 MiB/s) 实验2:12个PreCommit1并行(石榴矿池优化版本1) 是的,你没有看错,我们进行了12个sector的并行实验。具体步骤为:先并行计算12个PreCommit1,然后计算一个PreCommit2、一个Commit1和一个Commit2。实验结果如下: PreCommit1阶段,占用了CPU总体的37.6%PreCommit1阶段,内存使用了829GB。PreCommit1执行完后,SSD使用了2.95TB。PreCommit1运行了4h50m,比不并行增加了半小时。可见,12并行是完全可行的。虽然增加了半小时的计算时间,但这是值得的。增加时间的原因,可以从图中看出,是由于同时读写SSD造成的IO wait。该方案平均每sector密封时间在两小时之内。 CPU占用(图表来源:石榴矿池) 内存占用(图表来源:石榴矿池) 硬盘占用(图表来源:石榴矿池) 04、开发中的优化版本 方向1:内存不变,提升速度(石榴矿池优化版本2) 展示一下我们正在开发的两个优化方向。首先是保持PreCommit1使用的内存不变,加快计算速度。这样,速度得到了提升,又不会影响并行度。 实验环境保持不变,以下是实验结果。其中AddPiece和Commit2也做了一些优化。 results (v27) (34359738368) seal: addPiece: 46.026373071s (712 MiB/s) seal: preCommit phase 1: 2h56m27.986792594s (3.09 MiB/s) seal: preCommit phase 2: 22m19.407208518s (24.5 MiB/s) seal: commit phase 1: 620.730282ms (51.6 GiB/s) seal: commit phase 2: 26m21.373588122s (20.7 MiB/s) CPU占用(图表来源:石榴矿池) 内存占用(图表来源:石榴矿池) 方向2:更多内存,极致速度 如果不限制PreCommit1所使用的内存,那速度的极致能做到多快呢?我们也给出了自己的答案。 results (v27) (34359738368) seal: addPiece: 46.068148218s (711 MiB/s) seal: preCommit phase 1: 2小时左右 seal: preCommit phase 2: 22m3.992263233s (24.7 MiB/s) seal: commit phase 1: 649.69206ms (49.3 GiB/s) seal: commit phase 2: 32m28.636361938s (16.8 MiB/s) (*出于商业原因,隐去具体数据,商业合作可以联系石榴矿池) CPU占用(图表来源:石榴矿池) 内存占用(图表来源:石榴矿池) 05、总结 石榴矿池通过自己研发的3个不同版本的优化软件,分别测试了在1TB内存机器上可以取得的极致速度。初步的测试结果非常理想。我们已经在1TB的机器上,取得12个sector以上的并行,并且P1、P2、C2相比官方软件都有非常大的效率提升。考虑到并行度,我们在1TB 内存机器可以上实现 50分钟一个Sector的速度。 正如我们之前强调的,评估解决方案好坏的唯一标准,不是计算速度、并行度或价格,而是性价比。我们可以配置价格高昂性能卓越的硬件,可以以内存为代价高速地完成封装,也可以进行大量并行的计算。但是这些都不能作为解决方案好坏的评估标准。最终,需要将这些指标按照计算公式得到性价比,才能用于评估解决方案的好坏。在诸多条件的相互制约下,如何得到最优的解,这可以叫做“凸优化问题”,也可以叫做“背包问题”,但我更愿意把它叫做“未来一直努力的方向”。 本文来源:石榴矿业6block —- 编译者/作者:石榴矿业6block 玩币族申明:玩币族作为开放的资讯翻译/分享平台,所提供的所有资讯仅代表作者个人观点,与玩币族平台立场无关,且不构成任何投资理财建议。文章版权归原作者所有。 |
石榴矿池公布1TB内存Filecoin矿机,实现单扇区50分钟封装!
2020-06-24 石榴矿业6block 来源:火星财经
LOADING...
相关阅读:
- 【红包万KEY】好文算法升级换代!埋点红包或被降权?怼人真凶居然是2020-08-05
- 「币聊Filecoin」集万千瞩目一身的Filecoin,能否顺利C位出道?2020-08-04
- ???????????? | Ξ????????????Ξ???????? ? 2020/01/212020-08-04
- 火了不只是UniswapIOST链上全DeFi生态平台PowerDeFi流水破千万2020-08-04
- Filecoin挖矿会出现垄断吗2020-08-04