原文作者:IPFS Community 本文由IPFS中国社区编译整理 原文链接: https://blog.ipfs.io/2020-02-14-improved-bitswap-for-container-distribution/ Web 2.0服务越来越依赖大型计算基础架构来支持快速迭代和部署周期。为了更快地构建,测试和发布软件,这些服务通常在寻找方法来升级其系统,以利用分布式对等网络中的新知识和新工具。 在IPFS Camp 2019之后,Netflix(奈飞,世界最大的流媒体平台)和IPFS开始合作将对等服务整合到Netflix开发人员工具中的方法。在一起,我们找到了一种利用IPFS加速云构建,设计和测试解决方案的方法,以通过高效的p2p容器映像分发提供支持的更快的持续集成(CI)管道。 作为此次合作的一部分,我们在过去两个季度中对Bitswap进行了重大改进,Bitswap是IPFS在两个或更多对等端之间传输文件片段的机制。进行此项改进的一个关键因素是p2p实验室(一种由Netflix创建的性能基准测试工具,用于运行可重复的测试),使我们能够确定和衡量改进。 为了进一步加快速度,我们在Bitswap协议中添加了一些有用的新功能,该功能将围绕容器分发的基准用例的传输速度降低了一半。在以前版本的Bitswap中,平均需要花费9.08秒将300 MiB图像拉到32个窃取点上。经过优化的分支将这一时间缩短至3.16秒-比DockerHub(3.93秒)快20%!当水peer同伴的数量超过播种者时,我们观察到下载的片段被重新播种,从而减少了种子同种子间的竞争。 Bitswap如何运作 IPFS将文件分成称为块的块,由内容标识符(CID)标识。当运行Bitswap协议的节点要获取文件时,它们会向其他对等方发送“请求列表”。“希望列表”是对等方想要接收的阻止的CID列表。每个节点都记住其对等体想要的块,并且每次节点接收到一个块时,它都会检查是否有任何对等体想要该块并将其发送给他们。 一旦节点将对等体添加到会话中,它也可以使用这些HAVE消息来找出哪个会话对等体具有相对便宜的其余块需求,因为它不必担心重复的块。在此阶段,节点还希望对等方说出它是否没有该块。因此,我们添加了一个ONT_HAVE响应。 Netflix上的容器分发 Netflix开发人员会定期在Netflix容器管理平台 Titus上部署数百万个容器。由于这些容器中有许多可以处理为Netflix提供支持的关键工作负载,因此通常需要将它们部署在世界各地的许多地区,以适应该地理位置的流量。当开发人员将发布映像推送到生产环境时,该映像需要复制到其他区域的Docker注册表中,否则部署将遭受跨区域数据成本和缓慢的传输速度的困扰。 Netflix基础架构部署在全球多个可用性区域和地区的Amazon Web Services(AWS)上。为了模拟这种环境,创建了p2p实验室来测量多区域集群中IPFS网络上数据传输的吞吐量。使用p2plab,我们可以可靠地确定IPFS的更改是否会提高性能。操作员能够使用群集定义来配置活动群集,并使用方案定义对数据传输方案进行基准测试。p2p实验室群集中的节点还可以热交换被测IPFS二进制文件,从而使Protocol Labs和Netflix工程师能够快速测试IPFS组件(如bitwap)的分支。 下一步 ?渴望获得新的加速性能吗?新的和改进的Bitswap已合并并计划用于下一个go-ipfs版本-为所有IPFS用户带来了上述性能优势。 本文来源:IPFS中国社区 —- 编译者/作者:IPFS中国社区 玩币族申明:玩币族作为开放的资讯翻译/分享平台,所提供的所有资讯仅代表作者个人观点,与玩币族平台立场无关,且不构成任何投资理财建议。文章版权归原作者所有。 |
IPFS和全球最大的流媒体平台Netflix开始合作啦!
2020-02-25 IPFS中国社区 来源:火星财经
相关阅读:
- “MOV成BTM必成”那么MOV是成还是不成?|链茶访2020-08-03
- 链人区周播报:央行发文规范金融行业区块链应用Seele主网兑换通道开通2020-08-03
- 比特币核心0.20.1发布2020-08-03
- HashKey Me 身份钱包打造 Web 3.0 区块链基础设施2020-08-03
- 为什么说大牛市需要SharedFile?DeFi存在瓶颈?2020-08-03