Filecoin大规模数据的离线数据传输

这是新系列中第一篇博客文章，重点介绍Filecoin协议特有的功能。

Filecoin旨在存储世界上最有价值的信息。在全球范围内，我们每天产生2.5亿个字节的数据。尽管其中许多数据不需要永久存储，但其中一些数据涵盖了人类在科学，数学，艺术，历史和人文科学领域创造的最重要的信息。

Filecoin是用于买卖分散式存储的基于区块链的市场。区块链机制提供了安全的存储保证，而加密货币机制创建了一个动态的市场。

正如我们在加密经济学构造博客文章中讨论的那样，有时当您处理大量数据时，很难（昂贵且耗时）通过Internet传输这些文件以进行保管。对于PB级数据集和更大的数据集，最明智的解决方案通常涉及在硬盘上传输数据。Filecoin协议和项目具有工具和结构来支持所谓的脱机数据传输。

何时考虑离线数据传输

决定是在线还是离线传输数据时要考虑的两个因素是费用和时间。

费用：考虑像网络这样的存储程序，因为数据的高速公路从一个地方移动到另一个地方。这种运动很快就会变得非常昂贵。想象一个庞大的信息档案馆，例如博物馆或图书馆，希望在分散的Web（dweb）上上传，存储和保护其馆藏。为此，组织可以通过互联网流式传输其数据或使用物理设备进行传输。

使用互联网流式传输数据，可以快速建立传输成本。在当今的云服务中传输PB级数据需要通过多个区域发送数据，这会产生互连费和区域带宽费，如果您选择租用专用线路或考虑重试需求，还会产生额外费用。从粗略的成本角度来看，仅带宽传输2.5 PB的数据就需要花费约140,000美元-如果跨区域移动这些数据，则成本会更高。

这些费用可能会增加档案馆，博物馆和其他非营利组织的费用。在现代艺术收藏的博物馆超过90万亿字节，预计到2025年将增长到1.2 PB级的英文维基百科包含超过600万页的文章和超过36十亿字。CERN的开放数据门户网站在其粒子物理实验中包含超过1PB的数据。伦敦自然历史博物馆数据门户网站包含近400万个历史标本。国家档案馆的电子记录部门拥有500 TB的数据。这些是大量有价值的数据。

然后，考虑硬盘驱动器本身的成本–一种用于存储和运送数据的物理介质。服务器级8 TB驱动器的价格约为200美元。例如，要传输2.5 PB的数据，您将需要大约315个硬盘驱动器，总计约为63,000美元。尽管您可能需要支付一些额外的运输，进口费用和货币兑换单位成本，但您的成本远低于通过互联网传输数据的成本！

时间：现在，让我们想象一下，国家档案馆希望将其电子记录传输到另一台服务器。以100 Mbps的速度传输500 TB的数据需要一年多的时间。用硬盘驱动器传输相同的数据仅需花费下载和发送的时间-大概一周之内就可以完成！归根结底，很明显，在某些情况下，物理传输数据的成本效益更高且速度更快。

离线数据传输如何与Filecoin一起使用

对于较小的数据传输，当存储客户端想要与矿工进行交易时，他们会向矿工提出交易以在“ Y”时间段内存储“ X”数据。矿工和客户协商交易后，他们通常通过网络启动从客户到矿工的数据传输。

Filecoin的离线数据传输功能使拥有非常大数据集的用户可以离线完成数据传输步骤（例如，通过将硬盘从客户端运送到存储矿工），并按预期的顺序进行交易。它是通过一个标志来实现的，该标志告诉客户端不要通过网络传输数据。相反，客户传递一个CID（描述数据的唯一标识符），矿工随后必须匹配该CID，交易才能通过。这为客户端节点提供了如何设置交易的灵活性，例如，将矿工在硬盘上的特定位置传递给矿工，以供他们用来生成分段CID的数据。

Filecoin Project如何支持离线数据传输

5月7日，我们启动了Filecoin Discover，该项目旨在激励早期矿工订购和存储装有有价值的开源数据的硬盘，并作为交换，获得其他Filecoin代币。这是一种帮助Filecoin成为人类最重要的数据集之家的种子，并使其他人可以访问它的方法，以扩大我们的知识库并形成新的想法。矿工可以选择硬盘驱动器，并在Filecoin Discover商店中签署有保证的合同，Filecoin Discover商店是PB级重要公共数据的目录（并且正在增长！）。然后，矿工将以一定成本在驱动器上接收该数据。为了交换存储这些数据，矿工获得了Filecoin。

商店开业后的最初24小时内，我们收到了600多个驱动器的订单，这突显了该项目带来的兴奋。

对于Filecoin Discover这样的项目而言，成功编程的关键是降低硬件成本。4月，Filecoin提出了一项有关存储设备（类似于AWS Snowball）的提案请求，以实现更快的离线数据传输。

该RFP的目标是构建冗余且安全的低成本硬盘解决方案。矿工可以在设定的期限内租用这些设备，以保持数据传输。客户端可以将数据加载到这些设备上，而矿工则在收到数据后将其卸载到自己的服务器上。

脱机交易也可以在Discover程序之外进行。考虑一下海上的一艘潜水艇，它收集了PB级有关太平洋水下生物的信息。当船舶返回陆地时，邮寄这些硬盘驱动器可能更有意义，而不是依靠在线数据传输。随着我们努力分散网络的分散性，大量数据的物理传输将继续在信息传播中发挥重要作用。展望未来，埃字节规模的数据传输（例如AWS Snowmobile）是此演进过程中的下一步，用于传输大量数据。

最终，脱机数据传输之类的解决方案将使Filecoin成为用于存储数据的传统云存储平台的更强大替代品。数据存储是每个部门几乎所有企业的实际成本。如果存储成本下降，小企业将节省资金-他们可以将这些资金投资于雇用或研发。

这只是Filecoin网络独特功能如何帮助企业以更有效，安全和负担得起的方式满足其存储需求的一个例子。在接下来的几周中，我们将推出更多突出这些功能的帖子。我们希望您能与我们一起完成这项任务，以分散存储空间并改善对信息的访问。

星际大陆公众号：IPFS星际大陆

原文链接：https://filecoin.io/blog/offline-data-transfer-for-large-scale-data/

—-

编译者/作者：星际大陆

玩币族申明：玩币族作为开放的资讯翻译/分享平台，所提供的所有资讯仅代表作者个人观点，与玩币族平台立场无关，且不构成任何投资理财建议。文章版权归原作者所有。