Filecoin官方科普如何实现大规模数据离线传输

原文链接：https://filecoin.io/blog/offline-data-transfer-for-large-scale-data/

这是新系列中第一篇博客文章，重点介绍了 Filecoin协议特有的功能。

Filecoin旨在存储世界上最有价值的信息。在全球范围内，我们每天产生2.5亿个字节的数据。尽管许多数据不需要永久存储，但其中一些数据涵盖了人类在科学，数学，艺术，历史和人文科学领域创造的最重要的信息。

Filecoin是用于买卖分布式存储且基于区块链的市场。区块链机制提供了安全的存储保证，而加密货币机制创建了一个动态的市场。

正如我们在加密经济学构造博客文章中讨论的那样，有时当您处理大量数据时，很难（昂贵且耗时）通过Internet传输这些文件以进行保管。对于PB级数据集和更大的数据集，最明智的解决方案通常涉及在硬盘上传输数据。Filecoin协议和项目具有工具和结构特性来支持离线数据传输。

何时考虑离线数据传输

决定是在线还是离线传输数据时要考虑的两个因素是费用和时间。

费用

把存储程序想像成网络——数据从高速公路一个地方移动到另一个地方。这种运动很快就会变得非常昂贵。想象一个庞大的信息档案馆，例如博物馆或图书馆，希望在分散的Web（dweb）上上传，存储和保护其馆藏。为此，组织可以通过互联网流式传输其数据或使用物理设备进行传输。

使用互联网传输数据，会快速增加传输成本。在当今的云服务中，传输PB级数据需要通过多个区域发送数据，这会产生互连费和区域带宽费，如果选择租用专用线路或考虑重试需求，还会产生额外费用。从粗略的成本角度来看，仅带宽传输2.5 PB的数据就需要花费约140,000美元-如果跨区域移动这些数据，则成本会更高。

这些费用可能会增加档案馆，博物馆和其他非营利组织的费用。在现代艺术收藏的博物馆超过90万亿字节，预计到2025年将增长到1.2 PB级的英文维基百科包含超过600万页的文章和超过36十亿字。CERN的开放数据门户网站在其粒子物理实验中包含超过1PB的数据。伦敦自然历史博物馆数据门户网站包含近400万个历史标本。国家档案馆的电子记录部门拥有500 TB的数据。这些是大量有价值的数据。

然后，考虑硬盘驱动器本身的成本：

一种用于存储和运送数据的物理介质。服务器级8 TB驱动器的价格约为200美元。例如，要传输2.5 PB的数据，您将需要大约315个硬盘驱动器，总计约为63,000美元。尽管您可能需要支付一些额外的运输，进口费用和货币兑换单位成本，但您的成本远低于通过互联网传输数据的成本！

时间

现在，让我们想象一下，国家档案馆希望将其电子记录传输到另一台服务器。以100 Mbps的速度传输500 TB的数据需要一年多时间。

用硬盘驱动器传输相同的数据仅需花费下载和发送的时间-大概一周之内就可以完成！归根结底，很明显，在某些情况下，物理传输数据的成本效益更高且速度更快。

使用 Filecoin 进行离线数据传输

对于较小的数据传输，当存储客户端想要与矿工进行交易时，他们会向矿工提出交易以在“ Y”时间段内存储“ X”数据。矿工和客户协商交易后，他们开始通过网络从客户到矿工完成数据传输。

Filecoin的离线数据传输功能，使拥有非常大数据集的用户可以离线完成数据传输步骤（例如，通过将硬盘从客户端运送到存储矿工），并按预期的顺序进行交易。它是通过一个标志来实现的，该标志告诉客户端不要通过网络传输数据。相反，客户传递一个CID（描述数据的唯一标识符），矿工随后必须匹配该CID，交易才能通过。这为客户端节点提供了如何设置交易的灵活性，例如，将矿工在硬盘上的特定位置传递给矿工，以供他们用来生成分段CID的数据。

Filecoin 项目如何支持离线数据传输

5月7日，我们启动了Filecoin Discover，该项目旨在激励早期矿工订购和存储装有有价值的开源数据硬盘，并作为交换，获得额外的Filecoin代币。这是一种帮助Filecoin成为人类最重要的数据集之家的种子，并使其他人可以访问它，以扩大我们的知识库并形成新的想法。

矿工可以选择硬盘驱动器，并在Filecoin Discover商店中签署有保证的合同，Filecoin Discover商店是PB级重要公共数据的目录（并且正在增长！）。然后，矿工将以成本价接收驱动器上数据。作为交换存储了这些数据，矿工获得了Filecoin。

商店开业后的最初24小时内，我们收到了600多个驱动器的订单，这突显了该项目带来的兴奋。

对于Filecoin Discover这样的项目而言，成功编程的关键是降低硬件成本。4月，Filecoin提出了一项有关存储设备（类似于AWSSnowball)的提案请求，以实现更快的离线数据传输。

该RFP的目标是构建冗余且安全的低成本硬盘解决方案。

矿工可以在设定的期限内租用这些设备，以保持数据传输。客户端可以将数据加载到这些设备上，而矿工则在收到数据后将其卸载到自己的服务器上。

离线交易也可以在Discover程序之外进行。假设一下海上的一艘潜水艇，收集了PB级有关太平洋水下生物的信息。当船舶返回陆地时，邮寄这些硬盘驱动器可能更有意义，而不是依靠在线数据传输。随着我们努力进行分布式存储过程中，大量数据的物理传输将继续在信息传播中发挥重要作用。

展望

eb级规模的数据传输（例如AWS Snowmobile)是此演进过程中的下一步，用于传输大量数据。

最终，离线数据传输之类的解决方案将使Filecoin成为用于存储数据的传统云存储平台的更强大替代品。数据存储是每个部门几乎所有企业的实际成本。如果存储成本下降，小企业将节省资金-他们可以将这些资金用于雇用或研发。

这只是Filecoin网络独特价值如何帮助企业以更有效，安全和负担得起的方式满足其存储需求的一个例子。在接下来的几周中，我们将推出更多突出这些功能的帖子。我们希望您能与我们一起完成这项任务，以分布式存储和改善信息的访问。

星际联盟

IPFSUnion星际联盟（简称星际联盟）总部位于魔都上海，团队由来自微软、AMD、阿里、腾讯、SAP、华为、毕马威、盛大、英业达等互联网巨头企业的骨干成员组成，拥有成熟完整的产业供应链，同时在国内外拥有多家分公司和合作伙伴。

自成立以来，星际联盟以技术为后盾，专注于区块链技术研发，重点围绕IPFS-Filecoin共建全球IPFS生态，提供矿机、矿场、托管、数据、应用、知识等服务。

星际联盟坚持“匠心品质·洞见未来”的产品理念，为构建信息和谐的新世界而努力，持续为客户创造价值。

星际联盟秉承“以敬畏·敬无畏”的精神，致敬这个时代里勇敢向前、勇于创新的人。

星际联盟钢铁匣矿机

IPFS星际联盟首款钢铁匣服务器在算法和存储速度上拥有多项核心技术特点：

极致稳定：性能全方位优化，散热和防护的完美平衡，稳定耐用。

超高算力：行业算力领先的IPFS服务器，高算力能让存储空间创造更多价值。

超低能耗：融合独特的算法优化与专用芯片定制，能耗比处于行业领先水平。

极致维保：完善的售后服务和数字化远程服务，售后返修率低至最优标准。

质量过硬：IPFS钢铁匣服务器是由全球前三服务器品牌倾力打造，质量有保障。

—-

编译者/作者：filecoin钢铁匣矿工

玩币族申明：玩币族作为开放的资讯翻译/分享平台，所提供的所有资讯仅代表作者个人观点，与玩币族平台立场无关，且不构成任何投资理财建议。文章版权归原作者所有。