为什么分散和分布式文件存储对于更好的Web至关重要？

IPFS和Filecoin背后的团队解释了分布式数据存储的进步和市场激励措施的强强联合如何共同创建了一个更加安全和高效的网站。

作者JUAN BENET，JESSE CLAYBURGH和MATT ZUMWALT/2017年6月20日

在不到三十年的时间里，网络已成为人类历史上最伟大的成就之一，它负责科学，技术和商业领域前所未有的发展。这种惊人的增长在很大程度上是由技术人员将互联网的许多底层复杂性抽象化而推动的。这些抽象中最大的一种是集中式“云存储”，其中数据存储在大型的，由营利性公司拥有和运行的集中式孤岛中。这种体系结构使Web变得脆弱，破坏了隐私，使存储价格人为地保持了很高的水平，并产生了阻碍数据创新使用的瓶颈。

网络不必以这种方式构造。不断出现的新技术允许我们通过处理内容，以提高网络的基础协议是什么它是不是通过解决它在那里它是。这使网络成为一个更加安全和健壮的地方，在这里我们不再依赖任何一个特定实体来提供我们所需的数据。现在，我们不再依赖昂贵的企业来存储和传播人类的知识宝库，而是可以在庞大的对等网络中分发数据，而这些对等网络的价格是彼此存储的。

分散存储使Web强大而有弹性

如今，Internet上的信息是通过位置来解决的：特定的内容片段具有URL（通用资源定位符），该URL包含在特定位置托管内容的Web服务器的IP地址。例如，要转到/uploads/autoimage8/2020061315-mypicture.jpg之类的URL，我们将域名（facebook.com）解析为IP地址（例如31.13.70.36），然后在其中查找图片。URL说“转到31.13.70.36并在路径“ /mypicture.jpg”处请求内容。URL始终指向该位置。如果同一张图片托管在另一个站点甚至您自己的计算机上，则您仍然必须连接到该IP地址并下载内容。

在日常的人类环境中考虑这一点很有用。想象一下，我们只能根据副本的物理位置来引用书籍，而不能按书名，作者或ISBN来引用图书，而只能通过物理对象的位置来引用。因此，如果有人告诉您读一本书，他们会说类似“嘿，您应该读这本好书，它在纽约公共图书馆第9节，书柜3，最上层，从左至右”。现在您必须检查那里，并获得一份物理副本。除非您这样做，否则您不知道这本书实际上是什么。您只有位置。这显然是非常低效的。这也是一个不稳定的情况-有人搬了书怎么办？如果图书馆当天关闭，该怎么办？还是完全关闭？或者，如果到达那儿，该书架从左起先到达顶部的书架3，您会意识到，

这不仅是理论上的问题。哈佛大学最近进行的一项研究发现，美国最高法院的意见中引用的所有超链接中有49％不再起作用。意见指向过去某个时候保存正确内容的位置，但是该位置不再提供该内容。这是脆弱的，低效的并且是不必要的。这太疯狂了。

相反，请考虑另一种方式。考虑按信息的原位而不是位置寻址。为此，我们需要使用其他类型的Web链接。与其使用指向位置的链接，不如使用指纹来唯一描述内容本身的链接。这种基于内容寻址的方法将“什么”与“何处”分开，因此数据可以通过网络流动，因此任何人都可以在任何地方存储和提供数据。要创建这些内容寻址的链接，我们使用内容的加密哈希作为唯一标识符或指纹。

IPFS是行星际文件系统，它是一种协议，使我们可以使用这些内容寻址的链接来交换数据。在IPFS中，文件或一条数据的哈希指纹是其地址。我们使用这些指纹来标识内容，而不是使用服务器的物理位置。这样，当您尝试加载文件时，可以从任何地方检索它。如果文件已经在您自己的计算机上，则可以从那里检索它。如果网络中的直接邻居有该文件，则可以从他们那里检索文件。您可以从原始服务器，网络中的其他任何人那里获得它。IPFS使用高效的路由算法来搜索网络，从而为您处理所有这一切，并且可以针对隐私进行调整：例如仅向您信任的对等方请求数据。这与其他点对点系统相似，但大大增强了。您可以使用它与任意数量的对等方交换任何类型的文件或数据，并且它直接内置在Web中。

IPFS通过分散化基于寻址信息网络是什么，它不能在那里它是。这种分散式的模式使Web应用程序可以在与原始源断开连接的本地网络中工作，无论它是丢失上行链路的办公室中的聊天室，托管在各种图书馆中的科学论文，在连通性较差的偏远村庄中的Wikipedia还是危机中一家人的聊天使者。它增强了我们的数字信息，使数据可以抵抗底层Internet的故障，以加密方式对其进行保护，并使其具有永久性。您或您与之共享数据的人可以保存信息副本并依靠相同的链接数年。IPFS允许分散网络上的文件存储，但是还有第二个问题：我们如何为提供该存储创建一个开放的竞争市场？

云存储和集中化的危险

自成立以来，云数据存储已发展为可以使用的功能，但未解决许多经济和安全问题。为了了解为什么云存储当前昂贵且不稳定，检查其随着时间的演变很有用。

最早的网站和在线服务运行着自己的Web服务器：专用于向用户提供内容的计算机和硬盘驱动器。在网上业务可以注册他们的第一个客户或出售他们的第一个产品之前，他们必须花费大量的金钱和时间来建立服务器基础结构。即使产品或服务与计算和数据存储完全无关，实际上每个人都被迫投资和运行自己的硬件，只是为了拥有网络状态。这是昂贵，浪费和费时的。

2006年，Amazon.com解决了这一浪费的开销，并大胆地启动了Amazon Web Services（AWS）。通过将Amazon自己的服务器和存储空间出租给其他人，AWS消除了开发人员创建和管理自己的服务器基础架构的需要。现在，只需支付少量费用，公司就可以轻松地从Amazon存储和提供文件，而无需该公司购买自己的硬件。AWS迅速受到欢迎，其他几家大型技术公司也纷纷效仿，创建了自己的基于“云”的存储解决方案。

云存储使新的在线业务可以在一夜之间兴起，并迅速增长以适应用户需求。云计算无需订购新的硬盘驱动器并将其安装在自己的小型数据中心中，而是允许企业通过几个按键操作立即扩大规模。在短短的几年内，云计算变得如此有用和流行，以至于所有数据中的大多数都存储在这些云数据提供者中的少数几个中。即使当今的大多数网站都是由这些第三方提供商托管的，最终用户仍然基本上看不到该基础结构。例如，您是否知道流行的电影流媒体应用程序Netflix实际上使用AWS满足了他们的许多托管需求？即使亚马逊拥有自己的竞争对手电影流媒体服务（Amazon Prime），他们也很乐意将主机空间出售给竞争对手。

当前，建立成功的云数据存储业务非常复杂且充满挑战。甚至要开始与现有企业竞争，公司就需要在每个大洲建立一个全球性的数据中心网络（该市场的大多数参与者在每个大洲都有多个数据中心），建立能够满足许多用户需求的强大的用户界面，并在全球范围内发展销售和营销团队来吸引客户，并雇用大型客户支持团队。这些巨大的进入壁垒导致仅几家大型公司拥有几乎所有的全球云数据存储市场。出于多种原因，这种合并特别痛苦：用户必须信任这些大型公司参与者，以保护其数据免遭暴露；更换云提供商的成本特别高，数据存储在距离最终用户很远的地方（通常是几百到几千英里），并且激励提供商锁定他们的客户并获取溢价。当前的云存储市场并不像它可能具有的竞争力或效率那样高，最终用户因此而遭受损失。

更令人沮丧的是，全世界有大量未使用的“潜在”（可用）存储。该存储设备由各种实体所有：大型公司到小型家族企业，个人在地下室拥有巨大的硬盘架，而每个人的笔记本电脑中都有小型驱动器。但是，由于上述进入障碍，任何一个特定的公司或个人都很难通过其额外空间获利并启动云数据服务。效率更高的市场将使原始硬盘驱动器空间（例如存储）与所有服务和顶部支持（例如客户服务，用户界面，付款和价格协商等。这将使硬盘驱动器提供商的市场充满变化且动态，仅专注于硬件并在适当的存储市场中竞争，这将大大降低价格云存储，并允许大量利用现有容量获利。这将使云存储更像是您以不断变化的市场价格购买所需的商品或实用程序，而不再像是充满合同，谈判，交易和锁定成本的服务关系。但是问题仍然存在，我们如何建立一个真正的分散存储生态系统？IPFS解决了内容寻址问题，但是我们如何鼓励全世界的人们成为存储本身的中坚力量？输入Filecoin。

Filecoin：支付网络存储您的数据

IPFS使我们可以直接与对等方交换数据，而不必依赖集中式主机，而Filecoin通过使我们能够为存储数据互相支付的方式进一步向前迈进了一步。Filecoin是一个分散的文件存储网络和协议令牌（“令牌”与“appcoin”和“cryptocurrency”可互换使用）。可以将其想像为数据存储的Airbnb。在供应方（令牌的挖掘方），拥有未使用存储空间的个人和组织可以将其磁盘添加到Filecoin网络并接收客户订单。在需求方（客户），个人和组织雇用Filecoin网络来存储他们的数据，该数据被路由到全球许多不同的矿工。

Filecoin借鉴了加密技术和区块链技术的最新进展，使这一圣杯成为现实。它使用：区块链，本地加密货币，可公开验证的存储证明，附带抵押品的存储合同，可确保有效定价的算法市场，可进行小额支付并降低交易成本的支付渠道等等。所有这些共同构成了一个强大的，分散的，自我修复的网络，该网络可以将来自世界各地“矿工”的大量存储汇集在一起??，并提供强大的服务，并有力地保证可用性，弹性和价格。它可以自动重新平衡自身以满足需求，保护内容免受攻击，并从脱机的矿工中恢复过来。

世界上有成千上万个实体和数百万人口的大量未使用存储。通过将所有潜在的供应带入市场，Filecoin可能导致在线存储的价格大幅下降。此外，Filecoin启动了强大的优化过程，使比特币积聚了大量计算能力。Filecoin矿工可以通过向网络添加越来越多的存储来赚钱。

不需要用户一起使用Filecoin和IPFS，但是将两者结合使用是完美的组合，可以解决当前Web的重大故障。当前使用IPFS的用户必须从自己的计算机，现有的集中式云提供商或其他主动选择托管该内容的IPFS用户的慷慨地“固定”（存储和提供）数据。Filecoin激励任何IPFS用户确保其数据存储在多个分散节点中。很快，任何人都可以用文件币支付大量分散式存储提供商的费用，以稳健地存储他们的文件，从而确保可以将其数据安全，快速地提供给请求者。在IPFS和Filecoin上存储文件的用户将受益于优化的存储成本，多样化的存储提供商，更快的数据服务，

在去中心化网络上保护隐私和礼貌

在由IPFS和Filecoin支持的网络上存储私人数据意味着部分数据可能分布在由完全陌生人操作的许多计算机上。但是，值得注意的是，这对于隐私而言可能比现有的云系统更好。如今，各种大小的云存储提供商都完全以未加密的明文形式存储用户的数据。即使有些人添加了静态加密，通过控制用户的加密密钥来做到这一点，而不是创建真正的“遗忘”或“零知识”系统。这是一种危险的安排，因为它意味着客户数据可能被黑客或其他攻击者窃取，泄漏或出售。用户（或他们使用的应用程序）在将数据提供给这些云存储提供商（无论是否集中化）之前，应端对端对其进行加密。

将用户数据分发给非一家公司或服务拥有的大量存储计算机会增加数据的公开程度。但是，如果有价值的数据以端到端的方式加密存储，那么可以访问加密文本的攻击者将无法了解其中的内容。无论存储网络是大型云提供商还是Filecoin这样的激励市场，都是如此。这是一种不同的安全模型，在这种模型中，我们被迫始终加密所有内容，只允许用户访问密钥，并且单个云提供商的故障不会损害数据的弹性。

市场协议：利用网络和激励机制来创造更好的产业

在协议实验室，我们相信市场协议（由协议令牌提供支持的去中心化网络）是下一波互联网创新。我们相信这些技术有可能重塑我们在全球范围内组织商务和交易价值的方式。部分原因是市场协议在激励，参与者和网络创造价值的能力之间呈现出全新的动态。在当前的互联网创新模型中，当一家公司创建网络经济时，它们将抓住网络的大部分价值。尽管数以百万计的人参与在网络上创造价值，但是这些参与者可能并没有在网络本身上赢得利益。多数长期价值被授予少数富裕的投资者和早期股东。相比之下，市场协议由协议令牌推动，协议令牌占网络总价值的百分比。参与市场协议的报酬是网络中的股份，随着网络价值的增加而缩小。

例如，Airbnb和Uber是建立网络经济的公司。他们向服务提供商（Airbnb主机和Uber司机）支付服务费，而不是其网络创造的全部财富的一部分。这确保了少数股东的利益得到了极大的回报，而帮助网络创造价值的人（驾驶员，房主，用户）可能无法公平地分享这一优势。

诸如Filecoin之类的网络体现了一种替代方法，即通过创造网络价值的参与者获得网络股权的补偿。在Filecoin网络上存储和分发数据的矿工获得Filecoin协议令牌，他们可以选择持有或清算现金。由于Filecoin协议令牌旨在跟踪存储网络创造的价值，因此Filecoin经济的增长将转化为令牌价值的增长。选择持有代币的矿工和用户将分享这一优势，为创造价值获得公平的回报。任何单个参与者赚取和持有的令牌越多，他们对网络的支持和确保其成功的动机就越大。

市场协议仍处于发展的早期阶段，它们的前景很好。我们很高兴能够站在这些技术进步的最前沿，这些技术正在使互联网及其数据网络更加安全，强大和快速。正如网络已经建立了巨大的连通性并释放了人类的潜力一样，我们认为下一波市场协议将在未来发挥同样的作用。

胡安（Juan），杰西（Jesse）和马特（Matt）在协议实验室（Protocol Labs）工作，该实验室是研究，开发和部署实验室，致力于构建改善互联网的协议，系统和工具。Protocol Labs开发IPFS，Filecoin，CoinList和许多其他互联网技术进步。

感谢Peter Van Valkenburgh阅读此草稿。

本文来源：引擎存储
原文标题：为什么分散和分布式文件存储对于更好的Web至关重要？

—-

编译者/作者：引擎存储

玩币族申明：玩币族作为开放的资讯翻译/分享平台，所提供的所有资讯仅代表作者个人观点，与玩币族平台立场无关，且不构成任何投资理财建议。文章版权归原作者所有。