前言 据估计,到2020年全球互联网设备的数量超过200亿台,这些设备随着在互联网上的运行将产生海量的数据,随之而来的,如何对这些数据进行管理、存储和检索变成了存储领域面对的主要问题。 为了应对存储问题,云存储服务异军突起在当今的网络环境领域起到了重要的作用,服务商提供集中式的存储服务,并能够提供相应的技术支持。集中式的托管服务大大推进了网络服务的建设进度,但与此同时,消费者在使用便捷化网络服务的同时也需要承担更为昂贵的费用。根据国际数据中心(IDC)的报告,目前每年的数据生产量达到5ZB(1ZB=1024EB=2^40GB),而到2020年全世界存储的数据的总量将达到35ZB。如果全部存储在云存储市场,按照现有的价格来估算,1PB最低的云存储花费在50万元每年,在目前下降比例不足10%的情况下,到 2020年整个存储市场每年将达到17.5万亿的花费,这相当于中国一年GDP的20%。存储的价格太贵制约着大数据行业的发展,AI行业公司、金融机构所面临着不知道数据往哪里存,如何才能更便宜、更稳定、更安全的问题。 在这种时代背景下,集中式存储的安全问题面临着严峻的挑战,2018年7月,腾讯云在对云硬盘上的存储数据进行数据迁移的时候发生错误,导致初创公司“前沿数控”所有的用户数据全部丢失,并且无法恢复,创业公司平台全部停运,几乎是遭到了毁灭性打击。面对这些问题,分布式存储作为新时代的生产力革命,应运而生。 数据的新大陆——分布式存储 分布式存储顾名思义就是将大量普通的存储空间,通过网络互连,对外作为一个整体进行服务进而提升性能。相比于集中式存储,分布式存储将数据分散在世界各个地方,拥有更好的可拓展性、安全性以及更低的成本。使用大量的低成本存储设备协同工作,能够很好的提高存储的效率。 我们身边一个简单的例子就是RAID磁盘阵列,如果你自己搭建过一个类似的磁盘阵列的话,你会发现他的读写速度和存储容量相比于一般的昂贵大存储设备大得惊人,这就是分布式存储所特有的优点。在使用分布式存储之后,一些无服务器项目就可以快速部署并落地执行,而无服务器项目作为下一代互联网的起点,可以说分布式存储是如今互联网发展最为关键的引擎。 集中化存储的缺陷 以往的集中存储带来了除数据安全外更为严重的信息安全问题,在2018年3月的时候,著名的社交网站FaceBook被爆出存在数据泄漏问题,据美国《纽约时报》和英国《观察家报》此前报道,有超过5000万脸书用户——接近脸书美国活跃用户总数1/3的私人信息被暴漏给一家名为“剑桥分析公司”的数据分析公司,该公司可能以这些数据为基础预测并影响了全球多地政治活动中公众的选择。这些影响包括2016年美国总统选举以及英国“脱欧”公投。 而信息泄露甚至是情报舰艇早就不是新鲜的事情了,新闻界早就被世界各地的情报与安全机构的监视和窃听报道淹没了,在2017年谷歌获得了1108.5亿美元的收入,其中接近85%的收入来自广告,同样的FaceBook的406亿美元的收入中有超过80%的收入来自广告,就像新闻所爆料的,出售我们的信息、联系方式是一笔非常大的生意。美国的编码员Bruce Schneier很好地概括了广告这种情况,他认为“监视成为了互联网的商业模式”。 在集中化提供服务的时代,用户观看着Youtube上的免费视频,免费的使用着FaceBook的用户数据服务器,而面临着数据泄露的风险成为了这些免费服务的代价。 Google等小部分的人转走了大部分的收益,只有少数人手中聚集了权利和财富,这是现代互联网的集中化架构创造的结果,同时也是我们使用这些服务继续选择支持的经济状态。分布式的价值分配网络致力于改变这种状态。 区块链与去中心存储 区块链在去中心化的世界建立方面扮演了重要的角色,和分布式存储相比,区块链的技术更像是一个创建者,你所能想象一个天才的石匠,使用身边的基石,在雕琢之后将它们一块块的堆叠起来,搭建出新世纪的石塔。区块链和分布式存储的结合是很自然的,由于分布式存储面临着如何激励用户共享储存空间和文件存储确认的共识问题,区块链针对这些问题能提供很好的解决方案。 分布式存储面临的难题 1.激励机制 大规模分布式存储存在的基础是有足够多的人能够共享它们自己的储存空间,这些空间不能够被一个或者几个人完全掌控,否则就违背了去中心化的原则,而只有建立了足够大的社群,人们贡献了足够多的存储空间的情况下,分布式存储才能运行起来。 2. 存储存在证明 由于分布式存储并不能被少数的几个人控制,那么如何证明一个文件在分布式存储系统中被存储成为了重要的问题。如果一台存储了重要文件的机器常年不能连接互联网,或者文件被计算机的所有删除了,网络上的其他人就没有任何办法取到这个文件。 3. 数据更新与删除 数据的更新与删除在分布式存储上是一个令人头疼的问题,如果数据存在自己的硬盘里,那你只需要把自己硬盘上的数据删掉就好了,但在分布式存储上删除文件是需要十分谨慎的,因为删除文件可能被用来攻击整个存储系统,导致全部文件丢失。 区块链技术被应用于分布式存储系统的底层,用于解决这些根本性问题,与此同时区块链本身的存储量很大,而区块链的去中心化特性注定了不可能将这些数据保存在集中式的存储设备上,分布式存储同时也是区块链的基础设施。 《硅谷》这部剧中,主角Richard描绘出了一个新型的互联网乌托邦,他带领的Pied Piper团队希望能构建一个切断Facebook、Google的中介机构,Richard的想法是:使用智能手机承载点对点网络,使得这个世界充满服务器。 Richard在剧中说“如果我们能够做到这一点,我们可以建立一个完全去中心化的互联网。没有防火墙,没有收费,没有政府监管,没有间谍,信息完全是免费的!信息不对称从此将终结!”乍一听好像这就是所有人心目中的理想世界了。信息获取变得极其容易,我们会向自由、平等迈进一大步。再不有一个或少数几个巨头控制着大量的服务器和网站,如2017年年初那样亚马逊的网络服务离线导致互联网大部分内容无法访问或者黑客攻击甲骨文导致大规模网络瘫痪。 一些典型项目 MaidSafe MaidSafe是一个早期的分布式存储项目,于2006年2月在苏格兰Troon成立,它建设的目标使用完全的去中心化架构来取代互联网昂贵的数据中心,建立一个全球范围内任何人都可以访问的去中心化存储平台。这样的分布式数据平台对于单一的数据方来说很难去获得全网信息,从而保障用户数据的安全性。MaidSafe提供了无限的文件存储,并且搭建了一个去中心化的音乐分享平台,在它上面所有的服务都是免费的,不仅不需要权威机构的验证,而且也不用担心黑客和恶意软件的攻击,数据会被加密的保存在所有连入MaidSafe的机器上。 对于MaidSafe来说,他们正在为用户隐私,安全,以及保险提供服务。 在MaidSafe上,和互联网有连接的任何人都有可能赚取MaidSafe的代币,并从去中心化交易所兑换成有价值的奖励,这改变了价值网络的分配模式,所有人都有机会参与到这个共建的经济体中并会变成新型主导的商业模式。 数字世界建立的基础源于去中心化的存储,就自然本身而言,其实是没有所谓支配一切的权力的,MaidSafe的创始人说,“如果你保持一段距离,审视一下我们这个世界,然后用一种逻辑思维去分析一下,就会发现我们这个地球其实充满了去中心化系统,他们在每一个时间节点上面共存着。” Storj - Decentralized Cloud Storage Storj是首批解决分布式存储问题的项目之一,它允许用户将手机或电脑里多余的存储空间出租给Storj,并获取一定的利润。Storj会使用这些存储空间存放加密数据。对于使用者来说,Storj要求于传统集中式存储云服务商低得多的价格来提供存储服务。 Storj构建的是一个点对点的网络,数据并不需要经过某些中心化服务器,而是直接从数据的存储空间传向数据的使用者。对于提供数据的人与提供存储空间的人,Storj就像是一张地图,告诉你你的数据存在谁那里,你可以向哪些人要到你的数据。在此之上Storj提供了一系列安全性和效率性的保证。 Storj由一家名叫Storj labs的盈利性公司进行支持,它是开源的,任何人都可以从它的官方网站查看项目的具体实现。为了确保项目的顺利运行,2017年Storj通过出售客户端的ERC-20代币,完成了第一次ICO,总共募集到约3000万美元。其代币STORJ作为一种实用型的网络代币,将被用于购买存储或者提供存储者获得报酬。 以太坊的创建人Vitalik为Storj的白皮书撰稿,并写道“像Storj这样的分布式文件存储系统有可能消除高标记成本和市场效率低下,并提供比我们现在所看到的更高级的隐私、可靠性和服务质量。” 目前,Storj已经拥有了超过15万个存储节点,这些节点覆盖了200个国家,能够储存超过150PB的容量。 为了保证Storj网络的安全性,Storj客户端使用对应的Storj协议进行文件的网络分配和上传。而一旦数据上传到了网络上,就必须对数据进行心跳式的检查以确保数据的完整性和可用性。 1.客户端加密 为了保护数据的隐私性,所有的数据在上传之前会在你的设备上进行加密,这种加密不同于区块链账户的公私钥加密,它只有一把密钥,用于加密和解密且拥有更高加密安全性,这把唯一的密钥会被储存在客户端本地,只有你能接触到它。当然如果你想在多个机器上访问你的加密文件,Storj提供了一种叫做Storj Bridge的技术用于存储密钥,帮助你使用多个机器协同工作。 2.数据分片 对于Storj来说,数据分片非常简单,它将你的文件分成多个不同的部分,分别存储在网络的不同机器上。就像江湖大盗会把财宝分成多份藏在世界各地一样,这对用户来说,是进一步增强隐私的手段之一,就算存储节点因为巧合拥有了你的密钥,它也无法获得读懂信息的内容。而只有你知道全部分片的储存位置。而对于提供存储的人来说,更小的分片能够被提供较小存储空间的人所存储,提高了网络整体的利用率。 3.可恢复性证明 数据一旦上传到网络中后,必须每隔一段时间确保数据的存在性和可用性,这部分在Storj的设计中结合了区块链中的共识算法设计。可恢复指的是上传这些数据的人能够完整的取回上传的数据,这项证明使用了比特币区块结构中用到的Merkle树,这种结构保证了当数据的所有者发来一个请求的时候,存储这些数据的人能够根据请求和Merkle树获得一个证明,通过提交这个证明所有者能够判断文件是否真正的被存储。 由于所有者能够自动的发送请求而且证明相比文件小很多,通过这种机制来确认文件的存在性是非常高效的。于此同时,文件存储者为了能够获得报酬必须配合相应所有者的数据请求,那些经常不回应请求的存储者会得不到报酬且会拥有一个比较低的声誉值。 毫无疑问Storj是一个非常有趣的区块链和分布式存储结合的技术,显然一个去中心化的、安全的云存储网络的需求是非常巨大的,所有用户都希望存储的数据能够安全、不遭到泄露,同时也需要为自己空闲的存储空间找点事情做来获取报酬。 在分布式存储与区块链结合的领域里Storj只是其中的一例。 在Storj中只有文件的所有者能够解密文件,它更像是一个世界范围的分布式私人存储服务器,而对于大家共享的应用——如网站,使用Storj或许并没有那么如意。 事实上,现在网络中网络服务器是一个非常中心化的部分,而这种中心化极大的影响了人们浏览整个网络的体验。如果大型的网络服务器提供商受到攻击,建立在它上面的所有网站都会变得无法访问。如果你现在想访问一个位于美洲或者欧洲的网站的话,你会发现网站打开的速度非常非常的慢,把你访问网络的过程做一个不太恰当但是很形象的比喻的话,就是你和网站的提供商各在一个小岛上,你们中间只有一座小小的吊桥连接,这是你们连接的唯一方式。如果你经历过高峰期的地铁的话就能很容易明白这种情况有多糟糕。 如果大家都不必去对面的小岛上取东西,在自己的小岛上完成所有的事情就好了,因为毕竟小岛上的道路更加密集和宽敞。 为了改善这些问题,IPFS应运而生,并一跃成为当今最有潜力的明星区块链应用之一。 IPFS——InterPlanetary File System星际文件系统 IPFS(InterPlanetary File System,缩写IPFS)是一个旨在创建持久且分布式存储和共享文件的网络传输协议。IPFS被设计出来的目的就是取代目前互联网的超文本传输协议(HTTP),在IPFS上访问文件或者网站,不需要和现在一样输入类似google.com一样的网址,你只需要提供文件或网址的哈希值,通过网络就能获得对应的文件。通过和HTTP协议的对比,我们很容易可以理解IPFS为何如此受追捧: 1.HTTP效率低下,服务器成本昂贵 HTTP协议每次只会从一台计算机服务器上下载一个文件,而不是同时从多台计算机中获取文件,这种访问方式很大程度上决定了人们现在浏览互联网的习惯。就像前面的例子一样,这种方式导致HTTP访问速度非常慢,服务商建立服务器的成本也非常高昂。而转向使用P2P的方式传输则可以节省大约60%的带宽成本。 2. 历史文件保存存在风险 目前互联网上的网页平均的使用寿命为100天,大量的网站文件因此不能长期保存。重要的用户数据因为一次存储错误可能永远消失,腾讯云的数据失误几乎导致了创业公司的毁灭,保存在互联网服务器中的网页同样面临这样的风险。 3. 中心化的互联网控制了发展的机会 因为互联网的出现,人类获取知识的成本急剧下降,如今的互联网发展到已经庞大的不能忽视其中心化风险的地步。互联网设计的初衷是每个人在互联网上是平等的,而现在中心化的网络提供商有可能通过引导流量的方式控制新生网站的发展机会,造成不公平的现象。 4. 过于依赖主干网 虽然在访问角度看来我们的网络是“网”一样互联的,但实际上你想访问任何一个网站都离不开网络中主干网的参与,失去了这些主干网,所有的网络都会变得难以访问。 IPFS通过分布式协作工作,而分布式协作是改善中心化问题最根本的方法。 在IPFS中每个文件都拥有自己特定的被称为哈希值的“指纹”。为了提高存储效率IPFS不会存储相同哈希值的文件,同时跟踪每个文件的版本历史记录。 每个网络节点可以只存储它感兴趣的内容,以及一些索引信息,有助于弄清楚谁在存储什么。查找文件时,你通过文件的哈希值就可以在网络查找到储存文件的节点,找到想要的文件。 因为哈希值是无规律的非常难记,为了方便,IPFS使用称为IPNS(去中心化命名系统),每个文件都可以被协作命名为易读的名字,整个过程非常像维基百科(WikiPedia)的建立。人们通过搜索简单的名字,就能很容易地找到想要查看的文件。 作为区块链的应用,IPFS拥有自己的基础性公链,保存了全网所有文件的文件名和哈希值。IPFS使用自己的Filecoin作为计价代币,提供存储的节点会从请求下载的用户那里获得filecoin变现为收入,这也是整个IPFS网络得以持续运行的激励。 使用IPFS能够快速的访问网页,对比HTTP你不需要跑大老远的去离你很远的服务器取内容,很可能你的邻居家里就有,这样的方式节约了大部分的网络带宽,整个网络的效率会进一步提升。网络有意思的地方在于,自诞生以来它在不断地迭代更新。IPFS解决的网络的访问问题,但对于存储在IPFS上的文件来说,删除是一件很头疼的事情,只有所有存储它的节点都删除了这个文件,文件才能真正被网络删除。大卫伊格曼在《生命的清单》中写道“人的一生,要死去三次。第一次,当你的心跳停止,呼吸消逝,你在生物学上被宣告了死亡;第二次,当你下葬,人们穿着黑衣出席你的葬礼,他们宣告,你在这个社会上不复存在,你悄然离去;第三次死亡,是这个世界上最后一个记得你的人,把你忘记,于是,你就真正地死去。整个宇宙都将不再和你有关。”对于IPFS上的数据来说,它们同样遵循这个过程。从这个角度来说,IPFS打开了新数据世界的大门。 Theta Theta认为,分布式流媒体分发网络,可以提高分发效率,也能降低CDN支出。CDN(内容分发网络)普遍被认为区块链比较好的落地场景。传统中心化的CDN需要搭建大量基站,去中心化的“共享模式”则让每一台设备都成为一个节点。本文要介绍的Theta就采用了类似的模式,由美国VR直播公司 SLIVER.TV 的全资子公司Theta Labs推出。 Theta 是一个基于区块链的分散式流媒体分发网络,用户可以贡献自己的空闲带宽和,让自身设备成为网络中的缓存节点。观看视频的用户可从最近的缓存节点获取视频内容,不需要从 CDN服务器基站获取。同时,Theta 也是一个开源协议,开发者可基于该协议构建DApp,实现音视频相关内容的点对点流式传输。SLIVER.tv 将会是上面的第一个应用。 Theta用分布式做分发主要是因为两个原因。一是CDN服务器距离用户比较远,影响了用户体验;二是CDN本身的开销比较大。如果使用点对点传输“共享带宽”,不仅提高用户体验,还能为视频平台减少 CDN 带宽开支。Theta网络视频流传递的高层架构如下图。视频主播向视频流摄取节点(ingest node) 发布视频流媒体。摄取节点负责把视频流转码成不同的码率和分辨率。之后,缓存节点抓取视频流并向终端观众传送。用户可以通过视频缓存软件让自己的电脑成为缓存节点。 这与传统的 P2P 文件分享系统如 BitTorrent 有些相似,后者是乱序传输文件碎片,而且某些节点可能只有部分文件。直播对延迟有非常常严格的要求,如果文件分散在不同地方可能会造成卡顿。因此,Theta网络会优先传输高优先级数据包而非乱序,而且每?个缓存节点都需要缓存整个视频文件。目前项目方在以太坊上发行了Token,基于区块链共享CDN的部分还在开发。 Theta愿景是区块链在项目中承担着激励各方的角色。 矿工获得Token的方式包括为观众服务+挖矿,提供带宽资源的用户都能获得Token作为奖励。挖矿采用的是POW的共识机制,主要是为了保证网络安全,衡量对下游的贡献。不过在Theta协议中,区块奖励不是常数,而是随着声誉得分而提高,向下游观众传递视频流能增加声誉得分。 广告商发布视频或者做活动需要消耗Token,观众可以通过观看广告获得Token,还可以直接给主播打赏Token。广告商也可以通过这套机制测量视频流观看情况。 当然这个赛道还有SC、BLZ没来得及观察,还有即将私募的Near,孙大圣的BTT等等。 总结 总的来说,目前市面上的轮番赛道上涨趋势是比较明显的。 过去一段时间内,DeFi已经形成大板块效应,最近开始进入分赛道模式,开始了借贷模块、合成资产板块、Dex板块、平台币板块等等轮番上涨,这是未来仍然可以关注的机会。 而这两天,预言机板块的上涨,看似也是非常的疯狂,但能给追高?我不是很确定。 接着波卡生态也迎来了一波上扬,从波卡主网币Dot、测试网币ksm、生态币EDG、Ring等等,也迎来了几倍到十几倍的涨幅。 接下来是什么赛道呢?我不敢断定,但是我觉得去中心化存储是有望接力的。毕竟FIL9月上线主网的利好消息还在悬着,整个市场情绪也是比较高昂的。值得关注的新版块暂时好像没有更好的选择。所以我会押一押这个版块。 牛市初期的趋势有些明朗了,板块通过轮番上涨,这是吸引新增资金的比较好方式。想要财富密码的,千万不要单押一个币,而是合理配置赛道上比较优质项目~ 11:35更新彩蛋红包:文中链接处会有50个总共1000key的彩蛋红包,仔细观察寻找带有蓝色链接的词汇喔。 —- 编译者/作者:区块佣兵 玩币族申明:玩币族作为开放的资讯翻译/分享平台,所提供的所有资讯仅代表作者个人观点,与玩币族平台立场无关,且不构成任何投资理财建议。文章版权归原作者所有。 |
11:35更新红包||聊聊接下来我看好的、接下来一段时间可能会热的新赛道—分布
2020-08-12 区块佣兵 来源:区块链网络
LOADING...
相关阅读:
- 社区生态 | JUST与WINk、Steem正式达成战略合作!2020-08-12
- 火币早报:BTC昨夜快速下跌,市场避险情绪减退2020-08-12
- 倩兮言币:8.12加密数字货币比特币区块链全线溃败2020-08-12
- NodeMax(N3)——N经济大循环突破想象2020-08-12
- 首发|CertiK:两千爆涨至四万美元闪电贷套利事件分析2020-08-12