整理 | SVHack 陆伟华 11月11日,SV TechClub与同济大学区块链实验室、南京大学数学资产赋能实验室、澳大利亚迪肯大学区块链创新实验室联合主办了一场关于区块链存储技术应用的线上直播,并邀请YTA(YottaChain)创始人王东临以《揭秘区块链存储的核心技术应用》为主题,进行分享。 此次直播在主微信群有500位技术开发人员学习,群TV中有491位区块链爱好者围观,SV TechClub同步转播14个群,共计围观5191人。 直播内容实录 区块链存储是区块链驱动的去中心化存储的简称,由去中心化存储系统(IPFS/YTFS)和区块链激励层(FileCoin/YTA)组成。区块链存储的数据不是保存在区块链上,而是存在去中心化存储系统中,区块链只是记账做激励,并不保存数据。去中心化存储系统由分布在全球的成千上万存储节点组成统一共享存储池,与区块链没有直接关系。 用区块链的奖惩机制使得存储矿工积极将自己的存储空间共享给别人使用,遵守系统规则保证存储服务稳定性。区块链存储本身就是存储技术发展的必然趋势,存储技术一直沿着不断提高冗余和故障域隔离的路线发展。 在桌面级存储时代,只有一块盘无冗余,数据可靠性只有2个9,不能满足企业用户的需求。 在企业级存储时代,采用多块盘有冗余方式存储数据,硬盘之间是故障域隔离的,坏一块盘不丢数据,数据可靠性4-7个9。 在云存储时代,采用中心化的传统分布式存储技术,用冗余的多个通用存储服务器组成本地网络,服务器之间是故障域隔离的,坏一两台服务器不会丢数据,数据可靠性最高可达11个9。 在区块链存储时代,则沿着相同的技术路线进一步发展,冗余的多个跨地域的存储节点组成广域网存储池,各地域之间是故障域隔离的,几个地域出故障不会丢数据,数据可靠性进一步提高到15个9以上。 可见,去中心化存储是存储技术发展的必然趋势,在大数据时代来临时可以满足人们对于数据存储容量和数据可靠性的更高要求。 那区块链的作用是什么呢?简单的说,区块链是做奖惩激励的。利用区块链的激励作用,可以无需巨额投资即可迅速在全世界招募众多矿工节点加入区块链存储系统并吸引大量用户使用,很快形成规模,并且节点数量多、地理位置分散、离终端用户近、用户多、数据多,从而提高存储的品质、增大存储空间、降低成本。 如果某个存储节点不稳定,可以通过区块链进行自动惩罚,以保证整个系统服务的稳定性。利用区块链技术,奖惩都是公开、公正、透明的,大家相信代码就好了,In code we trust。 反过来说,由于存储自身的需求和特性,可以更加突出地体现出区块链的价值。因此,区块链存储不仅有实际的应用场景、刚性的市场需求和巨大的市场空间(每年将近 1000?亿美元),而且也是区块链的最佳应用场景。另一方面,存储也是IT的核心技术。众所周知,美国是IT技术执牛耳者,几乎垄断了IT业。近些年,中国在IT应用技术逐渐赶超美国,甚至在移动支付等个别领域已经反超美国。但是IT核心技术仍然被国际巨头把持,其中IT基础架构技术是最重要的IT核心技术。 IT基础架构技术为应用层提供存储能力和计算能力,包括存储、计算、网络三大件。存储技术是其中重要组成部分。遗憾的是,如同其它IT核心技术一样,存储产业长期被国际巨头所把持。 在桌面级存储时代,中国是全军覆没。当年兴起的众多硬盘厂家,全部倒闭。FAT等流行的桌面文件系统,也全都是美国厂商的。 在企业级存储时代,Dell/EMC、NetApp、IBM、HPE、HDS等美日巨头处于一流水平,把持着产业,中国的华为存储几千人的团队奋斗十几年,也只达到世界二流水平,即使在中国市场,也是到了最近两年才有一些小银行开始尝试使用华为存储,其它银行的核心存储是宁愿用日本的HDS也不用华为的。 在云存储时代,AWS、Azure和Google位于世界一流,阿里云即使得到马云的强力推动下也仍然只是位居世界二流水平,阿里云虽然借助各种因素成为中国市场的霸主,在全球市场依然难以突破。 怎样衡量一个存储系统的好坏呢?以下指标是专业人员常用的指标:持久性(Durability):安全性(Security):可用性(Availability):一致性(Consistency):延时(Latency):吞吐量(Bandwidth):IOPS;去重(Deduplication):并发能力(Concurrency):分区可容忍性(Partition Tolerance):容灾性(Disaster Tolerance):抗DDoS(Anti-DDoS):可扩展性(Scalability)其中,数据持久性是最重要的,涉及到存储行业最基本的职业道德:不能弄丢用户的数据。 为了保证数据持久性,除了对可靠性要求最低的桌面级存储可以听天由命(赌硬盘故障的AFR概率不会落到自己头上)以外,一个存储系统一定要有数据持久性保障机制,即使硬盘坏了也能保证数据不会丢。数据持久性保障机制由数据冗余、心跳监测和数据重建三部分构成。要想做好区块链存储,除了用通证激励的区块链激励层外,还必须踏踏实实做好去中心化存储系统,打磨上述技术指标,尤其是数据可靠性。 下面介绍一下YottaChain所做的工作: YottaChain以其专业性有非常明显的技术优势,在大家熟悉的几条存储公链中,是唯一有数据可靠性保护机制、唯一保证数据安全、独家密文去重降低存储成本、理论上I/O性能最好。 对我们来说,区块链存储的市场份额还是零,所有的存储公链都是同盟军,我们大家都是起义军,在挑战中心化存储的霸权。但是很遗憾的是其他这些同盟军目前还处于大刀长矛的阶段,还无法去挑战这些巨头霸主,至少我们是专业的,我们能够把区块链存储应有的优势全部发挥出来。 YottaChain独家掌握了区块链存储的核心技术——密文去重技术,这能够完全改变产业格局,因为全球专利都在我们手里,只有我们能够实现。 我们可以对比一下IPFS/FileCoin: IPFS/FileCoin非常知名,无论是“取代http”的理念,改变了区块链的挖矿模式,并使数字货币具备了商品属性,是对比特币等传统区块链项目的革命性变革。 IPFS/FileCoin的以上价值和贡献是怎么形容都不过分的,其设计远比BTC更为优越(当然也是因为其晚了很多年的原因),如果不是BTC先入为主,FIL的市值不会只有100亿美元。但作为一个存储系统,IPFS/FileCoin却没有建立数据持久性保障机制,既没有自动数据冗余,更谈不上心跳监测和自动数据重建。 IPFS不加密,与IPFS没有密文去重技术有直接关系。缺乏这项技术,IPFS就只能在加密和去重之间二选一。IPFS选择了数据去重,牺牲了数据加密,就导致了IPFS的数据持久性保障机制的缺失。IPFS不加密,还直接导致了IPFS的数据安全性保障机制的缺失。上传到IPFS的数据对任何人都是开放的,只要知道Hash值就可以读取。 YTA(YottaChain)独家拥有密文去重技术,从而将这一系列问题都迎刃而解,有完善的数据持久性保障机制,以及完善的数据安全性机制。 在当初做系统设计时,我们定下了几个设计原则: 1、在满足商业目的前提下尽量降低工程难度,不去挑战学术难题 2、比AWS/Microsoft/Google/阿里云/腾讯云在核心技术指标上要有碾压优势 3、成本上要有明显优势 4、与现有中心化存储主要接口完全兼容,几百亿美元的应用可以无缝接入 这几个要求是不低的,当时看似乎非常难以达到,但到今天我们可以宣布,以上目标都全部实现了。YTFS有数据可靠性保障机制,能对数据持久性、服务可用性、数据一致性、容灾性都起到强有力的保障,而且数据冗余率极低。每个数据块N+32(N<=128)个数据分片,每个数据分片保存在不同地域的不同存储节点上。保存同一个数据块的最多160台存储节点中,即使任意32个存储节点同时故障也不会丢失数据。 存储节点之间在超级节点调度下互相交叉做心跳监测,一旦一个存储节点出现故障则安排其它矿机进行数据重建。 只有在第一个存储节点故障后、完成数据重建前,同数据块还有32个存储节点也同时出现故障,才会丢失数据。仅计算硬盘故障因素的话,比IT巨头的持久性高64个数量级(1亿亿亿亿亿亿亿亿倍)。 只要这些存储节点都是分布在不同地域的,就天然自带容灾性。每一个数据块都是分布在160个地域的,可容忍多达32个地域同时出现断网宕机等故障或灾难都仍然能保证服务可用性,比IT巨头的服务可用性也是提高很多个数量级。摒弃了极容易出现脑裂的多副本模式,每一个数据块都是用RS编码和Hash算法横向和纵向双维度强力检错、纠错、纠删的,从而杜绝了数据不一致的可能性。数据冗余率只有125%,比IT巨头使用的经典三副本的300%数据冗余率降低了一半以上。 YTA(YottaChain)有数据安全体系,实现了全程加密、无缝加密、零知识加密,并有专业的密钥管理系统,和密文去重技术,保证除了数据所有者外其它人联合作恶也偷不走用户数据。数据采用AES-256加密,不掌握密钥无法破解。 每个数据块的密钥都不相同,都是实时随机生成,确保生成之前没人知道。以用户公钥用ECC-256加密存储密钥,保存在SN,无用户私玥时无法破解。以数据明文计算出密钥,用来加密存储密钥,保存在SN,用于密文去重。用不同Hash算法分别计算每个数据块明文Hash值和每个数据分片密文Hash值,通过双重Hash来彻底解决Hash碰撞问题,同时也能防止假冒数据攻击。 目前几大商业目标都已实现: 有数据可靠性保障机制,数据持久性、服务可用性、数据一致性和容灾性都至少超越IT巨头1万倍以上。 有数据安全体系,杜绝中心化平台作恶的可能性,在数据安全性上达到工程意义和商业意义的绝对安全。 通过密文去重技术、低数据冗余率和边缘节点友好性,即使IT巨头有一定的采购成本优势,也可以在存储成本上有至少5-10倍的优势。 已经提供标准的S3对象存储接口,并计划提供NAS存储接口,可以无缝对接数百亿美元的对象存储和NAS存储市场。 YTA(YottaChain)的数据安全性可以做到工程意义或者商业意义上的绝对安全。科学意义上没有绝对的安全,但是商业意义上可以有绝对安全,也就是说可以保证你把你的身家性命赌上去都不会有问题。 在全球最大黑客大会DefCon上,YTA(YottaChain)使用的TruPrivacy技术经公开验证,敞开服务器任黑客出入,高额现金公开悬赏,无人攻破。这足以说明YottaChain技术的卓越。 YTA(YottaChain)在商业模式上可以无缝切入现有数百亿美元的存储市场,从技术接口到商业运作都可以无缝对接,可以从持久化存储和容灾备份市场先开始发展,这两个市场就有小几百亿美元市场了 YTA(YottaChain)的双层通证经济模型是和CSDN副总裁孟岩老师一起设计的,可以保证流动性和稳定性,用户能够以稳定价格购买存储服务,同时还不影响二级市场的流动性,YTA价格还能保证长期增值(这是靠经济模型驱动的,而不是靠炒作的)。 YTA(YottaChain)的治理结构也是比较完备的,算是全球第一个初步完整的治理结构。以“去创始人化”为目标,将坚决地逐渐把项目发展决策权完全交给社区,为践行区块链精神做出贡献。 总之,YTA(YottaChain)在衡量公链的技术、商业模式、经济模型和治理结构四大维度上都达到了比较完备的水平。 YTA(YottaChain)从2019年6月29日开始提交公测,是第一个可以与IT巨头比拼技术指标而且可以碾压IT巨头的区块链项目。 下周,YTA的主网就启动上线了,代表第一个可商用的存储公链将正式面世了。无论对中国IT业,对区块链行业,还是对存储行业,这都是一个里程碑。 在最后,也希望对于区块链从业者来说能够树立准确的价值观,并且正确利用区块链技术改变世界,开启自己的财富之旅。大家应该关注区块链项目是否具备可商用性,要展现出区块链的价值,把区块链技术和实体行业相结合。 —- 编译者/作者:YottaChain 玩币族申明:玩币族作为开放的资讯翻译/分享平台,所提供的所有资讯仅代表作者个人观点,与玩币族平台立场无关,且不构成任何投资理财建议。文章版权归原作者所有。 |
YTA(YottaChain)创始人王东临揭秘:区块链存储的核心技术应用
2019-11-13 YottaChain 来源:区块链网络
LOADING...
相关阅读:
- 瑞波首席执行官布拉德·加林豪斯(Brad Garlinghouse)反对Coinbase的“不政2020-10-26
- Pionex派网携手币安,全新交易工具开启「区块链券商」新赛道 - 律动B2020-10-26
- Binance Launchpad添加了游戏宠物宇宙Axie Infinity2020-10-26
- 物联网区块链平台 IoTeX 将于 11 月 3 日上线「销毁空投」计划,将共销毁2020-10-26
- 〔YAS你问我答,第两百三十九篇〕play是主网平台币,等同于yas2020-10-26