当前位置:存储行业动态 → 正文

区块链迫在眉睫的存储问题 迅雷链是这么解决的

责任编辑:zsheng |来源:企业网D1Net  2018-11-28 18:40:12 本文摘自:牛华网

区块链上大数据、大文件该如何存储?

这是目前困扰区块链应用落地的主要难题之一,对此业内不少技术团队,都在进行各种尝试,以期找出一种能够将大体积文件上链保存的妥善方法。

11月24日,在迅雷链技术沙龙上海站上,迅雷链底层研发工程师张小刚分享了迅雷链对此问题的解决方案,他表示,通过冗余编码和共享计算技术,能够有效解决大数据的上链难题,由此扫平区块链技术商用上的一大障碍。

区块链存储痛点:价格贵,容量小

数据存储在链上并不困难,目前基本所有的区块链主链都可以实现数据存放。真正的问题是,数据的存储成本极其昂贵,比如以太坊上,存放1MB数据需要花费大约3.76ETH,即便按目前市价来算,也接近3000元。EOS上更是如此,曾有人估算,在EOS上开发一个DAPP,光购买内存的费用就要几百万元之巨。显然,如此高的价格,在实际商用中根本无法接受。

此外,现有的主流区块链上可保存的数据量其实并不大,这是由于传统区块链是单机存储架构,而数据存储容量会受到单机存储上限的限制所致。张小刚表示,截止2018年5月,比特币的一个完整节点的数据存储达到了210G,而以太坊的数据存储达到了1T。这种水平已经让很多普通用户,无法运行一个全量的以太坊节点了。

如果放开商业化应用数据上链,数据存储的增长将非常迅猛,远超当前数据体积,以目前的技术架构,基本上不可能满足实际商用的数据上链需求。

成本高,容量小,成为目前区块链数据存储所面临的主要难题,如果要实现商用,解决存储问题首当其冲。

迅雷链的解决方案

据张小刚介绍,迅雷链对数据上链保存的解决方案分3步。首先是打破了传统区块链中,所有节点全部保存同样数据的做法,取而代之以新的分区模式。

迅雷链采用的是独创的同构多链架构,本身可以进行分区,且保证每个分区结构完全相同。分区之后,将不同的分区,交给不同的节点集群来保存,这样单个节点保存的数据量就大大减小,有效降低了单节点的存储压力。

如果分区需要更高的性能或者存储达到了阈值,则可以对分区进行平滑扩链,也就是将一个分区划分出更多的分区,这样既提高性能又减缓存储增长。而迅雷链的节点来自于共享计算所提供的150万+个人节点,如此庞大的数量足以支撑起足够多的分区存储需求。

其次,就是在行业内引起重大反响的迅雷链文件系统,即TCFS。用户将文件存储在TCFS中,TCFS会计算文件的摘要返回一个hash值,hash值进行上链,从而一个大体积的文件数据,也能实现上链的记录。

另一方面TCFS要保证文件存储的安全和可靠。它将文件经过冗余编码分成若干片,分别保存在不同节点上,读取的时候,只要把部分切片组合到一起,就能还原出整个原文件,由此保证了即便在有节点不在线的情况下,仅凭其余在线节点,也能还原出整个文件。同时,任何一个单一节点,看到的都是文件碎片,无法还原出其真实意义,保证了安全性。

此外张小刚还透露,目前迅雷链正在将底层的存储升级为可插拔的插件化存储架构,节点可以根据自身场景选择不同的底层存储架构,除了原生支持的levelDB存储外,后续还会有新的存储解决方案陆续支持。

通过这三步技术上的创新,迅雷链目前已能够较为妥善地处理大数据、大文件上链保存这一难题。分享最后,张小刚表示,迅雷链对所有技术问题的解决,都是本着如何让开发者更好、更方便地开发区块链应用为出发点,存储解决方案也不例外。迅雷链希望能够通过对存储技术的创新,让区块链开发者做出更丰富、优秀的DAPP,并早日实现区块链技术的商用落地。

关键字:解决迅雷问题存储

本文摘自:牛华网

x 区块链迫在眉睫的存储问题 迅雷链是这么解决的 扫一扫
分享本文到朋友圈
当前位置:存储行业动态 → 正文

区块链迫在眉睫的存储问题 迅雷链是这么解决的

责任编辑:zsheng |来源:企业网D1Net  2018-11-28 18:40:12 本文摘自:牛华网

区块链上大数据、大文件该如何存储?

这是目前困扰区块链应用落地的主要难题之一,对此业内不少技术团队,都在进行各种尝试,以期找出一种能够将大体积文件上链保存的妥善方法。

11月24日,在迅雷链技术沙龙上海站上,迅雷链底层研发工程师张小刚分享了迅雷链对此问题的解决方案,他表示,通过冗余编码和共享计算技术,能够有效解决大数据的上链难题,由此扫平区块链技术商用上的一大障碍。

区块链存储痛点:价格贵,容量小

数据存储在链上并不困难,目前基本所有的区块链主链都可以实现数据存放。真正的问题是,数据的存储成本极其昂贵,比如以太坊上,存放1MB数据需要花费大约3.76ETH,即便按目前市价来算,也接近3000元。EOS上更是如此,曾有人估算,在EOS上开发一个DAPP,光购买内存的费用就要几百万元之巨。显然,如此高的价格,在实际商用中根本无法接受。

此外,现有的主流区块链上可保存的数据量其实并不大,这是由于传统区块链是单机存储架构,而数据存储容量会受到单机存储上限的限制所致。张小刚表示,截止2018年5月,比特币的一个完整节点的数据存储达到了210G,而以太坊的数据存储达到了1T。这种水平已经让很多普通用户,无法运行一个全量的以太坊节点了。

如果放开商业化应用数据上链,数据存储的增长将非常迅猛,远超当前数据体积,以目前的技术架构,基本上不可能满足实际商用的数据上链需求。

成本高,容量小,成为目前区块链数据存储所面临的主要难题,如果要实现商用,解决存储问题首当其冲。

迅雷链的解决方案

据张小刚介绍,迅雷链对数据上链保存的解决方案分3步。首先是打破了传统区块链中,所有节点全部保存同样数据的做法,取而代之以新的分区模式。

迅雷链采用的是独创的同构多链架构,本身可以进行分区,且保证每个分区结构完全相同。分区之后,将不同的分区,交给不同的节点集群来保存,这样单个节点保存的数据量就大大减小,有效降低了单节点的存储压力。

如果分区需要更高的性能或者存储达到了阈值,则可以对分区进行平滑扩链,也就是将一个分区划分出更多的分区,这样既提高性能又减缓存储增长。而迅雷链的节点来自于共享计算所提供的150万+个人节点,如此庞大的数量足以支撑起足够多的分区存储需求。

其次,就是在行业内引起重大反响的迅雷链文件系统,即TCFS。用户将文件存储在TCFS中,TCFS会计算文件的摘要返回一个hash值,hash值进行上链,从而一个大体积的文件数据,也能实现上链的记录。

另一方面TCFS要保证文件存储的安全和可靠。它将文件经过冗余编码分成若干片,分别保存在不同节点上,读取的时候,只要把部分切片组合到一起,就能还原出整个原文件,由此保证了即便在有节点不在线的情况下,仅凭其余在线节点,也能还原出整个文件。同时,任何一个单一节点,看到的都是文件碎片,无法还原出其真实意义,保证了安全性。

此外张小刚还透露,目前迅雷链正在将底层的存储升级为可插拔的插件化存储架构,节点可以根据自身场景选择不同的底层存储架构,除了原生支持的levelDB存储外,后续还会有新的存储解决方案陆续支持。

通过这三步技术上的创新,迅雷链目前已能够较为妥善地处理大数据、大文件上链保存这一难题。分享最后,张小刚表示,迅雷链对所有技术问题的解决,都是本着如何让开发者更好、更方便地开发区块链应用为出发点,存储解决方案也不例外。迅雷链希望能够通过对存储技术的创新,让区块链开发者做出更丰富、优秀的DAPP,并早日实现区块链技术的商用落地。

关键字:解决迅雷问题存储

本文摘自:牛华网

电子周刊
回到顶部

关于我们联系我们版权声明隐私条款广告服务友情链接投稿中心招贤纳士

企业网版权所有 ©2010-2024 京ICP备09108050号-6 京公网安备 11010502049343号

^