驭凡带你畅享分布式存储的现状及未来发展

作者:叹烧老广 更新时间:2022-12-25 21:00 阅读:980

随着物联网器件的广泛部署以及人类数字化生活的快速拓展,人类采集和产生的数据已经呈指数型增长,由此给存储带来了极大的市场需求。


分布式存储,以其低价格、高可靠性、高可信性等因素,成为继本地存储、中心化存储之后的最主要存储方式。目前主要的分布式存储包括了云存储、边缘存储和基于区块链技术的分布式存储几类。


驭凡带你畅享 分布式存储的现状及未来发展


驭凡带你畅享 分布式存储的现状及未来发展


分布式存储最早是由谷歌提出的,其目的是通过廉价的服务器来提供使用与大规模,高并发场景下的Web访问问题。如下图是谷歌分布式存储(HDFS)的简化的模型。在该系统的整个架构中将服务器分为两种类型,一种名为namenode,这种类型的节点负责管理管理数据(元数据),另外一种名为datanode,这种类型的服务器负责实际数据的管理。


驭凡带你畅享 分布式存储的现状及未来发展


上图分布式存储中,如果客户端需要从某个文件读取数据,首先从namenode获取该文件的位置(具体在哪个datanode),然后从该位置获取具体的数据。在该架构中namenode通常是主备部署,而datanode则是由大量节点构成一个集群。由于元数据的访问频度和访问量相对数据都要小很多,因此namenode通常不会成为性能瓶颈,而datanode集群可以分散客户端的请求。因此,通过这种分布式存储架构可以通过横向扩展datanode的数量来增加承载能力,也即实现了动态横向扩展的能力。


驭凡教育赫赫老师表示,在生活中,我们以云存储为例,实际上如果我们深入云存储内部就会发现,云存储也是分布式的,只不过云的存储形态是分布式协同。云存储的存储层将不同类型的存储设备互连起来,实现海量数据的统一管理,同时实现对存储设备的集中管理、状态监控以及容量的动态扩展,实质是一种面向服务的分布式存储系统。


区块链技术使数据从被集中化运营管理走向了分布式自运营。区块链与存储技术的融合主要有三种方向:



一.是基于区块链构建的去中心化存储系统,具有代表性的基于区块链的去中心化存储系统有结合IPFS与区块链技术的Filecoin,开源项目Sia、Storj、SAFE Network等;


二.是基于区块链优化已有系统的存储性能,针对中心化架构系统面临的单点故障、数据安全性低、隐私保护能力不足等问题,将区块链技术应用于域名系统、物联网系统、超级计算系统、数据库系统,为系统设计去中心化的架构、利用分布式账本提高数据安全性与数据溯源能力;


三.是针对区块链的存储空间利用率低、查询性能低等问题进行优化,如采用纠删码降低区块链的存储空间开销,使用索引等技术提高区块链系统的查询效率。


目前的分布式存储,更多还是从技术层面实现的存储技术的优化,而没有从存储内容,即数据层面提出更多的存储解决方案。分布式存储是一个大的概念,其包含的种类繁多,除了传统意义上的分布式文件系统、分布式块存储和分布式对象存储外,还包括分布式数据库和分布式缓存等。


微信扫一扫加我

加微信送福利,酱香白酒低价买。茅台镇老牌酒厂直接供货,品质保障,物美价廉,专注高性价比酱香型白酒!