okx

分布式存储:坤前带你认识智多星

时间:2023-07-09|浏览:130

为什么需要分布式存储?

从远古时期原始人以龟甲刻字、结绳记事,再到计算机出现后陆续出现的软盘、硬盘、U盘等,以适应存储数据量的增长。随着人工智能、大数据、云计算等技术的发展,人们与数据的关系越来越密不可分:4K、8K等超高清视频带来更好的视觉体验;移动支付、实时导航、智能音箱等让生活更便捷轻松。

这就导致数据量呈指数级增长。传统的存储方式无法满足需求,存储系统架构需要变革,高效、易于扩展的分布式存储平台应运而生。

根据IDC的数据,到2025年,全球新创建的数据量将达到175ZB,而目前已存储的数据只有1%左右。预计2018-2023年,企业级存储装机容量将以25.1%的复合年增长率增长,其中约40%的存储系统将采用分布式存储架构。

一、分布式存储是什么?

我们先来讲个小故事:

从前有个小村庄,村庄里有个不大不小的人工湖,村民们从几公里外的山上挑水装进桶里。这样自给自足地过了十几年,由于村庄发展壮大,人口增加了,人工湖也越来越大。湖区扩张占用了耕地,每次扩建还要耗费村民的时间和精力,村民们很不满。

终于,村长请教了邻村的智多星先生,他要解决用水问题。

在智多星的帮助下,村里家家户户都打了水井。每口水井有不同的功能,有些可以用来洗衣沐浴,有些可以用来灌溉农田。每当有需要时,村民只需向村长咨询,就能马上找到符合自己需求的水井。

家家户户都有水井

地下水的多样性满足了村民对水量和质量的需求,村民们又过上了安居乐业的生活。

在这个故事中,智多星先生通过分布式架构解决了村民的用水问题。人工湖代表传统的集中式存储,可以不断增加的水井则相当于分布式存储中的节点。传统存储随着数据增多,扩展的代价和支持不同访问方式的难度也在增加,还需要复制方案以确保数据安全。分布式存储的特点则直接解决了这些问题。

二、分布式存储的特点

分布式存储利用多台存储服务器分担存储负荷,并通过位置服务器定位存储信息。它不仅提高了系统的可靠性、可用性和存取效率,还易于扩展,将通用硬件的不稳定因素降到了最低。

1. 支持分级存储以保障高性能

分布式存储通过将热点数据映射到高速存储中,提高系统的响应速度。当这些数据不再是热点时,存储系统会将它们移出高速存储。

可以将高速存储和低速存储分开部署,或者以任意比例混合部署。在不可预测的业务环境或敏捷应用场景中,分层存储能够发挥最佳效果。写缓存技术可以与高速存储配合,明显改善整体存储的性能。

2. 多副本一致性和故障定位来实现高可靠性

分布式存储通常采用一写多读的多副本强一致性技术,保证多个数据副本之间的一致性。当读取数据失败时,系统可以从其他副本读取数据,重新写入故障副本进行恢复。

多时间点快照技术保存了一定时间间隔内的多个数据版本,支持同时提取多个时间点样本用于恢复。如果有多台服务器或虚拟机可以用于系统恢复,通过比较和分析,可以快速确定需要回复的时间点,降低了故障定位的难度和时间消耗。还可以设定数据恢复的带宽规则,最小化对业务的影响。

3. 弹性扩展和异构存储的整合

只需将新节点和原有集群连接到同一网络,旧数据会自动迁移到新节点,实现负载均衡,避免单点过热。当节点添加到集群后,全局容量和性能也会线性扩展,新节点的资源将由管理平台接管,用于分配或回收。

分布式存储首选使用行业标准接口(如SMI-S或OpenStackCinder)进行存储接入,通过将异构存储资源抽象化,将传统的存储设备级操作封装成面向存储资源的操作,实现集中管理存储资源,并自动执行创建、变更、回收等存储生命周期过程。

在当前智能时代,数据呈现出海量、多元和非结构化的特点,企业的IT基础设施正从云+边的双层架构向云-边-端的三层架构进化。存储系统已成为需求响应、软件定义、智能化和多云部署的重要趋势。

分布式平台也将通过闪存等新型介质对系统架构产生重要影响,进一步推动存储领域的变革。

热点:比特币认识 元宇宙认识 认识虚拟币 币圈存储 比特币存储

欧易

欧易(OKX)

用戶喜愛的交易所

币安

币安(Binance)

已有账号登陆后会弹出下载

« 上一条| 下一条 »
区块链交流群
数藏交流群

合作伙伴

非小号交易所排名-专业的交易行情资讯门户网站,提供区块链比特币行情查询、比特币价格、比特币钱包、比特币智能合约、比特币量化交易策略分析,狗狗币以太坊以太币玩客币雷达币波场环保币柚子币莱特币瑞波币公信宝等虚拟加密电子数字货币价格查询汇率换算,币看比特儿火币网币安网欧易虎符抹茶XMEX合约交易所APP,比特币挖矿金色财经巴比特范非小号资讯平台。
非小号行情 yonghaoka.cn 飞鸟用好卡 ©2020-2024版权所有 桂ICP备18005582号-1