一文解读分布式存储、文件存储、对象存储、块存储的区别

什么是分布式存储?

传统的网络存储系统是采用集中的存储服务器存放所有数据。随着数据的增加,系统可靠性与安全性的弊端日趋显现,无法满足大规模的存储应用需要。

分布式存储系统是将数据分散存储在多台独立的设备上。采用可扩展的系统结构,利用多台存储服务器分担存储负荷、定位存储信息,不但提高了系统的可靠性可用性存取效率,还易于扩展。

分布式平台的优势又有哪些

分布式平台是将数据存储数据分析计算等构建在多个主机构成的集群上的软件平台。有些数据问题本身的规模超出了单机系统容量或计算能力,所以需要利用多台计算机来协同解决,这就是分布式平台。

相对于单机构成系统,分布式平台有以下优点:

1. 资源可共享:整个环境中数据资源和计算资源都可共享。

2. 用户透明性:分布式系统展现的是一个统一的整体。

3. 高可靠:容错机制能确保数据计算和数据存储的高可靠性。

4. 高度灵活性:灵活兼容市场上主流厂商的硬件产品;

5. 性价比较高

分布式文件系统应用在哪些场景系统性能的标准又是什么?

在分布式存储技术中,每一种存储技术都有各自的特点和应用场景,目前分布式文件系统主要用于大数据的存储场景。

带宽(吞吐量)和每秒I/O操作数(IOPS)是衡量存储性能的两大指标。 在实际应用中,想要得到更“高”的IOPS,就需要尽可能减少每次数据存取请求涉及到的盘数;如果希望吞吐更“大”(高带宽),就需要聚合更多个盘的带宽。因此,不同的应用场景、不同的IO模型、不同的空间密度和性能需求,需要不同的分布式文件存储系统。

市场上主要的分布式存储类型都有哪些又应该怎样区分?

分布式存储根据其类型,可分为块存储对象存储文件存储

  • 块存储适合客户端使用
  • 典型使用场景有docker容器、虚拟机远程挂载磁盘存储分配、日志存储等。
  • 对象存储适合更新变动较少的数据,没有目录结构,不能直接打开/修改文件。
  • 典型使用场景有图片存储、视频存储、文件、软件安装包、归档数据等。
  • 文件存储适合多客户端有目录结构数据
  • 典型应用场景有日志存储、多个用户有目录结构的文件存储共享。

分布式存储系统为什么要具备应用感知?

为了让存储可以根据应用的特点是实现对存储性能的精确动态调优,可以从计算任务调度入手,控制计算任务的调度执行,让计算在开始执行之前给存储发送提示性信息,例如告诉存储:亲,我是IOPS密集型哦,我是元数据密集型哦,我是带宽密集型哦等等,以此协助存储系统预判此次任务的IO模型,做出决策选择和定向优化。

例如,高性能计算、AI训练和大数据分析对应的数据访问模式是不同的,存储系统在不同的时间段,不同的配置区域为应用的不同计算阶段提供尽可能高的存取效率和并行能力。

“应用感知”理念的引入使分布式存储系统变得可控、可视、可变,为存储赋予了自我调节性能、感知应用、主动适配上层业务场景的能力。

还有更多的文章,欢迎关注我的公众号:新爷话数据,与我一起探讨数据的那些事


文章标签:

原文连接:https://juejin.cn/post/7095622368554385439

相关推荐

最终一致性性分布式事务 TCC

TiFlash 源码阅读(五) DeltaTree 存储引擎设计及实现分析 - Part 2

Seata 多语言体系建设

分布式系统中数据存储方案实践

6 zookeeper实现分布式锁

SpringCloudAlibaba分布式事务解决方案Seata实战与源码分析-中

『HarmonyOS』探索HarmonyOS应用

Pytorch分布式训练

SpringCloudAlibaba分布式事务解决方案Seata实战与源码分析-上

互联网公司都怎么实现分页的,拿 MySQL 使劲Limit?

解读Go分布式链路追踪实现原理

RocketMQ之消费者启动与消费流程

Redis 分布式锁详解

强一致性分布式事务XA 浅析

分布式事务(Seata)原理 详解篇,建议收藏

本地使用 Docker Compose 与 Nestjs 快速构建基于 Dapr 的 Redis 发布/订阅分布式应用

Spring Cloud Alibaba —— 分布式事务组件

阿里云杨皓然:Serverless或将引领云的下一个时代

RabbitMQ:消息丢失 | 消息重复 | 消息积压的原因+解决方案+网上学不到的使用心得

SpringBoot自定义starter开发分布式任务调度实践