9 存储性能优化，查缺补漏

最新推荐文章于 2025-08-02 00:58:29 发布

媒飞王者

最新推荐文章于 2025-08-02 00:58:29 发布

阅读量333

点赞数 4

CC 4.0 BY-SA版权

分类专栏： 2024年程序员学习文章标签：性能优化

本文链接：https://blog.csdn.net/weixin_58142821/article/details/136925432

2024年程序员学习专栏收录该内容

236 篇文章

订阅专栏

文章详细介绍了RAID技术的不同级别，如RAID0、RAID1、RAID10、RAID3、RAID5和RAID6，强调了它们在数据冗余、可靠性与性能之间的权衡。同时，提到了HDFS和MapReduce在分布式系统中的应用，以及网站性能优化中分布式架构的影响。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

数据在从内存缓冲区写入磁盘时，根据磁盘数量将数据分成N份，这些数据同时并

发写入N块磁盘，使得数据整体写入速度是一块磁盘的N倍。读取时也一样，因此RAID0 具有极快的数据读写速度，但是RAID0不做数据备份，N块磁盘中只要有一块损坏，数据完整性就被破坏，所有磁盘的数据都会损坏。

RAID1

数据在写入磁盘时，将一份数据同时写入两块磁盘，这样任何一块磁盘损坏都不会

导致数据丢失，插入一块新磁盘就可以通过复制数据的方式自动修复，具有极高的可靠性。

RAID10

结合RAID0和RAID1两种方案，将所有磁盘平均分成两份,

入，相当于RAID1,但是在每一份磁盘里面的M2块磁盘上，利用RAIDO技术并发读写, 既提高可靠性又改善性能，不过RAID10的磁盘利用率较低，有一半的磁盘用来写备份数据。

RAID3

一般情况下，一台服务器上不会岀现同时损坏两块磁盘的情况，在只损坏一块磁盘的情况下，如果能利用其他磁盘的数据恢复损坏磁盘的数据，这样在保证可靠性和性能的同时，磁盘利用率也得到大幅提升。

在数据写入磁盘的时候，将数据分成N-1份，并发写入N-1块磁盘，并在第N块磁盘记录校验数据，任何一块磁盘损坏（包括校验数据磁盘），都可以利用其他N-l块磁盘的数据修复。

但是在数据修改较多的场景中，修改任何磁盘数据都会导致第N快磁盘重写校验数据，频繁写入的后果是第N块磁盘比其他磁盘容易损坏，需要频繁更换，所以RAID3很少在实践中使用。

RAID5

相比RAID3,方案RAID5被更多地使用。

RAID5和RAID3很相似，但是校验数据不是写入第N块磁盘，而是螺旋式地写入所有磁盘中。这样校验数据的修改也被平均到所有磁盘上，避免RAID3频繁写坏一块磁盘的情况。

RAID6

如果数据需要很高的可靠性，在岀现同时损坏两块磁盘的情况下（或者运维管理水平比较落后，坏了一块磁盘但是迟迟没有更换，导致又坏了一块磁盘），仍然需要修复数据，这时候可以使用RAID6。

RAID6和RAID5类似，但是数据只写入N-2块磁盘，并螺旋式地在两块磁盘中写入

校验信息（使用不同算法生成）。

在相同磁盘数目（N）的情况下，各种RAID技术的比较如表4.3所示。

在这里插入图片描述

RAID技术可以通过硬件实现，比如专用的RAID卡或者主板直接支持，也可以通过软件实现。RAID技术在传统关系数据库及文件系统中应用比较广泛，但是在大型网站比较喜欢使用的NoSQL,以及分布式文件系统中，RAID技术却遭到冷落。

例如在HDFS （ Hadoop分布式文件系统）中，系统在整个存储集群的多台服务器上进行数据并发读写和备份，可以看作在服务器集群规模上实现了类似RAID的功能，因此

HDFS以块（Block ）为单位管理文件内容，一个文件被分割成若干个Block,当应用程序写文件时，每写完一个Block, HDFS就将其自动复制到另外两台机器上，保证每个 Block有三个副本，即使有两台服务器宕机，数据依然可以访问，相当于实现了 RAID1 的数据复制功能。

当对文件进行处理计算时，通过MapReduce并发计算任务框架，可以启动多个计算子任务（MapReduce Task ）,同时读取文件的多个Block,并发处理，相当于实现了 RAID0 的并发访问功能。

在这里插入图片描述

在HDFS中有两种重要的服务器角色：NameNode （名字服务节点）和DataNode （数据存储节点）。NameNode在整个HDFS中只部署一个实例，提供元数据服务，相当于操作系统中的文件分配表（FAT）,管理文件名Block的分配，维护整个文件系统的目录树结构。DataNode则部署在HDFS集群中其他所有服务器上，提供真正的数据存储服务。

和操作系统一样，HDFS对数据存储空间的管理以数据块（Block ）为单位，只是比操作系统中的数据块（512字节）要大得多，默认为64MBO HDFS将DataNode上的磁盘空间分成N个这样的块，供应用程序使用。

应用程序（Client）需要写文件时，首先访问NameNode.请求分配数据块，NameNode根据管理的DataNode服务器的磁盘空间，按照一定的负载均衡策略，分配若干数据块供Client 使用。

当Client写完一个数据块时,HDFS会将这个数据块再复制两份存储在其他DataNode

服务器上，HDFS默认同一份数据有三个副本，保证数据可靠性。因此在HDFS中，即使

DataNode服务器有多块磁盘，也不需要使用RAID进行数据备份，而是在整个集群上进

行数据复制，而且系统一旦发现某台服务器宕机，会自动利用其他机器上的数据将这台服务器上存储的数据块自动再备份一份，从而获得更高的数据可靠性。

HDFS配合MapReduce等并行计算框架进行大数据处理时，可以在整个集群上并发

读写访问所有的磁盘，无需RAID支持。

4 小结

网站性能优化技术是在网站性能遇到问题时的解决方案。而网站的性能问题很多是在用户高并发访问时产生的，所以网站性能优化的主要工作是改善高并发用户访问情况下的网站响应速度。本章开篇所举的例子，当老板说“我们要改善网站性能”的时候，他期望的是在A方案的基础上，不管是100个并发访问还是200个并发访问，响应时间都能达到1秒。而架构师能做到的，则是利用分布式的方案改善网站并发特性，由于分布式不可避免地会带来架构复杂、网络通信延迟等问题，所以最终设计出来的可能是B 方案：缩短高并发访问响应延迟的同时，却延长了原来低并发访问时的响应延迟。架构师对这种可能性要心中有数，合理调整相关各方对性能优化的心理预期。

网站性能对最终用户而言是一种主观感受，性能优化的最终目的就是改善用户的体验，使他们感觉网站很快。离开这个目的，追求技术上的所谓高性能，是舍本逐末，没有多大意义。而用户体验的快或是慢，可以通过技术手段改善，也可以通过优化交互体验改善。

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Java工程师，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Java开发全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。