磁盘静默错误

最新推荐文章于 2025-04-14 17:00:45 发布
原创 最新推荐文章于 2025-04-14 17:00:45 发布 · 1.2k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

博客介绍了硬盘的静默错误，英文为 Silent Data Corruption。硬盘正常应正确读写数据、出错告警，常规问题如硬件错误等能被捕获。而静默错误是数据处理看似正常，使用时才发现数据错误、损坏，即读写成功但数据不一致。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

静默错误

静默错误在英文中被称为：Silent Data Corruption，硬盘最核心的使命是正确的写入数据、正确的读出数据，在出错时及时抛出异常告警。磁盘出现异常的情形可能包括硬件错误、固件 BUG 或者软件 BUG、供电问题、介质损坏等，这些常规的问题都能够被正常捕获抛出异常，而最可怕的事情是，数据处理都是正常的，直到你使用的时候才发现数据是错误的、损坏的。这就是静默错误，即写入和读出成功，但是数据却不一致。
参考

CPU静默数据错误：存储系统数据不丢不错的设计思考
数据库技术
07-05 546
一、背景 对于数据存储系统来说，保障数据不丢不错是底线，也是数据存储系统最难的部分。试想，如果您的银行存款记录为 1 万，因为数据存储系统异常导致该记录丢失、或者数据错误导致位翻转从 1 万变为 0，其影响是致命的。根据统计，丢失数据中心10天的企业，93% 会在1年内破产。 业界的 Data integrity 和Data Corruption 术语就是描述此类问题，它们除了阐述数据错误外，还描述了在数据存储、传输等过程中存在的问题。为了保证理解一致，先明确数据不丢和数据不错的定义： 数据不..
拒绝硬盘静默错误，SPDK保护你的数据
lingshengxiyou的博客
09-06 779
这里在介绍下DIF和DIX的区别，DIF的PI信息是直接跟到数据后面，用户数据和PI共享一个数据buffer，而DIX的PI是一个单独的buffer，也就是说用户需要提供2个独立的buffer，一个是数据一个存放PI信息，假设硬盘block size是512字节，在PI使能时，存取8个block时，DIF需要申请(512+8) * 8字节的Buffer，而DIX需要申请512 * 8的数据Buffer以及 8 * 8的PI Buffer。
静默数据错误究竟是个什么鬼？
CSDN业界要闻
08-11 6670
静默数据破坏问题是一直存在存储系统中最难解决的数据一致性问题之一，无论是传统多控、分布式存储，还是公有云存储。对存储系统设计和开发人员来讲，数据一致性问题解决能否解决决定...
关于静默错误转载一篇博文
不如不遇倾城色的博客
08-08 721
静默错误
数据恢复工程师视角看腾讯云静默损坏事件
weixin_34090562的博客
08-07 301
腾讯云在这次事件中的结论表述为因受所在物理硬盘固件版本Bug导致的静默错误，文件系统元数据损坏：根据这个表述，故障应出现在硬盘固件故障导致的文件系统元数据损坏。这其中，涉及具备因果关系的三个知识点：硬盘固件故障—>文件系统元数据损坏—>文件损坏。在此大致画一下腾讯云可能用到的存储架构方案。带*号的是不一定存在的存储链。事实上，这个逻辑肯定不准确，比如有些环节精减或不需要，有些环节有更详...
包含下载，数据安全，数据备份16条军规
eygle's life
08-07 578
更多精彩请关注“数据和云”公众号 这可能是你需要的： https://bethune.enmotech.com/ 关注 Oracle 18c 新特性，Oracle 18.3 最新动态等 猛戳：http://enmotech.com/web/classify/31.html 近日，关于腾讯云的一则事故在朋友圈刷屏 事件回放   腾讯云披露的整个事件的基本情况如下： 8月6日 消息...
针对数据存储，OceanBase 数据库从数据存储最小 I/O 粒度微块开始，在每个微块/宏块/SSTable/ 分区上都记录了相应的校验和，每次数据读取时都会进行数据校验；为了防止底层存储硬件问题，在转储合并写入数据宏块时也会在写入后马上重新对数据进行校验；最后每个 Server 后台会有定期的数据巡检线程对整体数据扫描校验，以提前发现磁盘静默错误。 当数据写入存储介质时，系统会计算该数据块的CRC校验和并将其存储在数据块的元数据区域中，CRC校验在此系统当中如同数据的"指纹"，能够唯一标识该数据块的内容。在后续的读取操作中，系统会重新计算数据块的CRC值，并与存储的校验和进行比对，任何微小的差异都会被立即发现并报告为物理校验错误。 这种基于CRC的校验机制不仅仅局限于普通的数据块，更扩展到了数据库系统中最关键的元数据结构——超级块。超级块承载着整个数据库文件系统的核心元数据信息，包括数据分布、索引结构、事务状态等关键信息，其完整性直接关系到整个数据库系统的可用性。 OceanBase对超级块实施了严格的物理校验机制，通过多重校验和交叉验证确保这些关键数据结构的绝对可靠性。当系统启动时，会首先对超级块进行全面的完整性检查，只有在确认所有关键元数据都完整无损的情况下，数据库才会正常启动并提供服务。 上面这些内容对吗？
最新发布
06-01
引用[2]提到，这种设计可防止磁盘读写错误导致元数据损毁[^2]。 ### 三、一致性保障体系 | 校验层级 | 技术手段 | 作用范围 | |---------|---------|---------| | **存储引擎** | 宏块CRC校验 | 单机数据块完整性 ...
bitrot:Bitrot 清理器 - 清理您的磁盘（或阵列）以查找 bitrot（静默磁盘数据损坏）。
05-31
Bitrot Scrubber - 清理您的磁盘（或阵列）以查找 bitrot（静默磁盘数据损坏）。 多年来，硬盘驱动器的大小一直稳定增长，但是其误码率却保持相对不变。 例如，希捷“梭子鱼”系列的“每读取位不可恢复位错误”率为...
Bitrot Scrubber：应对静默磁盘数据损坏的解决方案
Bitrot Scrubber是一个IT工具，用于检测和修复因bitrot（静默磁盘数据损坏）导致的存储问题。 首先，我们需要了解什么是bitrot。Bitrot通常指的是存储介质上的数据因为长时间的存储而逐渐退化或损坏，但它更加特定...
静默数据损坏（Silent Data Corruption）是什么？
存储随笔
02-17 1754
静默数据损坏（Silent Data Corruption）是指在没有触发任何错误报告或警告的情况下，存储系统中数据发生错误性改变的现象。以下是导致静默数据损坏的主要源头及何时何地可能发生这种情况的详细解读。 数据错位错误（Data Misplacement Errors）： 这类错误发生在数据被写入或读取时位置出现偏差，即原本应该存储到特定地址的数据被错误地写到了其他位置，或者从错误的位置读取了数据。这可能是由于地址计算错误、缓存一致性问题或硬件故障等原因造成。 数据内容错误（Data Cont
静默错误：Oracle 数据库是如何应对和处理的 ？
Enmotech的博客
08-09 1346
说明：关于本文提到的所有参考文档，一律上传分享，关注本公众号回复 122arch 获得。这两天，关于腾讯云『因为静默错误,把创业公司的数据彻底搞丢了』的事件已经传遍了整个...
CPU如何检测静默错误？
存储随笔
02-17 1102
通过上述多种技术的结合应用，能够有效地提高检测静默错误的能力，从而减少由这些错误引起的数据丢失和系统崩溃的风险。随着数据中心规模的扩大和技术的进步，越来越多的高级检测和预防措施被研发并应用于实际场景中。
静默错误：为什么看了那么多灾难，还是过不好备份这一关？
Enmotech的博客
08-06 1583
近日，关于腾讯云的一则事故在朋友圈刷屏。事件回放腾讯云披露的整个事件的基本情况如下：8月6日 消息：近日，腾讯云用户“前沿数控”平台一块操作系统云盘，因受所在物理硬盘固件...
静默数据损坏（Silent Data Corruption）来源有哪些？
存储随笔
02-26 852
无论是在数据创建后的正常运行阶段，还是在异常情况如电源故障、数据重建恢复、快照制作、分层存储管理、备份、协议转换、数据压缩、重复数据删除、加密等操作期间，都可能发生静默数据损坏。：从磁盘控制器、DMA引擎、内存、交换机、网络接口卡（NICs）、数据处理单元（DPUs）、主机总线适配器（HBAs），再到硬盘驱动器（HDDs）和固态硬盘（SSDs）等各种硬件组件。：只要涉及对数据的操作、移动或存储过程，都有可能出现静默数据损坏，包括操作系统内核、文件系统、数据库管理系统以及各种应用程序。
Meta大规模基础设施系统检测静默数据错误的方法
存储随笔
02-17 857
鉴于问题的复杂性，我们实验了不同的检测与缓解方法，并对比了两种主要途径：1) Fleetscanner（生产外测试），2) ripple（生产内测试）。我们展示了在大规模环境下进行测试的能力，每月都能持续完成数十亿秒的测试。在典型制造周期中，服务器或CPU会在供应商处接受几小时的测试，然后在集成商处进行几天的最佳情况下的测试，并采用抽样方式。尽管机会主义测试能够提供频繁的集群覆盖范围，但它不足以防止在测试窗口之间出现的生产故障，或者那些依赖于不同数据模式的故障，以及因不同操作模式间切换导致的故障。
存储系统规避静默错误的几种方案
存储随笔
02-26 1280
ZFS文件系统采用了校验和缓存（ZIL）和每块校验和（checksums on every block）的设计，能够在数据写入时生成校验和，并在后续访问时进行比对。每个数据块都有一个对应的校验和信息存储，当数据读取时，系统会重新计算校验和并与存储的校验和进行比较。当数据从磁盘读取到内存，或从内存写回磁盘时，ZFS会重新计算校验和并与之前保存的校验和进行对比。它确保了即使在突发断电情况下，已提交但尚未实际写入磁盘的数据也能在系统恢复后得到完整回滚或重放，从而避免因意外掉电导致的不一致性和潜在的数据损坏。
为什么数据库会丢失数据？今天我就来跟你掰扯掰扯
xingduan5153的博客
02-15 604
推荐阅读： 阿里二面凉经：设计模式+缓存+Spring+虚拟机+MySQL+中间件+并发等难题，全部迎刃而解 阿里巴巴字节跳动那些大厂必问的HTTP该怎么学？我建议你看看这篇文章！ 蚂蚁、字节、PDD社招面经Java岗（分布式+线程安全+MySQL+CAS） 数据库管理系统在今天已经是软件的重要组成部分，开源的 MySQL、PostgreSQL 以及商业化的 Oracle 等数...
NAS-RAID方案之snapRAID
S_ZaiJiangHu的博客
04-14 970
SnapRAID是用于磁盘阵列的可用非标准RAID解决方案之一。与其说它是一个RAID，不如说是一个非实时校验机制。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值