ZFS 文件系统原理

一、概述

ZFS（Zettabyte File System）是一个先进的文件系统和卷管理器，它由Sun Microsystems开发，现在是OpenZFS项目的一部分。ZFS 提供了数据完整性检查、支持高存储容量、快照和克隆等高级功能，并且具有强大的扩展性和灵活性。

二、快照（Snapshot）

1. 定义与工作原理

快照是文件系统或卷的一个只读时间点副本。创建快照时，ZFS 并不复制所有数据块，而是记录当时的数据状态。快照非常轻量，只是当前元数据和数据块引用。

每个快照都是基于写时复制（Copy-on-Write, CoW）机制实现的。这意味着当需要修改某个数据块时，ZFS 不会直接覆盖该数据块，而是分配一个新的数据块来保存修改后的数据。

示例操作

# 创建一个名为 snap1 的快照
zfs snapshot tank/fs@snap1

2. 快照存储机制

首次创建快照并不会复制整个文件系统的内容，而只是记录当前元数据和数据块引用。后续当数据被修改时，ZFS 才会将旧的数据块保留下来供快照使用。

因此，每个快照实际上是一个“差异视图”，它保存的是该快照之后发生变化前的数据。即使是第一个快照也不是全量复制，而是基于CoW机制。

3. “快照”的本质？

ZFS 快照是某个时间点上文件系统或卷（zvol）的只读副本。快照本身不占用额外空间，除非原始数据被修改。

• 当你创建一个快照时，ZFS 并不会立即复制任何数据块。
• 只有当文件系统中的数据被修改时（比如写入、删除、重写），ZFS 才会将旧的数据块保留下来，供快照使用。
• 这就是所谓的 “写时复制”机制（CoW）。

如果创建了多个快照，每一个快照都是当时元数据和数据块的引用。

流程图：数据修改过程对比

说明：ZFS 的元数据更新是原子操作，确保修改过程不会因中断而导致不一致。

4. 多个快照之间如何工作？

ZFS 使用一种链式结构来管理多个快照之间的关系：

[文件系统]
   |
   v
[快照1] ← [快照2] ← [快照3] ...

• 每个快照只保存与前一状态不同的数据。
• 如果你修改了一个文件多次 across 多个快照，那么每次修改都会触发一次 CoW，生成新的数据块，并由对应的快照引用。

5. 快照占用的空间怎么算？

你可以使用以下命令查看快照使用的空间：

zfs list -t snapshot

或者更详细的：

zfs get used,usedbydataset,usedbysnapshots,usedbychildren <pool>/<filesystem>

其中：

• usedbysnapshots：表示被快照占用的空间总量。
• 每个快照所“使用”的空间是它与其他快照或当前文件系统相比，独有的那部分数据块。

示例流程

假设我们有一个文件系统 tank/fs：

# 第一天创建快照 snap1
zfs snapshot tank/fs@snap1
# 第二天创建快照 snap2
zfs snapshot tank/fs@snap2

snap1 和 snap2 之间共享未更改的数据块，只有在数据被修改后，才会为快照保留旧版本的数据块。

流程图：创建快照的过程

说明：快照与主文件系统共享数据块，直到主文件系统修改数据。

三、克隆（Clone）

定义与工作原理

克隆是从快照创建的一个可写的副本。创建时也不复制实际的数据块，只是共享原始快照的数据块。只有在克隆中发生写操作时才会触发CoW机制，分配新空间保存修改后的内容。

所以：
即使原始数据是 1TB，克隆操作也是瞬间完成的，因为 ZFS 并没有真正复制数据，而是通过指针共享原始数据块。

示例操作

# 基于 snap1 创建一个名为 clone1 的克隆
zfs clone tank/fs@snap1 tank/clone1

在这个例子中，clone1 初始状态下与 snap1 共享所有的数据块。只有当 clone1 或原始文件系统中的数据发生改变时，才会触发写时复制机制，生成新的数据块。

独立性

如果原始文件系统或克隆中的某个数据块被修改，则会触发CoW，生成新的数据块供修改后的对象使用，而未修改的数据块仍然共享。

示例

假设 file.txt 存在于原始文件系统和 clone1 中，它们最初共享同一个数据块 A。

• 如果修改 clone1 中的 file.txt，则 ZFS 会分配一个新的数据块 A’，并将修改后的内容写入 A’。原始文件系统和 snap1 继续引用旧的数据块 A。
• 如果同时修改了原始文件系统和 clone1 中的 file.txt，那么最终会有三个版本的数据块：snap1 引用的原始数据块 A，clone1 修改后的数据块 A’，以及原始文件系统修改后的数据块 A’'。

四、快照与克隆的关系

在 ZFS 中，基于快照创建的克隆（clone）和原始文件系统可以独立修改，但未修改的数据块是共享的。ZFS 通过数据块而不是文件来判断数据是否被修改。

数据共享与独立性

• 快照 是只读的，用于捕获某一时刻的数据状态。
• 克隆 是基于快照创建的可写副本，可以对数据进行修改而不影响原始快照或其他基于同一快照的克隆。
• 如果删除了作为克隆基础的快照，则可能会导致该克隆无法访问共享的数据块。

数据块级别的管理

ZFS 是一个**写时复制（Copy-on-Write, CoW）**文件系统。这意味着：

• 所有操作都是在数据块级别进行的，而不是文件级别。
• 当你创建一个快照时，ZFS 并不立即复制任何数据块。相反，它只是记录了当时的数据结构（元数据），并为这些数据块设置了引用计数。
• 当原始文件系统或克隆中的某个数据块需要被修改时，ZFS 会分配新的数据块，并将修改写入到新分配的数据块中。这个过程称为“写时复制”。

如何判断数据没有被修改？

ZFS 通过以下方式管理未修改的数据块：

1. 数据块指针和校验和：

   • 每个数据块都有一个唯一的校验和（checksum）。当数据块被写入时，ZFS 计算并存储该数据块的校验和。
   • 如果要修改某个数据块，ZFS 会首先检查其校验和，然后分配新的空间来保存修改后的数据块。原始数据块保持不变，校验和也保持原样。

2. 引用计数：

   • ZFS 使用引用计数来跟踪哪些数据块正在被使用。例如，如果一个数据块同时被原始文件系统和克隆所引用，则该数据块的引用计数为2。
   • 只有当引用计数降至0时（即没有任何文件系统或快照再需要该数据块），ZFS 才会考虑释放该数据块的空间。

3. 快照和克隆的关系：

   • 快照和克隆之间通过共享数据块来实现高效的数据管理和存储。
   • 基于 snapshot1 创建的 clone1 初始状态下与 snapshot1 共享所有的数据块。只有当 clone1 或原始文件系统中的数据发生改变时，才会触发写时复制机制，生成新的数据块。

示例说明

假设有一个文件系统 tank/fs，你在其中有一个文件 file.txt。以下是具体的操作流程：

1. 创建快照 snapshot1：

   zfs snapshot tank/fs@snapshot1
   

   此时，snapshot1 和 tank/fs 共享所有数据块。

2. 基于 snapshot1 创建克隆 clone1：

   zfs clone tank/fs@snapshot1 tank/clone1
   

   现在，clone1、snapshot1 和 tank/fs 共享所有未修改的数据块。

3. 修改 clone1 中的 file.txt：
   当你修改 clone1 中的 file.txt 时，ZFS 会：

   • 分配新的数据块用于保存修改后的内容。
   • 更新 clone1 的元数据以指向新的数据块。
   • 原始文件系统和 snapshot1 继续引用旧的数据块。

4. 检查数据块状态：
   你可以使用以下命令查看数据块的状态：

   zdb -dddd tank/fs
   

   这个命令可以帮助你深入了解特定数据集的数据块信息，包括它们的引用计数、校验和等。

五、远程备份

使用 zfs send 和 zfs receive

ZFS 提供了两个命令来实现快照的备份和传输：zfs send 和 zfs receive。

全量发送

# 在 server1 上创建一个快照
zfs snapshot tank/fs@snap1
# 发送这个快照到 server2 的 tank/fs 数据集
zfs send tank/fs@snap1 | ssh user@server2 zfs receive tank/fs

增量发送

如果你在 server1 上又创建了新的快照 tank/fs@snap2，你可以只发送增量部分：

# 发送 snap2 相对于 snap1 的增量
zfs send -i tank/fs@snap1 tank/fs@snap2 | ssh user@server2 zfs receive tank/fs

性能优化建议

• 使用压缩提高传输效率：

  zfs send tank/fs@snap1 | gzip | ssh user@server2 "gzip -d | zfs receive tank/fs"
  

• 使用 pv 查看进度条：

  zfs send tank/fs@snap1 | pv | ssh ... zfs receive ...
  

六、数据完整性

ZFS 文件系统在设计时特别强调了数据完整性，采用了多种机制来确保数据的可靠性和一致性。以下是 ZFS 如何实现数据完整性的几个关键方面：

1. 写时复制（Copy-on-Write, CoW）

工作原理

• 写时复制是ZFS的核心特性之一。当需要修改某个数据块时，ZFS不会直接覆盖原有数据块，而是分配一个新的数据块，并将修改后的数据写入这个新块。
• 原始数据块保持不变，直到所有元数据和数据块都成功写入后，才会更新相关指针指向新的数据块。

数据一致性和原子性

• 这种机制保证了即使在写入过程中发生意外中断（如断电），也不会导致文件系统元数据损坏或数据丢失。所有更改要么完全生效，要么完全不生效，不存在部分完成的状态。

2. 校验和（Checksums）

数据校验

• 每个数据块都有一个唯一的校验和（checksum）。当数据块被写入时，ZFS计算并存储该数据块的校验和。
• 在读取数据块时，ZFS会重新计算其校验和并与存储的校验和进行比较。如果两者不匹配，则说明数据可能已损坏。

自动修复

• 如果检测到数据损坏，ZFS可以自动从冗余副本（如镜像或RAID-Z）中恢复正确的数据块。
• 这种机制不仅适用于用户数据，还涵盖了元数据，从而确保整个文件系统的完整性。

3. 冗余与数据保护

RAID-Z

• 类似于传统的RAID技术，但具有更高的灵活性和更强的数据保护能力。ZFS支持单磁盘、镜像以及不同级别的RAID-Z配置（如RAID-Z1、RAID-Z2、RAID-Z3）。
• 这些配置提供了不同程度的冗余，可以在磁盘故障时恢复数据。

数据条带化与奇偶校验

• 在RAID-Z配置中，数据被条带化分布于多个磁盘上，并通过奇偶校验位提供额外的保护。这使得即使一个或多个磁盘发生故障，也可以重建丢失的数据。

4. 数据完整性检查与修复

定期扫描

• ZFS可以定期执行scrub操作，遍历整个文件系统，验证每个数据块的校验和，并尝试修复任何发现的问题。
• 这有助于及早发现问题并在它们变成严重问题之前解决。

自动修复

• 当检测到数据损坏时，ZFS能够利用冗余信息自动修复受损的数据块，无需人工干预。

5. 日志（ZIL）与事务组（TXG）

日志（ZIL）

• ZFS使用日志（ZFS Intent Log, ZIL）记录同步写入请求。这样即使系统崩溃，也可以从日志中恢复未完成的操作，防止数据丢失。

事务组（TXG）

• 所有对ZFS的更改都是以事务组的形式提交。每个事务组包含一系列更改，并作为一个整体被提交到磁盘。这种机制进一步增强了数据的一致性和可靠性。

在远程备份过程中，ZFS同样依赖于CoW和校验和机制，确保传输过程中的数据完整性和一致性。
通过这些机制，ZFS能够在各种情况下保证数据的完整性，无论是面对硬件故障、软件错误还是人为失误。这对于需要高可靠性的环境尤其重要。

七、总结

ZFS 提供了强大而灵活的功能集，包括快照、克隆以及高效的远程备份解决方案。通过理解这些概念及其工作机制，用户可以更好地管理和保护他们的数据。无论是为了防止数据丢失还是实现高效的数据迁移，ZFS 都提供了解决方案，使其成为现代数据中心的理想选择之一。