在处理大型文件时，传统的读写方式（如 file.read() 或 file.write()）可能会效率低下。这些操作通常涉及将数据从磁盘复制到内核缓冲区，再复制到用户空间的应用程序缓冲区，然后再进行处理。这种多次复制和系统调用的开销，对于大数据量来说是相当显著的。
Python 的 mmap 模块提供了一个优雅且高效的解决方案：内存映射文件（Memory-Mapped Files）。它允许你将一个文件或文件的一部分直接映射到进程的虚拟内存空间中，从而将文件操作转换为内存操作。
什么是内存映射文件？
内存映射文件是一种操作系统级别的技术，它将文件内容直接“投影”到应用程序的地址空间中。这意味着：
- 文件即内存： 一旦文件被映射，你可以像访问普通内存数组一样访问文件的内容，通过索引（在 Python 中）直接读写文件数据。
- 减少复制： 数据不再需要经过多次复制（磁盘 -> 内核 -> 用户空间）。操作系统负责在后台将文件内容按需加载到内存中，并在内存中的修改同步回磁盘。
- 提高效率： 减少了系统调用和数据复制，极大地提高了大文件读写的效率，尤其是在随机访问文件内容时。
- 共享内存： 在多进程环境中，同一个文件可以被多个进程映射到它们的内存空间，从而实现高效的进程间通信（IPC）。对映射内存的修改，可以被所有映射了该文件的进程看到。
Python mmap 模块的基本用法
mmap 模块提供了 mmap.mmap 类来创建和管理内存映射。
创建内存映射对象
创建 mmap 对象的基本语法如下：
import mmap
import os
file_name = "example.txt"
# 定义一个初始文件大小，确保文件不会是空的
initial_file_size = 100
# --- 确保文件存在且非空是关键！---
# 始终确保文件被创建或被填充到至少 initial_file_size 大小
# 'r+b' 要求文件存在，'w+b' 会创建或截断文件
# 这里我们使用 'wb' 创建或清空文件，并填充内容，然后重新以 'r+b' 打开
with open(file_name, "wb") as f:
# 写入一些初始内容，确保文件大小不为0
# 这里用空字节填充，你可以换成任何你需要的初始数据
f.write(b'\0' * initial_file_size)
f.flush() # 确保内容写入磁盘
print(f"文件 '{file_name}' 已确保存在且至少有 {initial_file_size} 字节。")
# 现在文件已准备好进行内存映射
with open(file_name, "r+b") as f: # 必须以读写二进制模式打开文件句柄
# mmap.mmap(fileno, length, access=ACCESS_DEFAULT, offset=0)
# fileno: 文件的文件描述符 (f.fileno())
# length: 映射的字节数。如果为 0，则映射整个文件（当前大小）。
# access: 映射的访问模式。
# offset: 文件中开始映射的偏移量，必须是系统页面大小的倍数（通常为 4096 字节）。
# 映射整个文件，可读写（因为文件以 'r+b' 打开，且 access 默认为 ACCESS_DEFAULT）
mm = mmap.mmap(f.fileno(), 0)
# 也可以映射文件的前 50 字节，只读
# mm_read_only = mmap.mmap(f.fileno(), 50, access=mmap.ACCESS_READ)
print(f"映射文件大小: {len(mm)} 字节")
# 现在 mm 对象可以像 bytearray 一样使用了
# ... 后续操作 ...
# 关闭 mmap 对象，释放资源
mm.close()
访问和修改数据
一旦创建了 mmap 对象，你就可以像操作 bytes 或 bytearray 对象一样来操作它。
import mmap
import os
file_name = "example_data.txt"
# 确保文件存在并有足够内容
with open(file_name, "wb") as f:
f.write(b"Hello Mmap World! This is a test string for memory mapping.")
f.flush()
print(f"\n操作文件 '{file_name}' 内容:")
with open(file_name, "r+b") as f:
mm = mmap.mmap(f.fileno(), 0)
# 像读取字节串一样读取（注意：mm.read() 会移动内部指针）
print(f"原始文件内容: {mm.read().decode('utf-8')}")
# 重置文件指针到开头，以便再次读取或修改
mm.seek(0)
# 像访问列表一样通过索引访问字节
print(f"第一个字节 (ASCII): {mm[0]}") # 输出 H 的 ASCII 值 72
# 像切片一样读取一部分内容
print(f"前5个字节: {mm[0:5].decode('utf-8')}") # 输出 Hello
# 修改内容 (如果 access 允许写入，且是 ACCESS_DEFAULT 模式)
mm.seek(0) # 重置指针到开头
# 写入单个字节
mm[0] = b'G'[0] # 将 'H' 改为 'G'
# 写入一个字节序列
mm[6:10] = b'Test' # 将 'Mmap' 的一部分改为 'Test'
# 再次读取整个内容以查看修改
mm.seek(0)
print(f"内存映射后内容: {mm.read().decode('utf-8')}") # 可能会输出 'Gello Test World!...'
# 强制将内存中的修改同步到磁盘 (可选，操作系统通常会自行处理)
mm.flush()
# 关闭 mmap 对象
mm.close()
# 验证文件内容是否真的被修改
with open(file_name, "r", encoding="utf-8") as f:
print(f"文件系统中的最终内容: {f.read()}")
其他常用方法
mmap.seek(offset[, whence]): 移动映射文件中的“当前位置”指针，类似file.seek()。mmap.tell(): 返回当前位置指针的偏移量。mmap.read(num_bytes): 从当前位置读取num_bytes字节。mmap.readline(): 读取一行直到换行符。mmap.write(bytes): 从当前位置写入字节序列。mmap.write_byte(byte): 写入单个字节。mmap.resize(newsize): 调整映射文件的大小。这也会改变底层文件的大小。mmap.flush([offset[, size]]): 强制将修改从内存同步到磁盘。mmap.close(): 关闭映射，释放相关资源。
access 参数的深入理解
access 参数是 mmap 的一个重要特性，它控制着映射内存的读写行为和数据一致性。
-
mmap.ACCESS_READ(默认)- 只读： 你只能读取映射区域的内容。尝试写入会导致
TypeError或OSError。 - 不会修改文件： 即使底层文件是以可写模式打开的，使用
ACCESS_READ映射的内存也不会将任何修改写回磁盘。
- 只读： 你只能读取映射区域的内容。尝试写入会导致
-
mmap.ACCESS_WRITE- 写时复制（Copy-on-Write）： 这是
ACCESS_WRITE的核心特性。当你尝试修改映射区域的某个页面（通常是 4KB 大小）时，操作系统不会直接修改原始文件。相反，它会为这个页面创建一个私有的副本，你的修改只在这个副本上进行。 - 不影响其他进程： 如果有其他进程也映射了同一个文件，它们的视图不会受到你的修改影响。
- 不会写回文件：
ACCESS_WRITE模式下的修改永远不会同步回原始文件。这种模式主要用于你需要在内存中处理文件内容，但又不希望更改原始文件，也不希望影响其他进程对文件的视图。
- 写时复制（Copy-on-Write）： 这是
-
mmap.ACCESS_COPY- 与
ACCESS_WRITE行为非常相似，也是写时复制，且修改不会写回原始文件。在大多数 Unix-like 系统上，ACCESS_WRITE和ACCESS_COPY的实现可能几乎相同。它通常用于更明确地表达“我正在操作一个文件内容的独立副本”。
- 与
-
mmap.ACCESS_DEFAULT- 这是最常用的选项，它根据你打开底层文件的方式来决定访问模式。
- 如果文件是以只读模式打开的（
'r'或'rb'），那么mmap默认是ACCESS_READ。 - 如果文件是以读写模式打开的（
'r+','r+b','w+','w+b','a+','a+b'），那么mmap默认是 可写的，并且修改会写回原始文件。这才是你通常期望的“像修改内存一样修改文件”的模式。
重要提示： 当使用
ACCESS_DEFAULT且底层文件句柄是可写时，对mmap对象的修改最终会反映到磁盘上的文件中。
使用场景与优势
mmap 模块在以下场景中非常有用：
- 大文件随机访问： 如果你需要频繁地跳到文件中的不同位置进行读写，
mmap比seek()和read()/write()效率高得多。操作系统负责将所需页面加载到内存，无需你手动管理文件指针和缓冲区。 - 高性能 I/O： 对于需要最大化文件读写性能的应用程序（如数据库、日志处理、科学计算），
mmap可以显著减少系统调用和数据复制的开销。 - 进程间通信（IPC）： 通过将同一个文件映射到多个进程的地址空间，
mmap提供了一种高效的共享内存机制，允许进程直接读写共享数据。 - 处理二进制文件： 由于
mmap对象表现为bytearray，它非常适合直接操作二进制数据文件，例如解析或修改图像、音频或其他结构化二进制数据。 - 减少内存消耗（假象）： 乍一看，映射一个巨大的文件似乎会占用大量内存。但实际上，操作系统采用的是**按需分页（demand paging）**策略。只有当你真正访问映射区域的某个部分时，操作系统才会将对应的文件块加载到物理内存中。这比一次性将整个文件读入内存要高效得多。
示例：使用 mmap 高效修改文件特定区域
假设我们有一个日志文件，需要定期更新其中某个特定的统计数字，而不是每次都重写整个文件。
import mmap
import os
import struct # 用于处理二进制数据
import time
file_name = "app_status.log"
# 预设文件大小，包含足够的空间。确保这个大小能够容纳你的数据
file_size = 1024
# 假设我们要修改的数字位于文件的特定偏移量
# 这是一个逻辑偏移量，你需要确保文件本身有足够的大小来容纳这些数据
status_value_offset = 50
# --- 确保文件存在并有足够的大小，以避免 mmap 错误 ---
# 强制创建或清空文件，并填充到指定大小
with open(file_name, "wb") as f:
f.write(b'\0' * file_size) # 用空字节填充以达到指定大小
f.flush()
print(f"文件 '{file_name}' 已创建/清空并填充至 {file_size} 字节。")
# 2. 将文件映射到内存
try:
# 必须以读写二进制模式打开文件句柄
with open(file_name, "r+b") as f:
# 映射整个文件，使用默认访问模式（根据文件句柄是读写打开，所以是可写的，修改会写回文件）
mm = mmap.mmap(f.fileno(), 0)
print(f"文件 '{file_name}' 已成功映射到内存，大小: {len(mm)} 字节。")
# 写入一些初始文本到文件开头
mm.seek(0)
mm.write(b"Application Status Log:\n")
mm.write(b"Current active connections: ")
# 计算连接数实际写入的起始偏移量
# 假设这里是 "Current active connections: " 后面的数字区域
num_write_offset = mm.tell() # 获取当前指针位置，即写入数字的起始位置
# 写入初始值 (例如 00000005)
initial_value = 5
# 写入一个固定宽度的字符串表示的数字，例如 8 位
# 使用 f-string 的格式化功能确保数字宽度和前导零
mm.write(f"{initial_value:08d}".encode('ascii'))
print(f"初始连接数 {initial_value} 已写入文件。")
mm.flush() # 强制将修改从内存同步到磁盘
# 模拟程序运行中，动态更新连接数
for i in range(1, 4):
time.sleep(2) # 模拟一段时间后
new_value = initial_value + i * 10
# 定位到要更新数字的精确位置
mm.seek(num_write_offset)
# 写入新的值，确保写入的字节数与之前相同，避免破坏后续内容
mm.write(f"{new_value:08d}".encode('ascii'))
print(f"更新连接数到: {new_value:08d}")
mm.flush() # 每次更新都强制同步，确保数据持久化
# 最后读取整个文件内容验证
mm.seek(0)
# 注意：mmap 对象是字节流，read() 也会移动指针。
# 如果你只读取到特定部分，记得切片或再次 seek(0)
final_content = mm.read().decode('utf-8').strip()
print("\n--- 最终内存映射的内容 ---")
print(final_content)
print("--------------------")
finally:
# 确保 mmap 对象被关闭，释放资源
if 'mm' in locals() and not mm.closed:
mm.close()
# 检查文件系统中的文件内容，验证修改是否持久化
with open(file_name, "r", encoding="utf-8") as f:
print(f"\n文件系统 '{file_name}' 的最终实际内容:\n{f.read().strip()}")
运行上述代码，你会看到 app_status.log 文件中的连接数会随着程序的执行而实时更新。这种方式比每次修改都重新打开、读取、修改、写入整个文件要高效得多，尤其适用于只有小部分数据需要频繁更新的场景。
总结
mmap 模块是 Python 中一个功能强大且高效的工具，它通过将文件直接映射到内存空间，极大地优化了文件 I/O 操作。无论你是需要处理大型文件、实现高性能数据访问，还是进行进程间通信，mmap 都能为你提供一个直观且高效的解决方案。关键在于，在执行内存映射操作前，你必须确保目标文件是非空的，并具有足够的大小来容纳你将要操作的数据。 正确理解其 access 参数的语义，是发挥 mmap 全部潜力的关键。
扫一扫
216
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
