测试面试必备：Python中如何高效读取大文件以4G内存处理8G文件为例-CSDN博客

Python面试题 - Python中如何读取大文件，例如内存只有4G，如何读取一个大小为8G的文件？

引言

在现代数据处理中，我们经常需要处理远大于系统内存的大型文件。当你的计算机只有4GB内存，却需要处理8GB甚至更大的文件时，传统的文件读取方法会导致内存溢出或系统崩溃。本文将介绍Python中几种高效读取大文件的方法，并提供相应的Java实现作为参考。

问题分析

Python解决方案

1. 逐行读取法

最基础的方法是使用文件对象的迭代特性逐行读取：

with open('large_file.txt', 'r') as file:
    for line in file:
        process(line)  # 处理每一行

Java等效实现：

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;

public class ReadLargeFile {
    public static void main(String[] args) {
        try (BufferedReader br = new BufferedReader(new FileReader("large_file.txt"))) {
            String line;
            while ((line = br.readLine()) != null) {
                process(line);  // 处理每一行
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
    
    private static void process(String line) {
        // 处理逻辑
    }
}

2. 固定大小缓冲读取

对于二进制文件或需要精确控制内存使用的情况：

def read_in_chunks(file_path, chunk_size=1024*1024):  # 默认1MB
    with open(file_path, 'rb') as file:
        while True:
            chunk = file.read(chunk_size)
            if not chunk:
                break
            yield chunk

for chunk in read_in_chunks('large_file.bin'):
    process_chunk(chunk)

Java等效实现：

import java.io.FileInputStream;
import java.io.IOException;

public class ReadByChunks {
    public static void main(String[] args) {
        int chunkSize = 1024 * 1024; // 1MB
        byte[] buffer = new byte[chunkSize];
        
        try (FileInputStream fis = new FileInputStream("large_file.bin")) {
            int bytesRead;
            while ((bytesRead = fis.read(buffer)) != -1) {
                processChunk(buffer, bytesRead);
            }
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
    
    private static void processChunk(byte[] chunk, int length) {
        // 处理逻辑
    }
}

3. 使用内存映射文件

对于超大型文件，内存映射(mmap)是高效的选择：

import mmap

with open('large_file.bin', 'r+b') as f:
    with mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ) as mm:
        # 像操作普通字符串一样操作mm
        process(mm[:1024])  # 处理前1KB

Java等效实现：

import java.io.RandomAccessFile;
import java.nio.MappedByteBuffer;
import java.nio.channels.FileChannel;

public class MemoryMappedFile {
    public static void main(String[] args) throws Exception {
        try (RandomAccessFile file = new RandomAccessFile("large_file.bin", "r");
             FileChannel channel = file.getChannel()) {
            
            long size = channel.size();
            MappedByteBuffer buffer = channel.map(
                FileChannel.MapMode.READ_ONLY, 0, size);
            
            // 处理缓冲区
            processBuffer(buffer);
        }
    }
    
    private static void processBuffer(MappedByteBuffer buffer) {
        // 处理逻辑
    }
}