Program - Python 快速的遍历文件夹

ManonLegrand

已于 2023-05-22 16:48:36 修改

阅读量973

点赞数

CC 4.0 BY-SA版权

分类专栏： Server&Program 文章标签： python

于 2022-06-21 11:16:21 首次发布

本文链接：https://blog.csdn.net/caroline_wendy/article/details/125387665

Server&Program 专栏收录该内容

43 篇文章

订阅专栏

本文探讨了使用os.walk()和pathlib.Path.rglob()两种方法在Python中遍历文件夹的效率，结果显示pathlib.Path.rglob()在时间上稍胜一筹，耗时更短。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

两种文件夹遍历方式的时间对比，如下：

# 方案1
[Info] 遍历图像文件夹结束! 耗时: 00:03:10.26
[Info] 图像数: 935071

# 方案2
[Info] 遍历图像文件夹结束! 耗时: 00:02:43.95
[Info] 图像数: 935071

与What’s the fastest way to recursively search for files in python?的测试结果一致。

方法1：

核心的耗时逻辑：pathlib.Path(root_dir).rglob("*")

def traverse_dir_files(root_dir, ext=None, is_sorted=False):
    """
    列出文件夹中的文件, 深度遍历
    :param root_dir: 根目录
    :param ext: 后缀名
    :param is_sorted: 是否排序，耗时较长
    :return: [文件路径列表, 文件名称列表]
    """
    names_list = []
    paths_list = []
    
    for path in list(pathlib.Path(root_dir).rglob("*")):
        path = str(path)
        name = path.split("/")[-1]
        if name.startswith('.') or "." not in name:  # 去除隐藏文件
            continue
        if ext:  # 根据后缀名搜索
            if name.endswith(ext):
                names_list.append(name)
                paths_list.append(path)
        else:
            names_list.append(name)
            paths_list.append(path)
            
    if not names_list:  # 文件夹为空
        return paths_list, names_list
    if is_sorted:
        paths_list, names_list = sort_two_list(paths_list, names_list)
    return paths_list, names_list

方法2：

核心的耗时逻辑：os.walk(root_dir)

def traverse_dir_files_pre(root_dir, ext=None, is_sorted=True):
    """
    列出文件夹中的文件, 深度遍历
    :param root_dir: 根目录
    :param ext: 后缀名
    :param is_sorted: 是否排序，耗时较长
    :return: [文件路径列表, 文件名称列表]
    """
    names_list = []
    paths_list = []
    for parent, _, fileNames in os.walk(root_dir):
        for name in fileNames:
            if name.startswith('.'):  # 去除隐藏文件
                continue
            if ext:  # 根据后缀名搜索
                if name.endswith(tuple(ext)):
                    names_list.append(name)
                    paths_list.append(os.path.join(parent, name))
            else:
                names_list.append(name)
                paths_list.append(os.path.join(parent, name))
    if not names_list:  # 文件夹为空
        return paths_list, names_list
    if is_sorted:
        paths_list, names_list = sort_two_list(paths_list, names_list)
    return paths_list, names_list