這篇文章主要介紹“怎么使用Python遍歷一個包含大量文件的文件夾”的相關(guān)知識，小編通過實(shí)際案例向大家展示操作過程，操作方法簡單快捷，實(shí)用性強(qiáng)，希望這篇“怎么使用Python遍歷一個包含大量文件的文件夾”文章能幫助大家解決問題。

讓客戶滿意是我們工作的目標(biāo)，不斷超越客戶的期望值來自于我們對這個行業(yè)的熱愛。我們立志把好的技術(shù)通過有效、簡單的方式提供給客戶，將通過不懈努力成為客戶在信息化領(lǐng)域值得信任、有價值的長期合作伙伴，公司提供的服務(wù)項(xiàng)目有：域名注冊、雅安服務(wù)器托管、營銷軟件、網(wǎng)站建設(shè)、豐南網(wǎng)站維護(hù)、網(wǎng)站推廣。

在處理大模型的訓(xùn)練數(shù)據(jù)時，經(jīng)常需要遍歷大型文件夾，其中，可能包括數(shù)千萬或數(shù)億個文件，這時，一般的Python遍歷函數(shù)就會非常慢，例如os.walk、glob、path.rglob等等，同時，無法預(yù)估整體的遍歷時間。

本文，通過Python的os.scandir，基于廣度優(yōu)先搜索算法，實(shí)現(xiàn)可控、高效的遍歷文件，同時，輸出遍歷日志，支持后綴篩選，去除隱藏文件，實(shí)現(xiàn)遍歷包含大量文件的文件夾的功能。

os.scandir 是一個目錄迭代函數(shù)，返回 os.DirEntry 對象的迭代器，對應(yīng)于由 path 指定目錄中的條目，這些條目以任意順序生成，不包括特殊條目 ‘.’ 和 ‘…’。os.scandir 的運(yùn)行效率要高于 os.walk，在 PEP 471 中，Python 官方也推薦使用 os.scandir 遍歷目錄 。

源碼

def traverse_dir_files_for_large(root_dir, ext=""):
    """
    列出文件夾中的文件, 深度遍歷
    :param root_dir: 根目錄
    :param ext: 后綴名
    :return: 文件路徑列表
    """
    paths_list = []
    dir_list = list()
    dir_list.append(root_dir)
    while len(dir_list) != 0:
        dir_path = dir_list.pop(0)
        dir_name = os.path.basename(dir_path)
        for i in tqdm(os.scandir(dir_path), f"[Info] dir {dir_name}"):
            path = i.path
            if path.startswith('.'):  # 去除隱藏文件
                continue
            if os.path.isdir(path):
                dir_list.append(path)
            else:
                if ext:  # 根據(jù)后綴名搜索
                    if path.endswith(ext):
                        paths_list.append(path)
                else:
                    paths_list.append(path)
    return paths_list

輸出日志：

[Info] 初始化路徑開始!
[Info] 數(shù)據(jù)集路徑: /alphafoldDB/pdb_from_uniprot
[Info] dir pdb_from_uniprot: 256it [00:10, 24.47it/s]
[Info] dir 00: 240753it [00:30, 7808.36it/s]
[Info] dir 01: 241432it [00:24, 9975.56it/s]
[Info] dir 02: 240466it [00:24, 9809.68it/s]
[Info] dir 03: 241236it [00:22, 10936.76it/s]
[Info] dir 04: 241278it [00:24, 10011.14it/s]
[Info] dir 05: 241348it [00:25, 9414.16it/s]

補(bǔ)充

除了上文的方式，小編還為大家整理了其他Python遍歷文件夾的方法，需要的可以參考一下

方法一：通過os.walk()遍歷，直接處理文件即可

def traverse_dir_files(root_dir, ext=None, is_sorted=True):
    """
    列出文件夾中的文件, 深度遍歷
    :param root_dir: 根目錄
    :param ext: 后綴名
    :param is_sorted: 是否排序，耗時較長
    :return: [文件路徑列表, 文件名稱列表]
    """
    names_list = []
    paths_list = []
    for parent, _, fileNames in os.walk(root_dir):
        for name in fileNames:
            if name.startswith('.'):  # 去除隱藏文件
                continue
            if ext:  # 根據(jù)后綴名搜索
                if name.endswith(tuple(ext)):
                    names_list.append(name)
                    paths_list.append(os.path.join(parent, name))
            else:
                names_list.append(name)
                paths_list.append(os.path.join(parent, name))
    if not names_list:  # 文件夾為空
        return paths_list, names_list
    if is_sorted:
        paths_list, names_list = sort_two_list(paths_list, names_list)
    return paths_list, names_list

方法二：通過pathlib.Path().rglob()遍歷，需要過濾出文件，速度較快。注意glob()不支持遞歸遍歷

def traverse_dir_files(root_dir, ext=None, is_sorted=True):
    """
    列出文件夾中的文件, 深度遍歷
    :param root_dir: 根目錄
    :param ext: 后綴名
    :param is_sorted: 是否排序，耗時較長
    :return: [文件路徑列表, 文件名稱列表]
    """
    names_list = []
    paths_list = []
    for path in list(pathlib.Path(root_dir).rglob("*")):
        path = str(path)
        name = path.split("/")[-1]
        if name.startswith('.') or "." not in name:  # 去除隱藏文件
            continue
        if ext:  # 根據(jù)后綴名搜索
            if name.endswith(ext):
                names_list.append(name)
                paths_list.append(path)
        else:
            names_list.append(name)
            paths_list.append(path)
    if not names_list:  # 文件夾為空
        return paths_list, names_list
    if is_sorted:
        paths_list, names_list = sort_two_list(paths_list, names_list)
    return paths_list, names_list

關(guān)于“怎么使用Python遍歷一個包含大量文件的文件夾”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識，可以關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，小編每天都會為大家更新不同的知識點(diǎn)。