Как я могу пройти файловую систему с генератором?

Question

Я пытаюсь создать служебный класс для обхода всех файлов в каталоге, в том числе в подкаталогах и подкаталогах. Я пытался использовать генератор, потому что генераторы это круто; однако я наткнулся на препятствие.

def grab_files(directory):
    for name in os.listdir(directory):
        full_path = os.path.join(directory, name)
        if os.path.isdir(full_path):
            yield grab_files(full_path)
        elif os.path.isfile(full_path):
            yield full_path
        else:
            print('Unidentified name %s. It could be a symbolic link' % full_path)

Когда генератор достигает директории, он просто возвращает место в памяти нового генератора; это не дает мне содержимое каталога.

Как я могу заставить генератор выдавать содержимое каталога вместо нового генератора?

Если уже есть простая библиотечная функция для рекурсивного перечисления всех файлов в структуре каталогов, расскажите мне об этом. Я не собираюсь копировать библиотечную функцию.

Answer 1

Зачем изобретать велосипед, когда вы можете использовать os.walk

import os
for root, dirs, files in os.walk(path):
    for name in files:
        print os.path.join(root, name)

os.walk - это генератор, который выдает имена файлов в дереве каталогов путем обхода дерева сверху вниз или снизу вверх.

Answer 2

Начиная с Python 3.4, вы можете использовать glob() метод из встроенного модуля pathlib:

import pathlib
p = pathlib.Path('.')
list(p.glob('**/*'))    # lists all files recursively

Answer 3

Я согласен с решением os.walk

В чисто педантичных целях попробуйте выполнить итерацию по объекту генератора, а не возвращать его напрямую:

def grab_files(directory):
    for name in os.listdir(directory):
        full_path = os.path.join(directory, name)
        if os.path.isdir(full_path):
            for entry in grab_files(full_path):
                yield entry
        elif os.path.isfile(full_path):
            yield full_path
        else:
            print('Unidentified name %s. It could be a symbolic link' % full_path)

Answer 4

Начиная с Python 3.4, вы можете использовать модуль Pathlib:

In [48]: def alliter(p):
   ....:     yield p
   ....:     for sub in p.iterdir():
   ....:         if sub.is_dir():
   ....:             yield from alliter(sub)
   ....:         else:
   ....:             yield sub
   ....:             

In [49]: g = alliter(pathlib.Path("."))                                                                                                                                                              

In [50]: [next(g) for _ in range(10)]
Out[50]: 
[PosixPath('.'),
 PosixPath('.pypirc'),
 PosixPath('.python_history'),
 PosixPath('lshw'),
 PosixPath('.gstreamer-0.10'),
 PosixPath('.gstreamer-0.10/registry.x86_64.bin'),
 PosixPath('.gconf'),
 PosixPath('.gconf/apps'),
 PosixPath('.gconf/apps/gnome-terminal'),
 PosixPath('.gconf/apps/gnome-terminal/%gconf.xml')]

Это существенно, объектно-ориентированная версия ответа sjthebats. Обратите внимание, что Path.glob ** шаблон возвращает только каталоги!

Answer 5

os.scandir() является "функция возвращает записи каталога вместе с информацией об атрибутах файла, обеспечивая лучшую производительность [чем os.listdir()] для многих распространенных случаев использования."Это итератор, который не использует os.listdir() внутри.

Answer 6

Приложение к ответу Геррита. Я хотел сделать что-то более гибкое.

перечислить все файлы в pth соответствие данному patternМожно также перечислить dirs, если only_file является False

from pathlib import Path

def walk(pth=Path('.'), pattern='*', only_file=True) :
    """ list all files in pth matching a given pattern, can also list dirs if only_file is False """
    if pth.match(pattern) and not (only_file and pth.is_dir()) :
        yield pth
    for sub in pth.iterdir():
        if sub.is_dir():
            yield from walk(sub, pattern, only_file)
        else:
            if sub.match(pattern) :
                yield sub

Answer 7

Вы можете использовать path.py. К сожалению, сайта автора больше нет, но вы все равно можете скачать код из PyPI. Эта библиотека является оболочкой для функций пути в os модуль.

path.py обеспечивает walkfiles() метод, который возвращает генератор, рекурсивно повторяющийся по всем файлам в каталоге:

>>> from path import path
>>> print path.walkfiles.__doc__
 D.walkfiles() -> iterator over files in D, recursively.

        The optional argument, pattern, limits the results to files
        with names that match the pattern.  For example,
        mydir.walkfiles('*.tmp') yields only files with the .tmp
        extension.

>>> p = path('/tmp')
>>> p.walkfiles()
<generator object walkfiles at 0x8ca75a4>
>>>