Как возобновить предыдущую неудачную итерацию при обходе большого вложенного каталога в Python?

В настоящее время я использую os.walk для навигации по всем подпапкам и файлам в массивном каталоге сетевого диска. Однако всякий раз, когда мой VPN отключается, цикл for терпит неудачу. На следующий день, когда я повторно запускаю свой код, я хотел бы возобновить работу с последнего обработанного файла. Какие изменения я должен внести в свой код ниже?

      import os

directory = '//DirectoryName/FolderName'

for root, dirs, files in os.walk((os.path.normpath(directory)), topdown=False):
  for name in files:
        Source_File = os.path.join(root,name)
        #This loads the file to s3 bucket
        s3_client.upload_file(Source_File, bucket, Target_File)

Каталог действительно большой, имеет сотни подпапок и тысячи файлов.

0 ответов

Другие вопросы по тегам