Случайная системная ошибка при сохранении файлов .wav

Question

У меня есть сценарий, который загружает, изменяет выборку, переименовывает и сохраняет аудиоданные в новом (или том же) месте.

Последние два дня я пытался запустить этот скрипт в Google Cloud. С 8 ЦП эта операция должна занять около 8 часов. У меня сегодня 6 часов, и все получилось грушевидным.

К сожалению, я постоянно сталкиваюсь с системной ошибкой в ​​какой-то случайный момент в процессе:

RemoteTraceback: 
"""
Traceback (most recent call last):
  File "/opt/conda/lib/python3.7/multiprocessing/pool.py", line 121, in worker
    result = (True, func(*args, **kwds))
  File "/opt/conda/lib/python3.7/multiprocessing/pool.py", line 47, in starmapstar
    return list(itertools.starmap(args[0], args[1]))
  File "/home/jupyter/jn-kaggle/birdsong/who-said-what/wsw/preprocessing.py", line 27, in write_audio
    with sf.SoundFile(path, 'w', sr, channels=1, format='WAV') as f:
  File "/opt/conda/lib/python3.7/site-packages/soundfile.py", line 629, in __init__
    self._file = self._open(file, mode_int, closefd)
  File "/opt/conda/lib/python3.7/site-packages/soundfile.py", line 1184, in _open
    "Error opening {0!r}: ".format(self.name))
  File "/opt/conda/lib/python3.7/site-packages/soundfile.py", line 1357, in _error_check
    raise RuntimeError(prefix + _ffi.string(err_str).decode('utf-8', 'replace'))
RuntimeError: Error opening '/home/jupyter/jn-kaggle/birdsong/data/resampled/solsan/XC448920.wav': System error.
"""

Я прочитал, что эта системная ошибка обычно возникает из-за того, что путь к файлу не существует. Однако, поскольку я создаю файл ДО попытки его открыть, я не верю, что это возможно:

    os.makedirs(os.path.dirname(path), exist_ok=True)
    with sf.SoundFile(path, 'w', sr, channels=1, format=format) as f:
        f.write(audio)

Итак, я не думаю, что это проблема неправильного пути, поскольку он определен и создан.

Вот полный сценарий:

def resample_all(old_path, new_path, sr):
 # Get every folder in a directory
 folders = [d for d in os.scandir(old_path) if os.path.isdir(d.path)]
    n_folders = len(folders)
     
    # for each folder, get each file 
    for i, folder in enumerate(folders):
        dirname = folder.name
        
        # get every file from  
        files = [f.name for f in os.scandir(folder) if os.path.isfile(f.path)]

        # rename name file with .wav extension
        renamed = map(rename, files)
        
        # get original path of every file
        r_paths = [f.path for f in os.scandir(folder)]

        # get path to write to for every file.
        w_paths = [os.path.join(new_path, dirname, f) for f in renamed]

        
        with Pool(os.cpu_count()) as p:
            # resample audio
            data = p.starmap(read_audio, zip(r_paths, [sr] * len(r_paths)))
            # save audio
            aud, srs = zip(*data)
            p.starmap(write_audio, zip(w_paths, aud, srs))

Три вспомогательные функции, которые передаются multiprocessing.Pool находятся:

def read_audio(file_path, sr=22050):
    with warnings.catch_warnings():
        warnings.simplefilter("ignore", UserWarning)
        return librosa.load(file_path, sr=sr)

def write_audio(path, audio, sr, format='WAV'):
    os.makedirs(os.path.dirname(path), exist_ok=True)
    with sf.SoundFile(path, 'w', sr, channels=1, format=format) as f:
        f.write(audio)

def rename(file_path, ext='.wav'):
    return os.path.splitext(file_path)[0] + ext