Видеоролики, написанные с moviepy на amazon aws S3, пусты

Question

Я работаю над обработкой набора больших видео (~100 ГБ) для совместного проекта. Чтобы упростить обмен данными и результатами, я храню все видео удаленно в хранилище amazon S3 и обрабатываю его, монтируя хранилище на экземпляр EC2.

Один из шагов обработки, который я пытаюсь сделать, включает обрезку видео и переписывание их на более мелкие сегменты. Я делаю это с moviepy, разделяя видео с помощью метода subclip и вызывая:

subclip.write_videofile("PathtoS3Bucket"+VideoName.split('.')[0]+'part' +str(segment)+ '.mp4',codec = 'mpeg4',bitrate = "1500k",threads = 2)

Я обнаружил, что когда видео слишком велико (параметры, указанные выше), вызовы этой функции иногда генерируют пустые файлы в моем контейнере S3 (~10% времени). Кто-нибудь имеет представление о функциях moviepy/ffmpeg/S3, которые могут привести к этому?

Answer 1

Рекомендуется не использовать такие инструменты, как s3fs потому что они просто имитируют файловую систему, в то время как Amazon S3 является системой хранения объектов.

Как правило, лучше создавать файлы локально, а затем копировать их в S3 с помощью стандартных вызовов API.