Как ускорить работу по переводу AWS
Я работаю над проектом, в котором мне нужно быстро перевести много файлов (менее 10 минут, если это возможно). Для этого я использую Amazon Translate асинхронно.
Учитывая, что у меня много текстовых файлов с большим количеством предложений, я делаю следующие шаги:
- Сохранение каждого предложения каждого файла в .txt, загрузка его в AWS S3 (у меня есть «папка» S3 для каждого файла, который нужно перевести, внутри них я храню de .txts с его предложениями)
- Запуск задания Amazon Translate для каждого файла асинхронно
- Продолжайте ждать, пока все задания, которые я начал, будут завершены, а затем получите результат
Обычно я перевожу от 50 до 70 файлов за одно выполнение, в файлах более или менее 50 страниц. Проблема в том, что полный перевод занимает около часа, даже я запускаю весь перевод асинхронно.
Что еще я могу сделать, чтобы ускорить этот процесс?