Запуск сервера Моисея на Амазоне

Question

Я пытаюсь запустить сервер moses на экземпляре Amazon ec2, поддерживаемом ebs. Языковые модели и модели перевода в общей сложности около 200 ГБ. Я думаю, что у меня установлен инстанс moses, который загружает языковые модели и модели перевода, хранящиеся на s3. Но я не знаю, как настроить файл moses.ini, чтобы moses знал путь к ttable-file и lmodel-file. Если кто-то сделал это раньше, любая помощь будет принята с благодарностью!

Спасибо.

Answer 1

Я бы не рекомендовал Amazon S3 для этого. Amazon S3 используется для эффективного распространения файлов по сети. Но если ваша цель - просто прочитать эти файлы внутри виртуальной машины - тогда сохранение их в S3 не является правильным выбором. Обратитесь к этому ответу для более подробной информации.

Чтобы ответить на ваш вопрос, да, можно смонтировать корзину S3 как папку внутри вашего сервера, используя S3FS. Вот инструкции для Ubuntu и Red Hat.

Но другие идеальные подходы:

• Если на жестком диске недостаточно места, установите сервер Moses в другой раздел, отформатируйте его с помощью BTRFS и включите прозрачное сжатие. Это будет автоматически сжимать / распаковывать файлы, когда вы сохраняете / извлекаете данные с жесткого диска, поэтому вы в конечном итоге будете использовать намного меньше места. Кроме того, во многих тестах прозрачное сжатие показывается быстрее, поскольку меньший объем данных передается между жестким диском и оперативной памятью. Особенно при использовании больших файлов.

• Вы всегда можете подключить дополнительный диск EBS к вашей работающей виртуальной машине (например, дополнительный жесткий диск). Используйте это для хранения переводов / моделей (и вы также можете комбинировать включение прозрачного сжатия, как указано выше)

• Запустите отдельную виртуальную машину без EBS, просто используя обычное хранилище экземпляров, и используйте его для хранения только переводов. Теперь на вашем сервере Moses вы можете монтировать только переводы с этой отдельной не-EBS VM, используя SSHFS

В целом, не используйте S3, есть и другие, гораздо лучшие способы.

Изменить: Добавлена ​​ссылка