Высокие ресурсоемкие задачи на сайтах

Question

Я новичок в веб-разработке и задаюсь вопросом, как обрабатывать ресурсоемкие задачи на сайтах. Например, предположим, что у вас есть какое-то задание, которое должно выполняться раз в день, оно требует слишком много ресурсов и занимает много времени на вашем хостинге. Примером такой задачи может быть получение данных из других источников, выполнение некоторых вычислений по этим данным, построение некоторых графиков на основе результатов вычислений и, наконец, вставка результатов в базу данных. Каков наиболее оптимальный способ решения таких задач? Предоставляет ли AWS решения для этого (например, арендовать компьютер только для обработки вашей задачи в указанное время дня) и, если да, как называется эта служба? Я буду очень признателен за ваши общие советы и варианты предложений для меня.

Answer 1

Для AWS я бы порекомендовал AWS Batch для чего-то подобного.

Из документации:

Как полностью управляемый сервис, AWS Batch позволяет разработчикам, ученым и инженерам запускать пакетные вычислительные рабочие нагрузки любого масштаба. AWS Batch автоматически выделяет вычислительные ресурсы и оптимизирует распределение рабочей нагрузки в зависимости от количества и масштаба рабочих нагрузок. Благодаря AWS Batch нет необходимости устанавливать программное обеспечение для пакетных вычислений или управлять им, что позволяет сосредоточиться на анализе результатов и решении проблем. AWS Batch уменьшает эксплуатационные сложности, экономит время и снижает затраты, что облегчает разработчикам, ученым и инженерам запуск их пакетных заданий в облаке AWS.