Описание тега aws-batch

Вопросы с тегом
AWS Batch enables you to run batch computing workloads on the AWS Cloud. Batch computing is a common way for developers, scientists, and engineers to access large amounts of compute resources. AWS Batch removes the undifferentiated heavy lifting of configuring and managing the required infrastructure.
1 ответ

Как поддержать передачу уникального имени задания через переменную среды в Spring Batch Job?

Я только начинаю использовать Spring Batch. Я работаю над средством запуска командной строки, используя AWS Batch с образом Docker. Попытка просто отсортировать имена экземпляров задания. Было бы приемлемо использовать @Value для приведенной ниже бу…
11 авг '18 в 01:48
2 ответа

Невозможно назначить UUID переменной bash

Я хочу написать сценарий завершения заданий в AWS Batch, и у меня возникают проблемы при назначении UUID для переменных bash. У меня есть текстовый файл с именем "LastAndFinal_job_id_list.txt с двумя столбцами следующим образом: cbac858b-3884-41c7-8…
08 мар '17 в 19:30
1 ответ

Как передать аргументы скрипта в AWS Batch fetch-and-run

Я следую этому руководству, чтобы запустить простой пример извлечения и запуска в пакете AWS. Однако я не могу передать аргументы скрипту, полученному в этом примере. Основной пример будет производить это выполнение: export BATCH_FILE_TYPE="script" …
11 окт '18 в 19:23
1 ответ

Как выставить порт для контейнера AWS Batch?

Насколько я понимаю, "определение задачи" для ECS создается Пакетом, и некоторые поля, такие как переменные env или точки монтирования, могут быть описаны в "определении задания", что отражено в "определении задачи". Но как насчет других параметров …
03 авг '18 в 09:41
1 ответ

Как просмотреть ошибки среды пакетного вычисления AWS?

Мы настраиваем среду пакетных вычислений, очередь заданий и определение заданий. Минимальное количество процессоров для вычислительной среды установлено равным 16, поэтому на нем всегда должен быть запущен хотя бы один экземпляр EC2. Это MANAGED сре…
12 сен '18 в 18:48
1 ответ

Пакет AWS: роль для пакета AWS не указана

Я новичок в AWS Batch. Я создал следующую роль для пакета AWS: "AssumeRolePolicyDocument": { "Statement": [ { "Action": "sts:AssumeRole", "Effect": "Allow", "Principal": { "Service": [ "batch.amazonaws.com" ] }, "Sid": "" } ], "Version": "2012-10-17…
26 май '17 в 09:38
1 ответ

Почему python tesserocr не использует 4 ядра процессора в AWS Batch?

Я пытаюсь заставить библиотеку python tesserocr работать на 4 ядрах. Согласно документам Tesseract, я понимаю, что он поддерживает до 4 ядер. У меня есть задание tesserocr python3.x, запущенное в AWS Batch (докер-контейнер на основе amazonlinux: пос…
16 дек '18 в 21:17
0 ответов

EC2, предоставляемые пакетами, не могут получить доступ к красному смещению в том же виртуальном частном процессоре

Я создал пакетную работу. В вычислительной среде я выбрал свой единственный vpc и группу безопасности, которую я создал. К сожалению, моя работа на Python не может получить доступ к моему кластеру красных смещений в том же виртуальном частном процес…
05 фев '18 в 10:42
1 ответ

AWS Step не может правильно вызвать пакетное задание AWS со сложными параметрами

У меня есть существующая оркестровка AWS Steps, которая выполняет пакетное задание AWS через lambdas. Однако недавно AWS добавила возможность прямого вызова других сервисов, таких как AWS Batch, с шага. Я стремлюсь использовать эту новую функциональ…
08 янв '19 в 05:15
1 ответ

Получите последнюю редакцию задания при отправке пакетного задания AWS без указания точного номера редакции.

Я использую клиент AWSBatch Java com.amazonaws.services.batch (AWS SDK for Java - 1.11.483) представить работу программно. Тем не менее, наши ученые продолжают обновлять определение должности. Каждый раз, когда появляется новое определение задания, …
29 янв '19 в 22:12
1 ответ

Как передать ввод пошаговой функции в пакетное задание

Как правильно отправить часть входных данных пошаговой функции в пакетное задание? Я попытался установить и env var, используя Parameters.ContainerOverrides.Environment, как это: "Parameters": { "ContainerOverrides": { "Environment": [ { "Name": "PA…
28 фев '19 в 14:47
0 ответов

AWS Batch - пользовательские данные в управляемой вычислительной среде

Можно ли обновить пользовательские данные, созданные по умолчанию в управляемой вычислительной среде? Цените чью-то помощь.
05 фев '19 в 00:48
0 ответов

Как проверить использование памяти и процессора в пакетном задании AWS

При создании пакетного задания мы можем предоставить vCPU и память в свойствах контейнера. В cloudwatch мы можем проверить использование памяти и ЦП на кластер в разделе Elastic Container Service на кластер. Есть ли способ проверить использование па…
28 фев '19 в 10:21
0 ответов

Задания застряли в состоянии RUNNABLE после того, как тома EBS зашифрованы KMS

Задания застряли в состоянии RUNNABLE после того, как тома EBS зашифрованы KMS Мое требование заключается в создании среды пакетных вычислений AWS и выполнении заданий с образом докера. Конечно, я создал следующее - Определение задания - Очередь зад…
21 янв '19 в 15:17
1 ответ

Пакет AWS - как ограничить количество одновременных заданий

Я ищу способ ограничить количество выполняемых пакетных заданий, удерживая оставшиеся задания в очереди. Возможно ли это с помощью пакета aws?
11 июл '18 в 00:05
1 ответ

Как контролировать количество параллельных заданий в пакете AWS?

Пакет Aws поддерживает до 10000 заданий в одном массиве. Но что, если каждая работа записывает в DynamoDb? Нужно контролировать скорость в этой ситуации. Как это сделать? Есть ли настройка, позволяющая сохранять только N заданий в рабочем состоянии …
14 май '18 в 06:05
2 ответа

ComputeEnvironment стал недействительным с ошибкой: группа безопасности "XXXX" не существует

Ниже мой шаблон облачной информации: Я добавил весь код ресурса, пожалуйста, извините за проблему с отступами (скопируйте и вставьте), я заверил вас, что шаблон работает. --- AWSTemplateFormatVersion: '2010-09-09' Description: Sets up your AWS Batch…
25 июн '18 в 13:13
1 ответ

Получить время создания пакетного задания AWS

При выполнении пакетного задания AWS я хотел бы знать, когда оно было создано. API предоставляет способ получить подробную информацию о работе, в том числе createdAt, Но как мне узнать идентификатор работы, чтобы получить эти данные?
13 ноя '17 в 17:17
2 ответа

Стратегия планирования в AWS Batch

Мне интересно, как выглядит стратегия планирования в AWS Batch. Официальная документация по этой теме не дает подробностей: Планировщик пакетов AWS оценивает, когда, где и как запускать задания, отправленные в очередь заданий. Задания выполняются пр…
23 окт '18 в 08:06
1 ответ

AWS Lambda/ Aws Пакетный рабочий процесс

Я написал лямбду, которая запускается из корзины s3, чтобы распаковать zip-файл и обработать текстовый документ внутри. Из-за ограничения памяти лямбды мне нужно перенести процесс на что-то вроде пакета AWS. Поправьте меня, если я ошибаюсь, но мой р…
22 июн '17 в 15:06