Описание тега aws-data-pipeline
Вместо этого используйте тег amazon-data-pipeline
0
ответов
Импорт данных файла из S3 в RDS с этапами преобразования
Я начинающий пользователь AWS, и я пытаюсь решить вариант использования, в котором мне нужно импортировать данные из CSV, которые сбрасываются в корзину S3 в RDS. У меня есть CSV-файл, который будет загружен в корзину S3, оттуда я хочу запустить соб…
17 ноя '18 в 21:20
0
ответов
Как выполнить несколько шагов в конвейере данных aws с помощью консоли aws
У меня есть сценарий планирования работ по зажиганию на EMR. Каждый раз мы будем крутить новый кластер и запускать искровые работы. Я просмотрел документацию, предоставленную AWS, но она недостаточно обширна, чтобы дать четкое представление о том, к…
31 окт '18 в 06:38
1
ответ
Связать Elastic IP с запланированным конвейером данных AWS
Кто-нибудь знает, можно ли связать Elastic IP с запланированным конвейером данных? Я настроил конвейер данных для запуска каждый день. Во время выполнения конвейера данных мне нужен доступ к БД Google. Для доступа к БД Google мне нужно добавить IP (…
21 авг '18 в 10:38
1
ответ
Параметры обработки, переданные в активность SQL в конвейере данных AWS
Я работаю с конвейером данных AWS. В этом контексте я передаю несколько параметров из определения конвейера в файл sql следующим образом: s3://reporting/preprocess.sql,-d,RUN_DATE=#{@scheduledStartTime.format('YYYYMMdd')}" Мой файл sql выглядит след…
22 янв '19 в 10:40
2
ответа
Лучшие практики планирования Spark Streaming
У нас есть потоковая работа, которая выполняется каждые 30 минут и занимает 15 секунд, чтобы завершить работу. Каковы рекомендуемые лучшие практики в этих сценариях. Я думаю, что могу запланировать запуск конвейера данных AWS каждые 30 минут, чтобы …
03 фев '19 в 02:58
1
ответ
Конвейер данных AWS: вывод данных на 3 узла s3
У меня есть сценарий использования, в котором я хочу взять данные из DynamoDB и выполнить некоторые преобразования данных. После этого я хочу создать 3 CSV-файла (будет 3 преобразования для одних и тех же данных) и выгрузить их в 3 разных местополож…
22 фев '19 в 05:47
0
ответов
Загрузка данных CSV в DynamoDB с использованием конвейера данных
Привет я пытаюсь импортировать CSV-файл из S3 собирается DynamoDB. Сценарий выглядит следующим образом: { "objects": [ { "writeThroughputPercent": "#{myDDBWriteThroughputRatio}", "name": "DDBDestinationTable", "id": "DDBDestinationTable", "type": "D…
11 июн '18 в 03:08
1
ответ
Загрузите CSV-файл из S3 в RDS Mysql, используя конвейер данных AWS
Я новичок в AWS, пытаюсь загрузить данные из CSV-файла в RDS MySQL, используя конвейер данных "загрузить данные S3 в таблицу RDS mysql". Но получаю ошибку "DriverClass не найден для базы данных: Аврора". Попытка установки свойства JDBC uri указывает…
18 май '18 в 21:32
0
ответов
AWS Data pipe для запуска заданий emr, хранящихся в Git
Я хочу использовать aws datapipeline для планирования заданий emr. Я застрял на шаге, когда каждый раз, когда активируется новая линия данных, мне нужно скопировать код с git на сервер, установить некоторые модули pip и запустить несколько заданий о…
28 сен '18 в 09:30
1
ответ
Неразрешенные зависимости ресурса [DefaultSchedule] в блоке ресурсов шаблона
Я работаю со сценарием облачной информации для создания AWS Data Pipeline. Я создал скрипт в соответствии с документацией, но я столкнулся с 1 ошибкой, т.е. Ошибка проверки шаблона: ошибка формата шаблона: неразрешенные зависимости ресурса [DefaultS…
08 авг '18 в 17:34
0
ответов
Как выполнить несколько атомарных операций на одном узле данных в конвейере данных AWS?
Я хочу запустить два "задания cron", которые: 1. Проверяют обновление в корзине S3 каждый час и обновляют в DynmoDB, 2. Проверяют новые записи в корзине S3 каждую неделю и создают запись в DynmoDB. Расскажите, пожалуйста, как выполнить несколько ато…
15 июл '18 в 19:31
0
ответов
AWS DataPipeline RedshiftCopyActivity: ошибка "Невозможно установить соединение с jdbc"
У меня проблема с запущенным RedshiftCopyActivity для загрузки данных из S3 в мой кластер Redshift (все Redshift/S3/DP находятся в одной учетной записи aws). Я получил его для работы в нашем бета-аккаунте, но не смог сделать это в Prod. При создании…
19 дек '18 в 18:37
0
ответов
Как запустить красное смещение с помощью командной оболочки
Мне любопытно узнать, каковы все команды, которые используются в redshiftcopyacctivity, для динамо-машины, чтобы переместить копию, и как это может быть достигнуто с помощью shellcommandacctivity.
29 дек '18 в 04:15
1
ответ
Дата и время по умолчанию с помощью AWS Data Pipeline
Мы используем конвейер данных для передачи данных из s3 в таблицу красного смещения amazon. Мы продвигаем данные, используя JSON { "jsonpaths": [ "$['data1']", "$['data1']", "$['data1']['data1']", "$['data1']['data1']", "$['data1']['data1']", "$['da…
21 июн '18 в 07:07
0
ответов
AWS Datapipeline - есть ли способ повторно использовать S3DataNode, RedshiftDataNode и RedshiftCopyActivity?
У меня есть несколько таблиц в хранилище данных Redshift. Я использую команду COPY для загрузки данных в Redshift из S3. Для каждой таблицы у меня есть соответствующее местоположение S3. Попытка использовать AWS Data Pipeline для автоматизации этого…
30 авг '18 в 04:55
0
ответов
Перезапустите задание конвейера данных aws в отмененном состоянии.
Я настроил задание конвейера данных, которое запускается каждую ночь в 2 часа ночи. Задание читает все файлы из S3, которые были созданы в предыдущий день, и выполняет некоторую обработку. Я использую scheduleStartTime задания конвейера данных, чтоб…
12 ноя '18 в 18:37
0
ответов
Kinesis FireHose против потока данных Kinesis теряет данные
Я усердно тренируюсь, чтобы сдать один из специализированных экзаменов в AWS, а затем, следуя нескольким блогам, я увидел несколько концепций, которые сводят меня с ума в отношении случаев использования потоков Kinesis FH против Kinesis Data. Я приш…
16 ноя '18 в 19:56
0
ответов
Как я могу полностью визуализировать AWS Data Pipelines?
У меня есть конвейер данных AWS, разделенный на разные компоненты. Каждый из этих компонентов представляет собой файл json, соответствующий API-интерфейсу AWS DP. Есть ли способ полностью отобразить на одном изображении все эти компоненты, анализиру…
16 июн '18 в 13:09
1
ответ
AWS Копировать данные из одной базы данных в другую
Так вот, у нас (в компании, в которой я работаю) есть рабочая база данных (MySQL), и мы хотим создать новую базу данных (PostgreSQL) для BI/Analytics. Вся инфраструктура на платформе AWS, и мы должны копировать данные из рабочей базы данных в аналит…
03 окт '18 в 14:45
0
ответов
Конвейер данных AWS выполняет запрос красного смещения для каждой строки в файле s3
Я разделил файл (несколько файлов с тем же именем шаблона) в s3. В каждом файле есть несколько строк данных. Я хотел бы выполнить красное смещение для каждой строки из файла при замене параметров из строки файла. Мне нужно сделать это в AWS data pip…
22 ноя '18 в 10:33