Описание тега aws-redshift

0 ответов

Split CSV в Linux для загрузки в Redshift

У меня есть огромный (5 ТБ) CSV-файл, который мне нужно загрузить в таблицу в AWS Redshift. Я попытался разделить файл на основе количества строк и размера следующим образом: split -l 50000000 myCSV.csv myCSV.csv_part_ а также split -b 1024m myCSV.c…
05 дек '17 в 20:21
1 ответ

Как назначить владение таблицей нескольким пользователям или группам в Redshift

Мне было интересно, если есть способ, как назначить владельца таблицы для группы или нескольких пользователей в Redshift? Если нет, есть ли обходной путь, который вы используете для решения этой проблемы? Спасибо за любые советы.
30 ноя '17 в 12:20
1 ответ

AWS DMS: данные не реплицируются в AWS Redshift

Моя исходная БД - AWS RDS, а моя целевая таблица - AWS Redshift. Данные загружаются успешно, но после этого изменения не передаются в целевую БД, и исключений нет. Конфигурация: Тип миграции: Полная загрузка, Текущая репликация. Исходная база данных…
1 ответ

Копирование данных из s3 в Redshift: манифест находится в другом ведре, чем файлы, которые мне нужно скачать

Я пытаюсь скопировать данные из большого количества файлов в s3 в Redshift. У меня есть доступ только для чтения к корзине s3, которая содержит эти файлы. Для их эффективного копирования я создал файл манифеста, содержащий ссылки на каждый из файлов…
16 ноя '17 в 14:56
2 ответа

Преобразование строки в десятичный SQL Redshift

У меня есть этот SQL-запрос красного смещения. Я извлек число из десятичного числа из комментария, используя функцию "REGEXP_SUBSTR". Мне также нужно преобразовать его из строки в число / десятичное число. Затем мне нужно вычесть это число из общего…
28 ноя '17 в 08:04
2 ответа

Как выполнять запросы Redshift параллельно

Мне нужно смоделировать базовое нагрузочное тестирование на моем кластере Redshift, и мне нужно выполнить около 20 запросов SELECT параллельно. Поскольку хранимые процедуры не поддерживаются Redshift, я хотел бы получить некоторые идеи о том, как я …
20 ноя '17 в 13:19
1 ответ

Копировать данные из DynamoDB в Redshift через две разные учетные записи AWS?

По независящим от меня причинам у меня есть следующее: Стол CustomerPhoneNumber в DynamoDB под одной учетной записью AWS. Кластер Redshift под другой учетной записью AWS (тот же географический регион; ЕС) Есть ли способ запустить COPY Команда для пе…
3 ответа

Есть ли способ автоматизировать процесс вакцинации красных смещений через UDF?

У меня более 300+ столов в красном смещении. Данные обновляются ежедневно, просто хочу знать, могу ли я создать uds в красном смещении, чтобы автоматизировать процесс вакцинации. Я нашел ссылку автоматизировать с помощью Python, но не тот отличный к…
30 ноя '17 в 10:08