Описание тега amazon-redshift-spectrum
Using Amazon Redshift Spectrum, you can query and retrieve structured and semistructured data from files in Amazon S3 without having to load the data into Amazon Redshift tables. Redshift Spectrum queries employ massive parallelism to execute very fast against large datasets.Multiple clusters can concurrently query the same dataset in Amazon S3 without the need to make copies of the data for each cluster.
1
ответ
ОШИБКА при запросе данных о красном смещении - Ошибка при получении данных полосы
Я пытаюсь выполнить следующий запрос к внешней таблице в красное смещение: select * from schema.table limit 10; и я получаю ошибку: [2018-06-20 12:03:14] [XX000] [500310] Amazon Недопустимая операция: исключение запроса S3 (выборка) Подробности: оши…
20 июн '18 в 09:24
0
ответов
Amazon Redshift Spectrum: ошибка нехватки памяти
Я пытаюсь использовать Amazon Redshift Spectrum для запроса некоторых данных, которые находятся на S3. Я создал внешнюю таблицу для данных, хранящихся в Parquet (около 5 ГБ данных). Каждый раз, когда я пытаюсь выполнить простой запрос, подобный прив…
14 сен '17 в 08:13
1
ответ
Размер данных, отсканированных Redshift Spectrum для запроса
Я запрашиваю S3 через Redshift Spectrum. Я хотел бы знать размер данных, отсканированных по заданному запросу. Афина предоставляет его в своем интерфейсе, в то время как я не нахожу прямой способ найти то же самое в спектруме Есть ли способ найти то…
11 май '18 в 11:17
0
ответов
Как создать внешнюю таблицу для вложенного типа Паркет в спектре красных смещений
Я знаю, что спектр красного смещения и красного смещения не поддерживает вложенный тип, но я хочу знать, есть ли уловка, с помощью которой мы можем обойти это ограничение и запросить наши вложенные данные в S3 с помощью Redshift Spectrum? В этом пос…
06 фев '18 в 15:02
1
ответ
Проверьте "ПРЕДЕЛ СОЕДИНЕНИЯ" пользователя в Redshift
У меня есть пользователь в Redshift с именем пользователя "redshift_x" и я хочу знать ПРЕДЕЛ СОЕДИНЕНИЯ, который в данный момент установлен для этого пользователя. Я попытался сделать запрос, используя следующий запрос: выберите * из pg_user, где us…
02 июл '18 в 10:51
1
ответ
Выполните команду COPY для базы данных Redshift с сервера Linux вне кластера AWS
Я хочу загрузить данные в базу данных Redshift из amazon S3 с помощью команды "COPY". Но я хочу выполнить ее из сценария shell/perl, присутствующего на машине Linux, находящейся вне кластера AWS. Я хотел узнать, есть ли какой-нибудь клиент Redshift,…
14 сен '17 в 17:20
1
ответ
Как создать 12-значный уникальный номер в красное смещение?
У меня есть 3 столбца в таблице, т.е. email_id, rid, final_id, Правила для rid а также final_id: Если email_id имеет соответствующий ridиспользовать rid как final_id, Если email_id не имеет соответствующего rid(т.е.rid равно нулю), сгенерировать уни…
05 окт '17 в 06:06
0
ответов
Как я могу сохранить метаданные преобразования таблицы в XML при копировании CSV из корзины S3 в таблицу красного смещения?
У меня есть функция AWS Lambda, которая копирует CSV-файл S3 в таблицу, уже созданную в Redshift. Вставленные файлы CSV имеют имена столбцов, отличающиеся от имен столбцов таблицы Redshift. Мне нужно хранить файл XML в S3, который содержит имена сто…
14 янв '19 в 19:59
1
ответ
AWS Redshift Spectrum - как получить имена файлов s3 во внешней таблице
У меня есть внешние таблицы, созданные в спектре AWS для запроса данных s3, однако я не могу определить имена файлов, к которым принадлежит запись (у меня под файлом тысячи файлов) В AWS Athena у нас есть псевдостолбец "$PATH", в котором будут отобр…
20 июн '17 в 21:34
0
ответов
Ошибка спектра: не удалось включить внешнюю таблицу
Redshift Spectrum выдает приведенную ниже ошибку, которая выполняет операторы SELECT для созданной внешней таблицы. ERROR: Failed to incorporate external table "schmaname"."tablename" into local catalog. Внешняя таблица имеет ограниченное количество…
07 июн '18 в 10:40
1
ответ
"Ошибка разбора типа столбца" Redshift Spectrum
У меня есть сценарий использования спектра, использующий файлы большого количества json-файлов из s3. Я начал с сканирования данных с помощью сканера Glue для создания каталога данных. Затем с этим каталогом я создал внешнюю схему для ссылки на базу…
26 сен '18 в 19:35
4
ответа
AWS Glue: как работать с вложенным JSON с различными схемами
Цель: мы надеемся использовать каталог данных AWS Glue для создания единой таблицы для данных JSON, находящихся в корзине S3, которую мы затем запросим и проанализируем с помощью Redshift Spectrum. Предыстория: данные JSON взяты из DynamoDB Streams …
23 мар '18 в 21:09
2
ответа
Перемещайте данные из PostgreSQL в AWS S3 и анализируйте с помощью RedShift Spectrum
У меня есть большое количество таблиц PostgreSQL с различными схемами и огромное количество данных внутри них. Я не могу провести анализ данных прямо сейчас, потому что объем данных довольно большой - несколько ТБ данных и PostgreSQL не в состоянии …
05 ноя '18 в 15:44
1
ответ
Как загрузить CDC в базу данных Redshift?
Может кто-нибудь сказать мне CDC / методы инкрементальной загрузки в Redshift с использованием SQL? Я знаю один метод upsert, но кроме этого есть другие методы, такие как вставка с последующим удалением и т.д..
19 янв '18 в 10:08
0
ответов
Как просмотреть таблицу каталога данных в S3, используя спектр красного смещения
Я создал внешнюю схему для своей базы данных в AWS Glue. Я вижу список таблиц, но не могу посмотреть данные json. красное смещение бросает мне эту ошибку. [Amazon](500310) Invalid operation: S3 Query Exception (Fetch) Details: ----------------------…
05 июн '18 в 05:10
0
ответов
Распределение данных в красном смещении для модели схемы звезды?
У меня есть большая таблица фактов: 2 миллиарда строк и 19 измерений (измерение продукта - 450 миллионов, еще два измерения - 100 миллионов, каждая таблица малых измерений) Может ли кто-нибудь помочь мне в распределении данных для этих сценариев?
18 дек '17 в 09:55
0
ответов
Имена столбцов, содержащие точки в спектре
Я создал таблицу клиентов со столбцами: account_id.cust_id, account_id.ord_id и так далее. Мой запрос на создание внешней таблицы был следующим: CREATE EXTERNAL TABLE spectrum.customers ( "account_id.cust_id" numeric, "account_id.ord_id" numeric ) r…
23 фев '18 в 15:31
1
ответ
AWS Spectrum дает пустой результат для паркетных файлов, созданных AWS Glue
Мы строим ETL с помощью клея AWS. А для оптимизации производительности запросов мы храним данные в Apache Parquet. После того, как данные сохранены на S3 в формате паркета. Мы используем AWS Spectrum для запроса этих данных. Мы успешно протестировал…
13 ноя '17 в 09:17
1
ответ
Могу ли я конвертировать CSV-файлы из Amazon S3 в формат Parquet, используя Athena и не используя Amazon EMR
Я хотел бы преобразовать файлы данных csv, которые сейчас находятся на Amazon S3, в формат Parquet с помощью Amazon Athena и перенести их обратно в Amazon S3 без помощи Amazon EMR. Возможно ли это сделать? Кто-нибудь испытывал нечто подобное?
08 фев '18 в 21:16
1
ответ
Одна и та же внешняя таблица спектра показана в нескольких схемах (svv_external_tables)
На самом деле это действительно простой тест. Я создаю пару внешних схем и создаю внешнюю таблицу в одной из схем, а затем запрашиваю svv_external_tables, чтобы показать, что таблица существует во ВСЕХ схемах!! Что мне не хватает? create external sc…
14 июн '18 в 16:05