Загрузка из S3 в Redshift с помощью Kinesis

Question

Я получаю исходные файлы в S3, мне нужно загрузить эти данные в красное смещение.

Исходные файлы S3 заполняются через Kinesis Firehose.

Источник:

                 via Kinesis
     Webstreams -------------- > S3

Требование:

                 via Kinesis
     Webstreams -------------- > S3 ------> Redshift

Я хотел бы знать, могу ли я использовать Kinesis для загрузки в красное смещение от S3.

Спасибо и С уважением, Шривиньеш К.Н.

Answer 1

Amazon Kinesis Firehose может отправлять входящие потоковые данные на Amazon S3, Amazon Redshift и Amazon Elasticsearch Service.

Обратите внимание, что поток Firehose немного отличается от обычного потока Kinesis. Он имеет немного другой формат и полностью автоматизирован. Он не примет ваш файл из Amazon S3, но создаст свои собственные файлы.

Answer 2

Я решил этот вариант использования следующим образом.

1. Создана конечная точка шлюза API.

Приложения свернут конечную точку шлюза и опубликуют записи.

2. Firehose будет конечной точкой для шлюза API.

3. Итак, записи передаются в промежуточные сегменты S3 и загружаются в красное смещение.

Весь поток, как показано ниже:

WebStreams -> API Gateway -> Kinesis Firehose -> S3 (Intermediate Bucket) -> Redshift.

С уважением,

Сривиньеш К.Н.

Answer 3

Вы можете использоватьCOPY команда для копирования данных из S3 в Redshift

Подробнее здесь