Kinesis Firehose загружает данные CSV в Redshift

Question

Я использую пожарный шланг Kinesis для обработки данных в красное смещение и пытаюсь использовать форматы Json и Csv.

Формат Json прекрасно работает для меня, и данные загружаются в таблицу красного смещения.

КОМАНДА КОПИРОВАНИЯ, ИСПОЛЬЗУЕМАЯ ДЛЯ JSON:

COPY products_json ИЗ 's3:// имя_фолдера /' CREDENTIALS 'aws_iam_role = arn: aws: iam::: role /' MANIFEST json 'auto';

Команда CLI для установки записи:

aws firehose put-record --delivery-stream-name csvtoredshiftstreamingjson --record = 'Data = "{\" productid \ ": 1, \" productname \ ": \" phone \ ", \" productprice \ ": \" 2,30\"}""

Однако, когда я использую CSV, данные присутствуют в S3, но не загружаются в красное смещение.

КОПИРОВАЛЬНАЯ КОМАНДА, ИСПОЛЬЗУЕМАЯ ДЛЯ CSV:

COPY products_csv ИЗ 's3:// имя_фолдера /' CREDENTIALS 'aws_iam_role = arn: aws: iam::: role /' MANIFEST csv;

Команда CLI для записи CSV:

aws firehose put-record --delivery-stream-name csvtoredshiftstream --record = 'Data = "1, Phone, 2.30"'

Записи обрабатываются на S3, но не загружаются в красное смещение. В таблице STL_LOAD_ERRORS также нет записей.

Пожалуйста, дайте мне знать, если я что-то упустил.

Благодарю.

Answer 1

Я смог преодолеть эту проблему, предоставив пожарному шлангу доступ к красному смещению, разблокировав следующие Ips в Redshift

52.70.63.192/27 для Востока США (Северная Вирджиния) 52.89.255.224/27 для запада США (Орегон) 52.19.239.192/27 для ЕС (Ирландия)

Эти IP-адреса используются пожарным шлангом для связи с Redshift.

Спасибо и С уважением, Шривиньеш К.Н.