AWS DataPipeline RedshiftCopyActivity: ошибка "Невозможно установить соединение с jdbc"
У меня проблема с запущенным RedshiftCopyActivity для загрузки данных из S3 в мой кластер Redshift (все Redshift/S3/DP находятся в одной учетной записи aws). Я получил его для работы в нашем бета-аккаунте, но не смог сделать это в Prod.
При создании Ec2Resource в DP я использовал роли DataPipelineDefaultResourceRole и DataPipelineDefaultRole. Это мои свойства кластера Redshift.
Я получаю ошибку:
19 дек. 2018 04:28:14,773 [ОШИБКА] (TaskRunnerService-resource:df-0791222351VTJTTKG0GPL3_@ResourceId_LVKHP_2018-12-19T00:48:11-0) amazonaws.datapipeline.database.ConnectionFactory: не удалось подключить / установить соединение /vse-rs-dw.1221345.us-east-1.redshift.amazonaws.com:8192/vse Соединение отклонено. Убедитесь, что имя хоста и порт указаны правильно и что администратор почты принимает соединения TCP/IP.
Я нашел несколько тем о переполнении стека, в которых обсуждалась та же проблема, и обнаружил, что мне нужно запустить мой экземпляр ec2 в том же VPC, который я использую для Redshift. Я следил за этой вики ( https://docs.aws.amazon.com/datapipeline/latest/DeveloperGuide/dp-resources-vpc.html)
Я создал новую группу безопасности VPC и добавил ее в кластер Redshift (aws-datapipeline-ec2-s3-redshift). Затем я создал еще одну группу безопасности VPC для экземпляра Ec2 в том же VPC, что и мой Redshift (он назывался aws-dp-ec2-group). Для этой группы я не указал никаких правил для входящих подключений, по умолчанию там были исходящие правила.
В группе безопасности Redshift (aws-datapipeline-ec2-s3-redshift) я добавил правило входящего трафика, чтобы принимать весь трафик для всех портов из группы безопасности ec2.
Затем при запуске конвейера данных я указал securityGroupIds: " aws-dp-ec2-group " (моя группа безопасности ec2) и subnetId: subnet -12345 (это один из 4 идентификаторов подсетей, которые я обнаружил в VPC и использовал для Redshift и группа безопасности EC2)
Пожалуйста, помогите мне понять, что я не так.