Можно ли записать в кластер AWS MSK Kafka функцию Lambda?

Question

Мне нужно забрать сообщения из AWS SES и опубликовать их в теме AWS MSK (Kafka). Это возможно? Насколько я понимаю, все клиенты MSK должны жить в одном VPC. Как бы настроить лямбда-функцию, которая соответствующим образом?

Answer 1

AWS PrivateLink обеспечивает перекрестное подключение VPC, гарантируя, что соединения могут быть инициированы только в одном направлении, от конечной точки VPC в VPC потребителя до службы конечной точки VPC в VPC поставщика, и без необходимости гарантировать, что CIDR VPC не перекрываются.

Приватный прокси-сервер MSK Akliversity на AWS Marketplace позволяет AWS PrivateLink работать с Amazon MSK (или любым безопасным развертыванием Kafka в AWS VPC), чтобы к нему можно было получить доступ через TLS через одну или несколько конечных точек VPC в разных VPC.

Отказ от ответственности: я в команде Aklivity.

Answer 2

Чтобы подключиться к кластеру MSK через лямбда-функцию, лямбда-функция должна быть в том же VPC MSK.

Но вы можете настроить Rest proxy в кластере MSK, а затем выполнить вызов rest из лямбда-функции (вне VPC MSK), чтобы опубликовать сообщение в кластере MSK.

Больше информации-

Amazon Managed Streaming для Kafka- функции и производительность MSK

Answer 3

Краткий ответ: да, это возможно.

Если ваш источник (Kafka Producer) и Target (Kafka Consumer) находятся в двух разных VPC, вы можете настроить пиринг VPC для доступа как к исходной, так и к целевой системам.