AWS: синхронизация вставок DynamoDB с ElasticSearch с помощью DynamoDBStreams
У меня есть требование, когда вставки должны быть заполнены
ElasticSearchслужбы в режиме, близком к реальному времени (допустима задержка в пару секунд), уже включены в моей таблице (чтобы сделать таблицу глобальной). Таблица имеет уникальный ключ раздела. И большинство запросов в этой таблице будут
INSERTс.
Я настроил
Lambda на
DynamoDBStreamsкоторый записывает события потока в ElasticSearch. Это нормально работает, когда количество
DynamoDBпрошивки ограничены. Но когда трафик высок (несколько сотен в секунду), наблюдалась большая накопленная задержка для событий, которые должны быть заполнены в ElasticSearch.
По моим наблюдениям, кажется - Lambda запускается синхронно (если время лямбда-процесса, оно накапливается для
3N sec.s для заклинаний).
Но я вижу другое объяснение в блоге AWS - «DynamoDB создает по крайней мере один сегмент для каждого раздела» и «для каждого сегмента вызывается один экземпляр функции Lambda». Поскольку мой ключ раздела является уникальным ключом в моем наборе данных,
N Экземпляры Lambda должны быть вызваны и завершены в
3sec. но этого не происходит.
Что мне здесь не хватает?