Описание тега amazon-dynamodb-streams

Описание тега Вопросы с тегом
Используйте этот тег для вопросов, связанных с DynamoDB Streams, который обеспечивает упорядоченную по времени последовательность изменений уровня элементов в любой таблице DynamoDB. Изменения дублируются и хранятся в течение 24 часов. Эта возможность позволяет расширить возможности DynamoDB с помощью межрегиональной репликации, непрерывной аналитики с интеграцией Redshift, уведомлений об изменениях и многих других сценариев.
0 ответов

Может ли поток AWS DynamoDB порождать несколько экземпляров одной и той же лямбды?

Мы используем потоки DynamoDB в AWS с размером пакета по умолчанию 100 с 2 типами лямбд. Я считаю, что это означает, что каждая лямбда связана с потоком. Однако мы сталкиваемся с проблемами производительности и пытаемся выяснить узкие места. Одним и…
21 фев '18 в 23:18
1 ответ

Использовать потоки DynamoDB в Apache Flink

Кто-нибудь пробовал использовать потоки DynamoDB в Apache Flink? У Flink есть потребитель Kinesis. Но я ищу, как я могу использовать поток Динамо напрямую. DataStream<String> kinesis = env.addSource(new FlinkKinesisConsumer<>( "kinesis_s…
01 авг '17 в 11:21
2 ответа

Spark Streaming Kinesis Integration: Ошибка при инициализации LeaseCoordinator в Worker

У меня были некоторые проблемы при запуске простой ванильной потоковой передачи с приложением Kinesis в Scala. Я придерживался основных указаний в некоторых руководствах, таких как Snowplow и WordCountASL. Но я все еще не могу заставить его работать…
15 ноя '16 в 12:28
1 ответ

Какой самый простой способ скопировать элемент из потока DynamoDB в другую таблицу?

У меня есть две таблицы DynamoDB, table1 и table2, с включенным потоком на table1. Оба имеют строковый ключ с именем "id". У меня также есть лямбда-функция, которая считывает вставки из таблицы table1 из потока и отражает их в table2, если они соотв…
04 май '17 в 19:51
1 ответ

Получение последней из нескольких значений из DynamoDB

Если у меня есть таблица, как показано ниже: ID A B C D(ate) ASDF 1 2 1 12/12/2016 ASEF 1 2 3 12/13/2016 AFDS 2 3 1 12/13/2016 ASFA 2 3 4 12/14/2016 И я хочу получить последние данные, основанные на паре (A, B) и самой последней дате (D), как мне на…
24 апр '18 в 02:37
0 ответов

Как запросить DynamoDb в реальном времени из инструмента отчетности?

Как запросить DynamoDb в режиме реального времени из инструмента отчетности, такого как Tableau? Я знаю, что есть сторонние драйверы jdbc, которые не являются бесплатными. Есть ли другой способ сделать это? Спасибо и всего наилучшего, Кунал Гош
10 апр '18 в 06:02
0 ответов

DynamoDB Local: Streams.getRecords возвращает исключение TrimmedDataAccessException

Я использую DynamoDB local для запуска интеграционных тестов из nodejs (Javascript SDK). Когда я вызываю getRecords, я получаю "TrimmedDataAccessException". Если я запускаю тот же код с DynamoDB в AWS (не локально), он работает нормально. Вот шаги: …
14 июл '16 в 15:53
1 ответ

Поведение потоков DynanoDB после перераспределения

Я предполагаю, что чтение из потоков DynamoDB с использованием библиотеки Kinesis даст мне всегда упорядоченную последовательность событий для записей с одним и тем же ключом раздела. Это верно? Если произойдет перераспределение, будет ли библиотека…
12 июн '16 в 20:19
1 ответ

Что делается с выводом лямбда-функции AWS, запускаемой потоком DynamoDB?

Я нахожусь в процессе написания лямбда-функции, которая обрабатывает события из потока DynamoDB. На этой странице о потоках DynamoDB и лямбда-триггерах AWS говорится: AWS Lambda опрашивает поток и синхронно вызывает вашу функцию Lambda, когда обнару…
24 апр '18 в 17:55
1 ответ

Не могу скопировать JSON - Динамо БД Потоки в красное смещение

Ниже приведен пример использования, над которым я работаю: я настроил enable Streams при создании DynamoDB с new and old Image.Я создал Kinesis Firehose delivery stream с назначением как Redshift(Intermediate s3). Из Dynamodb мой поток достигает Fir…
29 авг '18 в 07:30
0 ответов

Поддержание порядка в обработке потоковых событий наряду с другими условиями

У меня есть служба событий, которая соответствует всем действиям (просмотренным / отправленным) пользователем. Каждое событие будет иметь session_id вместе с другими атрибутами, такими как page_id, url, page_type (просмотр / отправка) и т. Д. У меня…
26 дек '18 в 15:04
2 ответа

Динамо потоки в другую таблицу

Я пытаюсь настроить поток из одного динамо-потока, чтобы он мог поместить данные в другую динамо-таблицу, но данные, похоже, не помещаются в целевую таблицу динамо Код выполняется нормально, и cloudwatch не показывает никаких ошибок. У него достаточ…
15 янв '19 в 20:46
1 ответ

Пакетный триггер Lambda на DynamoDB

У меня есть стол, как показано ниже Key | Value --------------------------------------------------- Client_123_UNIQUE_ID | s3://abc.txt Client_123_UNIQUE_ID | s3://xyz.txt Client_456_UNIQUE_ID | s3://qaz.txt Client_456_UNIQUE_ID | s3://qwe.txt Clien…
02 мар '19 в 13:18
1 ответ

Pynamodb Амазонка учетных исключений

Я слежу за документацией по pynamodb class Thread(Model): class Meta: read_capacity_units = 1 write_capacity_units = 1 table_name = "Thread" region = 'us-west-1' host = "http://localhost:8888" forum_name = UnicodeAttribute(hash_key=True) subject = U…
15 май '16 в 13:18
1 ответ

Как использовать DynamoDB Stream и лямбда-функции для синхронизации нескольких таблиц

У меня есть очень распространенный сценарий использования, который требует синхронизации 2 таблиц DynamoDB. Логический поток будет следующим. Задание создано в Таблице заданий Несколько запросов создаются в таблице запросов. Все запросы создаются из…
27 июл '17 в 00:29
1 ответ

Иметь записи всех данных без повторной записи сегментов в коде при добавлении в базу данных.

В таблице у меня 292 записи, для этих 292 записей я написал 63 параллельных асинхронных сегмента в DynamoDB. Если записи снова увеличиваются, я пишу сегменты в коде. Без написания такого кода, чтобы добавить записи для отображения, каково решение. П…
29 мар '17 в 09:02
0 ответов

Журналы транзакций Redis через потоки Redis

Предоставляет ли redis журналы транзакций через потоки redis, эквивалентные потокам Dynamo Db, по изменениям в данных Dynamo Db?
14 апр '18 в 18:50
1 ответ

Используют ли потоки AWS DynamoDb емкость таблицы для чтения

Я читаю в потоки DynamoDb и DynamoDb и не могу найти место, где говорится, потребляет ли поток DynamoDb емкость чтения из таблицы потока. Я знаю, что потоки имеют свои собственные единицы емкости, которые стоят так (см. Первую ссылку, которую я разм…
21 ноя '18 в 14:51
3 ответа

Разница между потоками Kinesis Stream и DynamoDB

Кажется, они делают то же самое со мной. Кто-нибудь может объяснить мне разницу?
25 июл '16 в 15:33
2 ответа

Переработка всех записей - DynamoDB Stream

Я использую поток DynamoDB с лямбда-функцией Aws + firehose для синхронизации моих данных с красным смещением. Я хотел бы знать, возможно ли добавить все записи DynamoDB в поток для целей обработки. Если нет, то каков правильный подход?
17 сен '16 в 05:02