Переработка всех записей - DynamoDB Stream
Я использую поток DynamoDB с лямбда-функцией Aws + firehose для синхронизации моих данных с красным смещением. Я хотел бы знать, возможно ли добавить все записи DynamoDB в поток для целей обработки. Если нет, то каков правильный подход?
2 ответа
Для повторной обработки старых данных лучше всего использовать параллельное полное сканирование таблицы. Существует вопрос о том, как решить, как обрабатывать переход от "старых данных" к "новым данным", но этого можно достичь с помощью атрибута метки времени, если он доступен, или путем остановки записи в таблицу, если это возможно.
Для новых данных вы можете сделать это. Для исторических данных вам лучше этого не делать. Вы можете сначала сбросить таблицу, а затем импортировать.