Как эффективно извлекать огромные данные из DynamoDB?
Мы разрабатываем приложение IOT, в котором мы получаем нестандартные маршрутные геологические данные с устройства IOT каждую минуту и сохраняем их в DynamoDB имеющий размер 500-600 байт.
Теперь мы хотим показать отчет для каждого устройства, включая данные за каждую минуту или каждые 15 минут за последние 7 дней.
Чего мы хотим достичь:
Так как мы хотим показать все geological Точки на карте, мы хотим разработать единый API, который возвращает данные за 7 дней для данного устройства.
Проблема:
У нас есть данные приблизительно 6 МБ (600 байт *10080 минут за 7 дней) для одного устройства и DynamoDB запрос возвращает только 1 МБ данных в одном запросе, мы попытались разбить на страницы в DynamoDB запрос, который требует 6 запросов для сбора всех данных, который занимает много времени, и API получает тайм-аут.
1 ответ
Поскольку у вас есть только одна выделенная единица чтения, вы можете читать только 8 Кбит / с из таблицы. Попробуйте переключиться на выставление счетов по требованию или увеличить RCU.