AWS Timestream: невозможно получить записи в AWS Timestream
Как вы все знаете, на прошлой неделе AWS Timestream стал общедоступным.
С тех пор я пытался поэкспериментировать с ним и понять, как он моделирует и хранит данные.
Я столкнулся с проблемой при загрузке записей в Timestream. У меня есть определенные записи от 23 апреля 2020 года. При попытке вставить эти записи в таблицу Timestream я получаю ошибку RecordRejected. По этой ссылке, запись будет отклонена, если она имеет такой же размер, метки времени, или если временная отметка за период хранения в хранилище памяти таблицы.
Я установил срок хранения в памяти моей таблицы на 12 месяцев. Согласно документации: любые записи с отметкой времени более 12 месяцев будут отклонены. Однако вышеупомянутая запись отклоняется, несмотря на наличие отметки времени в течение 12 месяцев.
При дальнейшем исследовании я заметил, что записи с сегодняшней датой (5 октября 2020 г.) успешно загружаются, однако записи с датой за 30 дней до этого не принимаются, то есть 5 сентября 2020 г. Чтобы убедиться в этом, я также попытался вставить запись с датой 6 сентября и еще несколько дней между сегодняшней датой и 5 сентября. Все это успешно вставляется.
Может ли кто-нибудь объяснить, почему я не могу вставлять записи с меткой времени в течение периода хранения в хранилище памяти? Он позволяет мне вставлять только записи, возраст которых не превышает 30 дней. Я также хотел бы знать, есть ли способ вставить исторические данные непосредственно в магнитное хранилище. Срока хранения в памяти может быть недостаточным для моего варианта использования, и мне может потребоваться вставить данные, возраст которых составляет 2 года или более. Я понимаю, что это не классический вариант использования timestream, но мне все еще любопытно узнать.
Я застрял в этом вопросе и был бы очень признателен за помощь.
Заранее спасибо.
2 ответа
У меня была очень похожая проблема, и для меня оказалось, что мне пришлось установить TTL на 8766 часов, что немного больше, чем один год. Я понятия не имею, почему это так и почему это работает, но у меня это сработало, импортировав старые данные.
PS: Я почти уверен, что это ошибка во временном потоке. PPS: я нашел значение, используя "default", установленный в консоли aws. Никакие другие ценности у меня не работали.
Timestream загружает данные в хранилище памяти только в том случае, если временная метка находится в пределах периода ее хранения. Таким образом, если срок хранения составляет 1 день, отметка времени не может быть более 1 дня назад.