Запись большого объема в графитовую базу данных с задержкой мс секунд
У меня есть 5000К устройств, которые считывают данные с датчика 20 раз в секунду. Я отправляю все данные в kinesis, но хочу сделать их запрашиваемыми. Поэтому я собираюсь объединить данные из kinesis и сохранить их в Graphite. Я буду много писать и не много читать. (5000*20*60 ~ 6000000 записи в 1 мин.) Я хочу понять, подойдет ли Graphite/carbon-cache/whisper к этому требованию и какой тип аппаратного обеспечения мне нужно для этого (массовая запись каждые 1 мин мне подходит также)?
1 ответ
Вы можете использовать базу данных Graphite / Whisper для хранения метрик большого объема (6 миллионов в минуту). Вы должны указать правильную политику архивации и хранения в Whisper. Кроме того, база данных Graphite обладает высокой масштабируемостью, поэтому вы можете добавить больше ресурсов процессора или ввода-вывода.