Elasticsearch Куратор
Я использую ElasticSearch версии 1.7.2. Я хочу сделать снимок с помощью куратора. Я перешел по ссылке, чтобы узнать, что она дает мне дополнительный снимок, но я не получил никакого дополнительного снимка моего индекса.
У меня 1 индекс test имея 50000 документов. Я сделал снимок этого индекса. Вставив 100 000 документов в один и тот же индекс, я снова сделал снимок этого индекса. Но когда я проверяю это, он показывает мне те же данные в обоих моих снимках.
Какая разница между ними? Я не думаю, что это в любом случае. Пожалуйста, помогите мне.
PS: я только хочу сделать резервную копию оставшихся 100 000, а не целых данных.
Выход из GET /_snapshot/my_backup/_all:
{
"snapshots": [
{
"snapshot": "curator-20160509052605",
"version_id": 1070199,
"version": "1.7.1",
"indices": [
"jal"
],
"state": "SUCCESS",
"start_time": "2016-05-09T05:26:05.735Z",
"start_time_in_millis": 1462771565735,
"end_time": "2016-05-09T05:26:06.282Z",
"end_time_in_millis": 1462771566282,
"duration_in_millis": 547,
"failures": [],
"shards": {
"total": 5,
"failed": 0,
"successful": 5
}
},
{
"snapshot": "curator-20160509055355",
"version_id": 1070199,
"version": "1.7.1",
"indices": [
"jal"
],
"state": "SUCCESS",
"start_time": "2016-05-09T05:53:55.824Z",
"start_time_in_millis": 1462773235824,
"end_time": "2016-05-09T05:53:56.737Z",
"end_time_in_millis": 1462773236737,
"duration_in_millis": 913,
"failures": [],
"shards": {
"total": 5,
"failed": 0,
"successful": 5
}
},
{
"snapshot": "curator-20160509060002",
"version_id": 1070199,
"version": "1.7.1",
"indices": [
"jal"
],
"state": "SUCCESS",
"start_time": "2016-05-09T06:00:02.282Z",
"start_time_in_millis": 1462773602282,
"end_time": "2016-05-09T06:00:03.602Z",
"end_time_in_millis": 1462773603602,
"duration_in_millis": 1320,
"failures": [],
"shards": {
"total": 5,
"failed": 0,
"successful": 5
}
}
]
}
2 ответа
Дело не в кураторе, который делает дополнительные снимки, а в Elasticsearch. И что означает "инкрементный", это не разница в документах (самих данных). Инкрементальный относится к сегментам (файлам) на диске.
Также Elasticsearch периодически объединяет сегменты. Это означает, что он берет серию меньших (или больших) сегментов почти одинакового размера и объединяет их в больший сегмент. После создания большего сегмента ES удаляет меньшие сегменты.
Итак, после того, как вы добавили 100000 документов, вполне вероятно, что ES уже объединила ваши старые сегменты (те, которые содержат первые 50 тыс. Документов), и теперь набор сегментов может быть совершенно новым. В этом случае, конечно, новый снимок практически не содержит старых сегментов.
Чтобы действительно проверить это, после того, как вы закончите индексирование, сделайте снимок. Затем добавьте 10 или около того документов или измените 10 из них, а затем сделайте еще один снимок. Новый снимок должен иметь очень маленький размер.
{
"snapshots": [
{
"snapshot": "curator-20160509052605",
"version_id": 1070199,
"version": "1.7.1",
"indices": [
"jal"
],
"state": "SUCCESS",
"start_time": "2016-05-09T05:26:05.735Z",
"start_time_in_millis": 1462771565735,
"end_time": "2016-05-09T05:26:06.282Z",
"end_time_in_millis": 1462771566282,
"duration_in_millis": 547,
"failures": [],
"shards": {
"total": 5,
"failed": 0,
"successful": 5
}
},
{
"snapshot": "curator-20160509055355",
"version_id": 1070199,
"version": "1.7.1",
"indices": [
"jal"
],
"state": "SUCCESS",
"start_time": "2016-05-09T05:53:55.824Z",
"start_time_in_millis": 1462773235824,
"end_time": "2016-05-09T05:53:56.737Z",
"end_time_in_millis": 1462773236737,
"duration_in_millis": 913,
"failures": [],
"shards": {
"total": 5,
"failed": 0,
"successful": 5
}
},
{
"snapshot": "curator-20160509060002",
"version_id": 1070199,
"version": "1.7.1",
"indices": [
"jal"
],
"state": "SUCCESS",
"start_time": "2016-05-09T06:00:02.282Z",
"start_time_in_millis": 1462773602282,
"end_time": "2016-05-09T06:00:03.602Z",
"end_time_in_millis": 1462773603602,
"duration_in_millis": 1320,
"failures": [],
"shards": {
"total": 5,
"failed": 0,
"successful": 5
}
}
]
}