Описание тега elasticsearch-bulk
0
ответов
Исключения закрытых каналов при закрытии транспортного клиента и массового процессора в asticsearch
У меня есть приложение Java SE, которое использует транспортный клиент и высокоуровневый клиент отдыха для индексации данных в asticsearch, я использую массовый процессор для массовой обработки запросов (индексации, удаления, обновления), например p…
19 мар '18 в 05:45
1
ответ
Исключение эластичного поиска при массовом создании
Я хочу проверить массовую вставку это моя просьба curl -PUT "http://localhost:9200/blabla/blabla/_bulk?pretty" -d '{ {"create": {}}\n {"name" : "super"}\n }' -i Я получаю эту ошибку: HTTP/1.1 500 Internal Server Error Content-Type: application/json;…
18 окт '15 в 19:16
0
ответов
Передайте JSON Array в ELasticSearch Bulk API
Я пытаюсь использовать массовый API Elasticsearch для удаления, создания и обновления нескольких документов одновременно. Структура моего документа json в asticsearch выглядит следующим образом { "_index": "pavan-test", "_type": "doc", "_id": "4oEWA…
06 авг '18 в 22:46
0
ответов
Ошибка ElasticSearch "" Сообщение ":" Размер запроса превысил 10485760 байт "
При загрузке огромной строки JSON размером 50 МБ в ElasticSearch с использованием этого метода - public static void postData(String json, String index, String type) { RestClient client = RestClient.builder(new HttpHost(testHostPreProd, 443, "https")…
20 сен '18 в 16:57
1
ответ
Добавление партий в хранилище эластичного поиска с массовым API
У меня есть огромный набор документов с тем же индексом и тем же типом, но явно разными идентификаторами. Я хочу либо обновить существующие, либо вставить новые в пакетном режиме. Как я могу добиться этого с помощью API массовой индексации? Я хочу с…
26 июл '17 в 10:02
1
ответ
Вставьте заголовок для каждого документа перед загрузкой в эластичный поиск
У меня есть файл ndjson в следующем формате {"field1": "data1" , "field2": "data2"} {"field1": "data1" , "field2": "data2"} .... Я хочу добавить заголовок, как {"index": {}} перед каждым документом перед использованием массовой операции я обнаружил …
28 авг '17 в 20:22
1
ответ
Как вставить уже созданную строку в формате json в Elasticsearch Bulk
В скрипте Python, Я пытаюсь для asticsearch.helpers.bulk для хранения нескольких записей. Я получу строку в формате json из другого программного обеспечения и хочу прикрепить ее в исходной части Я получил формат helpers.bulk по этому ответу часть мо…
18 авг '17 в 02:27
0
ответов
Объемные данные об ошибке транспорта Elasticsearch
Ошибка asticsearch.exceptions.RequestError: TransportError(400, 'parse_exception', 'Не удалось проанализировать содержимое на карте') Вот мой код: with open("{}.txt".format(str(now.year) + str(now.month)), "r") as html: for item in html.readlines():…
16 май '18 в 08:59
3
ответа
Elasticsearch Bulk API - индекс против создания / обновления
Я использую Elasticsearch Bulk API для создания или обновления документов. Я действительно знаю, если они создаются или обновляются, но я могу упростить мой код, просто сделав их все indexили "upserts" в смысле SQL. Есть ли недостаток в использовани…
03 янв '16 в 02:55
1
ответ
ElasticSearch не может распознать заголовок Context-Type с определенной кодировкой
Я потратил некоторое время, пытаясь исправить предупреждение о массовой загрузке эластичного поиска: Определение типа контента для запросов на отдых не рекомендуется. Укажите тип содержимого с помощью заголовка [Content-Type] Мой запрос ниже: POST h…
14 авг '17 в 00:54
1
ответ
Массовый API Elasticsearch, возвращающий 400 ошибок в Java
Я перепробовал много вещей, чтобы проверить, почему он показывает неправильно сформированный запрос. Обратитесь к этому вопросу, чтобы правильно отформатировать мое тело запроса. Родительская спецификация в asticsearch для первого узла Вот мой код Я…
16 мар '16 в 08:56
1
ответ
Родительская спецификация в asticsearch для первого узла
Я использую _bulk API для индексации моих данных. У меня есть родительское поле для каждого документа, кроме первого. Обычно мои документы будут иметь следующие метаданные: {"index":{"_id":"11111", "parent": "00000"}} Что я должен указать в родитель…
16 мар '16 в 07:24
0
ответов
Ошибка массового импорта asticsearch json_parse_exception
Я использую asticsearch -php для импорта больших данных в индекс эластичного поиска. Я использую версию 6.4, если это имеет значение. Теперь мои данные не меняются, но каждый раз, когда я запускаю массовый импорт для одних и тех же данных, я случайн…
14 ноя '18 в 04:40
3
ответа
Массовая индексация эластичного поиска и избыточные данные в действии
При индексации данных с использованием массового API эластичного поиска приведен пример json из документации сайта. POST _bulk { "index" : { "_index" : "test", "_type" : "_doc", "_id" : "1" } } { "field1" : "value1" } { "index" : { "_index" : "test"…
14 ноя '18 в 03:05
0
ответов
Оптимизация массовой индексации в эластичном поиске
У нас есть упругий поисковый кластер из 3 узлов следующих конфигураций #Cpu Cores Memory(GB) Disk(GB) IO Performance 36 244.0 48000 very high Машины находятся в 3 разных зонах: ЕС-Запад-1С, ЕС-Запад-1А, ЕС-Запад-1B. Каждому экземпляру упругого поиск…
03 ноя '16 в 14:30
0
ответов
Как сделать Elasticsearch Bulk Insert в Python
У меня есть массив JSON, который содержит список данных, которые необходимо отправить в экземпляр ElasticSearch. Что-то вроде [ {"Message": "2aTeFCKTYWwfrF"}, {"Message": "2aTeFCKTYWwfrD"}, {"Message": "2aTeFCKTYWwfrW"}.......{"Message": "2aTeFCKTYW…
04 июн '17 в 10:46
1
ответ
Исключение массовой вставки эластичного поиска при загрузке
Я получаю исключение при попытке выполнить массовую вставку в asticsearch v6.6.0, Это было хорошо раньше. Вот сообщение об исключении: Elasticsearch bulk insert exception, TransportError(503, 'circuit_breaking_exception', '[parent] Data too large, d…
02 июл '19 в 07:29
0
ответов
Elasticsearch: ответ API UpdateByQuery возвращает неправильный статус
У меня проблема с API UpdateByQuery при попытке обновить документ, которого нет в эластичном поиске. Описание проблемы Мы создаем по одному индексу на каждый день, например test_index-2020.03.11, test_index-2020.03.12… и поддерживаем восемь дней (се…
15 мар '20 в 07:54
1
ответ
Эффективные параметры массовой загрузки для Elasticsearch в Python
Я пытаюсь загрузить большой объем данных в Elasticsearch с помощью Python. Для этой цели я использую помощник по массовому API и разработал функцию, которая выглядит примерно так: def __load(self, docs, index): try: # begin load logging.info("Begin …
12 дек '21 в 06:09
2
ответа
Частично обновление значения поля списка elasticsearch с использованием python
Цель этого вопроса — спросить сообщество, как частично обновить поле, не удаляя какое-либо другое содержимое этого поля. В StackOverflow есть много примеров частичного обновления полей _source ElasticSearch с использованием python, curl и т. д. Библ…
10 янв '22 в 07:09