Описание тега elasticsearch-spark
0
ответов
Ошибка при записи в Elastic search от spark с пользовательским идентификатором сопоставления
Я пытаюсь написать фрейм данных от spark до Elastic с пользовательским идентификатором сопоставления. и когда я делаю это, я получаю ошибку ниже. org.apache.spark.SparkException: Job aborted due to stage failure: Task 0 in stage 14.0 failed 16 times…
08 май '18 в 19:54
1
ответ
Spark + Elastic - проблема с производительностью поиска и записи
Видя низкое количество записей в asticsearch с использованием искры Java. Вот конфигурации использование 13. больших машин для кластера ES 4 instances each have 4 processors. Set refresh interval to -1 and replications to '0' and other basic configu…
18 окт '17 в 15:00
1
ответ
Получить метрики из упругого поиска искры
В конце работы по каскадированию ETL я извлекаю метрики о приеме Elasticsearch с использованием метрик Hadoop, которые предоставляет эластичный поиск-hadoop с использованием счетчиков Hadoop. Я хочу сделать то же самое, используя Spark, но я не нахо…
03 апр '17 в 14:00
0
ответов
Как прокрутить индекс Elasticsearch с помощью упругого поиска искры?
С Java Client.prepareSearch() а также Client.prepareSearchScroll()API, мы можем запросить индекс Elasticsearch, используя прокрутки, как указано в документации. С помощью этих API мы можем выбрать только определенное количество обращений на запрос, …
16 авг '18 в 04:51
0
ответов
У Elasticsearch-Spark есть конфликт зависимостей с Play JSON. Сообщение об ошибке внутри
Я работаю над Zeppelin 0.7.1, и мне нужно использовать в кабине зависимость эластичного поиска-искры и зависимость play-json. Однако эти двое по какой-то причине несовместимы друг с другом. Если я уберу зависимость json, es-spark будет работать норм…
11 июн '17 в 13:42
1
ответ
Читайте с Elasticsearch с Spark, получая точные поля
Я очень новичок в ElasticSearch: я пытаюсь читать данные из индекса, используя Spark в Java. У меня есть рабочий фрагмент кода, но он возвращает документ в наборе данных, где столбцы - это только два "корневых" элемента документа, а все остальные да…
17 ноя '16 в 12:57
1
ответ
Как создать индекс в Elasticsearch с использованием эластичного поиска-искры?
Я хочу создать индекс в Elasticsearch из моего искрового преобразования. Интересно, каков наилучший способ сделать это с помощью библиотеки asticsearch-spark? С уважением
25 янв '19 в 16:24
2
ответа
Эластичный поиск не может написать все записи: может быть, ES был перегружен
У меня есть приложение, в котором я читаю CSV-файлы и делаю некоторые преобразования, а затем помещаю их в упругий поиск из самой искры. Как это input.write.format("org.elasticsearch.spark.sql") .mode(SaveMode.Append) .option("es.resource", "{date}/…
20 мар '18 в 06:36
2
ответа
Объединяйте документы с помощью FlexibleSearch, создавайте пары многозначных значений, используя es-sparksql.
В настоящее время hadoopasticsearch hadform преобразует набор данных /rdd в документы с отображением 1 к 1, т.е. 1 строка в наборе данных преобразуется в один документ. В нашем сценарии мы делаем что-то вроде этого для универа PUT spark/docs/1 { "_k…
28 дек '16 в 09:08
1
ответ
Как конвертировать типы при чтении данных из Elasticsearch с использованиемластиком поиска в SPARK
Когда я пытаюсь прочитать данные из asticsearch, используя esRDD("index") функция в asticsearch-spark, я получаю результаты в виде org.apache.spark.rdd.RDD[(String, scala.collection.Map[String,AnyRef])], И когда я проверяю значения, они все типа Any…
06 июл '17 в 07:56
0
ответов
Отсутствие данных в Elastisearch при записи данных с разъемом эластичного поиска-искры
Описание проблемы У нас есть проблема с непротиворечивостью данных при хранении данных в Elasticsearch с использованием Spark и эластичного соединителя поиска искры. Задание успешно завершается, но когда мы сравниваем исходные данные (хранящиеся в S…
09 окт '17 в 13:27
1
ответ
Apache Spark Java API + Twitter4j + исключение при сохранении потока Twitter в Elasticsearch
Я пытаюсь настроить поток Twitter, используя Apache Spark Java API. Сохраняя поток Twitter в Elasticsearch, я получаю исключение. Я думаю, что я пытаюсь сохранить сырой твит, поэтому проблема в том. Пожалуйста, дайте мне знать, что я могу попытаться…
06 фев '17 в 17:09
0
ответов
Elasticsearch Geo Distance запрос в PySpark DataFrame
Я использую разъем эластичного поиска-искры для запроса данных из Elasticsearch и получения их в PySpark DataFrame. Просматривая материалы в Интернете и получая несколько ответов от Stackru, я понял, что фильтры будут загружаться во время выполнения…
11 фев '18 в 20:18
0
ответов
Невозможно AWS Elasticsearch Spark узел-узел
У меня есть служба Elasticsearch на AWS, к которой я хотел бы получить доступ из Spark с использованием эластичного поиска искры, используя конфигурацию между узлами, чтобы работники Spark могли подключаться к узлам эластичного поиска параллельно. О…
19 июн '17 в 11:10
1
ответ
Как преобразовать массив JSON в строки перед записью в Elasticsearch?
Продолжение этого вопроса У меня есть потоковая передача данных в формате JSON, как показано ниже | A | B | |-------|------------------------------------------| | ABC | [{C:1, D:1}, {C:2, D:4}] | | XYZ | [{C:3, D :6}, {C:9, D:11}, {C:5, D:12}] | Мне…
23 ноя '18 в 11:42
1
ответ
Elasticsearch Hadoop настроить размер партии
Я прочитал, возможно, Stackru, что проекты es-hadoop / es-spark используют массовую индексацию. Если это так, размер пакета по умолчанию соответствует BulkProcessor(5Mb). Есть ли конфигурация, чтобы изменить это. я использую JavaEsSparkSQL.saveToEs(…
09 ноя '16 в 03:18
1
ответ
org.elasticsearch.hadoop.rest.EsHadoopRemoteException: search_context_missing_exception: не найден контекст поиска для идентификатора
Задачи Spark не выполняются из-за "Не найден контекст поиска для идентификатора". Я попробовал пару вариантов, как spark.es.input.max.docs.per.partition 250 spark.es.scroll.size 100 spark.es.batch.size.bytes 32mb Но задачи все еще терпят неудачу. мы…
06 янв '19 в 15:25
2
ответа
Исключительная структурированная потоковая передача ForeachWriter не может получить sparkContext
Я читаю данные JSON из очереди Kafka с использованием структурированной потоковой передачи Spark, но мне нужно записать данные JSON в Elasticsearch. Тем не менее, я не могу получить sparkContext внутри ForeachWriter конвертировать JSON в RDD. Это бр…
22 фев '17 в 14:41
1
ответ
Исключение -"сеть / кластер Elasticsearch недоступен или при настройке на экземпляр WAN/Cloud"
Я попытался запустить приложение Spark для интеграции Hbase и ES. Я попытался создать индекс в ES и сохранить данные из HBase, но получил сообщение "пользователь не авторизован или в доступе отказано" при подключении к серверу ES. Я проверил с коман…
18 июн '18 в 16:19
1
ответ
Elasticsearch искры чтения медленно
Чтение от Elasticsearch v6.2 в искру, используя предписанный разъем свечи org.elasticsearch:elasticsearch-spark-20_2.11:6.3.2 ужасно медленный Это из 3-х узлового кластера ES с индексом: curl https://server/_cat/indices?v green open db MmVwAwYfTz4eE…
15 авг '18 в 09:29