Elastisearch-Hadoop, как выполнить массовый поиск в программе Spark
Я пишу искровую программу, которая в основном представляет собой RDD of Strings. Что мне нужно сделать, это в основном создать запрос на строку и сделать запрос на основе эластичного поискового индекса. Так что, по сути, запрос будет отличаться по строке. Я хотел использовать asticsearch-hadoop для поиска, чтобы иметь возможность оптимизировать. СДР может быть большим, и я ищу любую возможную оптимизацию
Например, RDD - это List[Индия, компания IBM, Netflix, Lebron James]. Мы создадим Больше похожий на этот поиск по всем этим терминам и сделаем поиск по Index Wikipedia и вернем результаты. Например, мы создадим еще четыре подобных запроса для Индии, IBM, Netflix и Lebron James и вернем им хиты.
У меня действительно есть работа, где я могу использовать HTTP Rest Api call с Bulk search, чтобы вернуть хиты, но там я буду делать оптимизацию самостоятельно. Я хотел посмотреть, сможем ли мы использовать упругий коннектор для создания запросов и оптимизировать поиск.
1 ответ
Этот вариант использования невозможен. Эластичный поиск в основном предполагает один или несколько запросов, но не работает с режимом пакетного запроса n=