Получить метрики из упругого поиска искры

В конце работы по каскадированию ETL я извлекаю метрики о приеме Elasticsearch с использованием метрик Hadoop, которые предоставляет эластичный поиск-hadoop с использованием счетчиков Hadoop.

Я хочу сделать то же самое, используя Spark, но я не нахожу документацию, связанную с метриками, используя соединитель Spark.

Не всегда, но обычно мы собираемся выполнить задание в EMR (Hadoop), поэтому, возможно, соединитель Spark использует Hadoop так же, как и с каскадным соединителем. Во всяком случае, я думаю, что это не так, потому что я думаю, что это только для "типов разъемов MapReduce", таких как Cascading.

Итак, мои вопросы:

  1. Как извлечь метрику из соединителя Elasticsearch Spark?
  2. Если в соединителе используются счетчики Hadoop, как получить доступ к счетчикам Hadoop из Spark, когда я выполняю его в Hadoop Yarn?

Версии:

  • Scala 2.11.8
  • Spark 2.1
  • Hadoop 2.7.2
  • asticsearch-spark-20_2.11 5.2.2
Источник

1 ответ

Решение

В основном это не реализовано. На Spark есть билет, открытый 01/16/16 и все еще открытый без какой-либо активности, поэтому никто не позаботится об этом.

Также обсуждение на форуме ES, но без обходного пути.

Источник
Другие вопросы по тегам