Описание тега apache-bahir

Описание тега Вопросы с тегом
Apache Bahir предоставляет расширения для нескольких распределенных аналитических платформ, расширяя их охват за счет разнообразия коннекторов потоковой передачи и источников данных SQL.
1 ответ

Apache Bahir, отправь материал в ActorReceiver

Я пытаюсь настроить простой процесс с помощью Spark Streaming, используя Apache Bahir для подключения к Akka. Я пытался последовать их примеру вместе с этим старшим. У меня есть простой актер экспедитора class ForwarderActor extends ActorReceiver { …
28 янв '17 в 19:18
1 ответ

DataFrame, возвращаемый getBatch из MQTTTextStreamSource, не имеет isStreaming=true

Я пытаюсь использовать MQTT вместе с PySpark Structured Streaming. from pyspark.sql import SparkSession from pyspark.sql.functions import explode from pyspark.sql.functions import split spark = SparkSession \ .builder \ .appName("Test") \ .master("l…
26 июл '18 в 10:55
1 ответ

Ошибка схемы со встроенным потоковым соединителем ApacheBahir при потоковой передаче ApacheSpark

Я пытаюсь подключить структурированный поток Apache Spark к теме MQTT (в данном случае IBM Watson IoT Platform на IBM Bluemix). Я создаю структурированный поток следующим образом: val df = spark.readStream .format("org.apache.bahir.sql.streaming.mqt…
03 фев '17 в 06:37
1 ответ

Причины "java.lang.NoSuchMethodError: org.eclipse.paho.client.mqttv3.MqttConnectOptions.setAutomaticReconnect(Z)V"

Я пытаюсь запустить потоковую MQTT со структурой искры, используя Apache Bahir, изменив приведенный пример примера wordcount. Версия SPARK: spark-2.2.0-bin-hadoop2.7. Я использую эту команду для запуска программы: bin\spark-submit --packages org.apa…
10 ноя '17 в 05:24
0 ответов

Сообщение avro для mqtt с использованием соединителя bahir streaming-mqtt для искры возвращает отрицательное значение

Я пытаюсь отправить сообщение avro (id, name) на mqtt, используя соединитель bahir streaming-mqtt для spark. Сообщение анализируется без каких-либо проблем, но значение идентификатора будет случайным отрицательным числом. Результат отрицателен тольк…
09 май '18 в 10:23
0 ответов

Apache Spark 2.3.1 - твиттер не является членом пакета org.apache.spark.streaming

Прежде всего, я некоторое время искал эту проблему, и я вижу, что существуют другие решения по этому вопросу, но ничего для Apache Spark версии 2.3.1. Короче говоря, я пытаюсь создать приложение, которое использует bahir для выполнения аналитических…
23 сен '18 в 16:12
2 ответа

Потеря схемы с помощью соединителя потоковой передачи ApacheBahir на потоке ApacheSpark

Я пытаюсь подключить структурированный поток ApacheSpark к теме MQTT (в данном случае платформа IBM Watson IoT на IBM Bluemix). Я создаю структурированный поток следующим образом: val df = spark.readStream .format("org.apache.bahir.sql.streaming.mqt…
06 фев '17 в 15:48
2 ответа

При добавлении jar с помощью mvn install: install-file: В автономном проекте pom: информация об артефакте является неполной или недействительной

Я хочу поместить банку баира в мой местный репозиторий m2. Я использую maven-3.5.0, загруженные tar.gz и jdk8, оба установлены как переменные окружения и работают нормально. Я собрал apache bahir для spark из доступной загрузки с git, используя mave…
16 окт '17 в 10:58
1 ответ

Почему запрос выбросить ClassCastException "SerializedOffset не может быть приведен к org.apache.spark.sql.execution.streaming.LongOffset" с источником MQTT?

Я получаю следующее исключение, когда код Spark структурированного потокового 18/12/05 15:00:38 ОШИБКА StreamExecution: запрос [id = 48ec92a0-811a-4d57-a65d-c0b9c754e093, runId = 5e2adff4-855e-46c6-8592-05e3557544c6] завершен с ошибкой java.lang.Cla…
05 дек '18 в 14:41
0 ответов

Flink задание с AMQSource не генерирует вывод

Я использовал соединитель AMQSource Apache Bahir, который слушает ActiveMQ, но когда я запускаю задание Flink для получения данных из ActiveMQ, выходные данные не генерируются. Например, соединитель прослушивает ActiveMQ, который содержит 4 сообщени…
28 фев '19 в 15:37
0 ответов

Блоки данных MQTT Streaming AbstractMethodError

Я пытаюсь сделать структурированный поток SQL от брокера MQTT: test = spark.readStream.format("org.apache.bahir.sql.streaming.mqtt.MQTTStreamSourceProvider")\ .option("clientId", "experiment")\ .option("brokerUrl","tcp://<broker>:1883")\ .opti…
31 май '19 в 15:36
1 ответ

Как использовать createpairedStream в MQTTUtils?

Я не могу использовать MQTTUtils.createPairedStream() в Скале? Как указать список тем в качестве параметров? Я перепробовал все способы, такие как словарь, список, кортежи, но это не сработало. А потом я попытался в Python, в то время он показывает …
05 мар '19 в 10:14
1 ответ

MQTTUtils.createPairedStream() не является членом org.apache.bahir

Когда я запустил spark-shell по следующей команде bin / spark-shell --packages org.apache.bahir: spark-streaming-mqtt_2.11: 2.3.0 --repositories http://central.maven.org/maven2/org/apache/bahir/spark-streaming-mqtt_2.11/2.3.0/ Произошли две ошибки. …
13 мар '19 в 04:59
0 ответов

pyspark MQTT структурированный стриминг с Apache Bahir

Я использую spark 2.4 и запускаю pyspark следующим образом: ./bin/pyspark --packages org.apache.bahir:spark-sql-streaming-mqtt_2.11:2.3.2 Pyspark работает успешно. (Но когда я запускаю spark-sql-streaming-mqtt_2.11:2.4.0-SNAPSHOT, появляется ошибка)…
21 мар '19 в 17:15
0 ответов

Не удалось найти источник данных: org.apache.bahir.sql.streaming.mqtt.MQTTStreamSourceProvider

Версия spark - 2.3.3. Я хочу подключиться к mqtt, используя аргумент --packages в spark-shell. bin/spark-shell --packages org.apache.bahir:spark-sql-streaming-mqtt_2.11:2.3.2 scala> import java.sql.Timestamp scala> import org.apache.spark.sql.…
22 мар '19 в 13:11
0 ответов

Не удается создать поток MQTT с именем пользователя и паролем

Я хочу создать поток MQTT, который использует имя пользователя и пароль для подписки. Я использую apache-bahir для создания потока mqtt. Когда я использовал метод MQTTUtils.createStream(), он принимает только ssc,brokerurl,topic и StorageLevel в кач…
28 июл '19 в 09:16
0 ответов

Spark Sql в Windows 10

Я пытаюсь использовать структурированную потоковую передачу с Apache Bahir и Spark. Из исходной ссылки MQTTStreamWordCount val warehouseLocation = "file://C:/dev_env/scala/" val sess = SparkSession .builder .appName("MQTTStreamWordCount") .master("l…
03 окт '19 в 21:49
0 ответов

Печать полных данных в консоли при использовании Apache Bahir

Я использую Apache bahir для получения данных с сервера mqtt. Ниже мой пример кода val sensorRawData = spark.readStream .format("org.apache.bahir.sql.streaming.mqtt.MQTTStreamSourceProvider") .option("topic", topic) .load(brokerURL) .selectExpr("CAS…
16 апр '20 в 18:50
0 ответов

Apache Bahir для потоковой передачи MQTT java.lang.NoClassDefFoundError: org/apache/spark/sql/connector/catalog/TableProvider

Я пытаюсь использовать Apache Bahir для создания простой программы Spark, которая читает поток mqtt в DStream. Однако я не могу этого сделать. Мой файл sbt выглядит так: name := "spark-practice" version := "0.1" scalaVersion := &…
10 ноя '20 в 21:54
1 ответ

Компиляция Scala 2.11 для библиотеки Apache Bahir

Не уверен, что это подходящее место для размещения этого вопроса. (Приносим извинения, если это не так. И если да, укажите мне правильное направление.) Я пытаюсь скомпилировать Apache Bahir для создания артефактов scala 2.11 (как mvn clean install -…
08 окт '20 в 05:16