Печать полных данных в консоли при использовании Apache Bahir

Я использую Apache bahir для получения данных с сервера mqtt.

Ниже мой пример кода

val sensorRawData = spark.readStream
                        .format("org.apache.bahir.sql.streaming.mqtt.MQTTStreamSourceProvider")
                        .option("topic", topic)
                        .load(brokerURL)
                        .selectExpr("CAST(payload AS STRING)")
                        .as[String]

    val query = sensorRawData.writeStream
                .outputMode("append")
                .format("console")
                .start()

    query.awaitTermination()

Вывод в консоли следующий

-------------------------------------------
Batch: 1
-------------------------------------------
+--------------------+
|             payload|
+--------------------+
|[{"timestamp":"20...|
|[{"timestamp":"20...|
|[{"timestamp":"20...|
+--------------------+

У меня есть два вопроса

  1. Можем ли мы видеть в консоли полные данные вместо усеченных
  2. Можно ли записать эти данные в базу данных улья, я вижу коннекторы Flink, но не коннекторы улья для bahir

0 ответов

Другие вопросы по тегам