Печать полных данных в консоли при использовании Apache Bahir
Я использую Apache bahir для получения данных с сервера mqtt.
Ниже мой пример кода
val sensorRawData = spark.readStream
.format("org.apache.bahir.sql.streaming.mqtt.MQTTStreamSourceProvider")
.option("topic", topic)
.load(brokerURL)
.selectExpr("CAST(payload AS STRING)")
.as[String]
val query = sensorRawData.writeStream
.outputMode("append")
.format("console")
.start()
query.awaitTermination()
Вывод в консоли следующий
-------------------------------------------
Batch: 1
-------------------------------------------
+--------------------+
| payload|
+--------------------+
|[{"timestamp":"20...|
|[{"timestamp":"20...|
|[{"timestamp":"20...|
+--------------------+
У меня есть два вопроса
- Можем ли мы видеть в консоли полные данные вместо усеченных
- Можно ли записать эти данные в базу данных улья, я вижу коннекторы Flink, но не коннекторы улья для bahir