Spark Создать фрейм данных из InputStream?

Question

Я хочу избежать записи всего потока в файл, а затем загрузить его в dataframe. какой правильный путь?

Answer 1

Вы можете проверить Spark Streaming и sqlnetworkWordCount, который объясняет, что ваша проблема может быть решена путем создания singleton instance из SparkSession используя SparkContext из SparkStreaming,

Вы должны иметь лучшие идеи, пройдя по ссылкам выше, где dataframes созданы из streaming rdd,