Получение данных из журналов искр
Я изучаю возможность получения информации о происхождении данных из журналов Spark для программ Spark.
Я ищу информацию о том, какие темы kafka или программа Tables Spark читает или записывает, чтобы мы могли получить эту информацию во время выполнения и построить сквозной поток перемещения данных. Кто-нибудь исследовал такие рамки.
Когда у меня есть настройка уровня Info-журнала, я могу получить информацию о входном чтении kafka и таблице, в которую записываются данные, однако, я не получаю информацию, если данные отправляются в чтение темы Kafka или входной таблицы.
Любая помощь приветствуется.
С уважением.
1 ответ
Я сделал анализ, включив уровень ведения журнала в программе отладки Spark. Вы можете получить подробную трассировку стека событий.
Вы можете отслеживать
- Введите чтение имени темы Кафки
- Из каких таблиц БД он читает
- В какие таблицы БД он пишет
С уважением: