Почему мой конвейер потока данных не показывает шаги?

Question

Когда я запускаю примеры, я получаю симпатичную картину, показывающую поток, и я могу следить за его выполнением. В моем приложении он не показывает диаграмму, и если я нажимаю "Шаг", он ничего не отображает.

Добавление скриншота журнала работ. Нет предупреждений или ошибок. Кстати, я предположил, что значок в записи журнала со значком "i" обозначает уровень информации, но когда я изменяю уровень с ОСНОВНОГО на ВСЕ, добавляется гораздо больше записей, и все они имеют одинаковый значок. Это сбивает с толку. Иконки должны быть более четкими и иметь подсказки, ИМО.

Answer 1

Я в команде Dataflow. Мне жаль, что вы столкнулись с этой проблемой.

Я считаю, что это происходит из-за имен пользовательских шагов, которые вы используете в коде. Из скриншота журналов заданий видно, что некоторым из этих шагов были присвоены имена, представляющие местоположение пути хранения GCS. Я заметил это из этого сообщения в журналах:

Выполнение операции "gs://datalake/landing/...."

Это не удается отобразить в пользовательском интерфейсе мониторинга и, вероятно, попадает в утверждение, поскольку косые черты являются запрещенными символами.

Чтобы обойти эту проблему, попробуйте удалить названия пользовательских шагов, используемых в вашем коде. Которая, кажется, установлена ​​в gs: // paths style. Вы также можете попробовать указать имена для каждого шага без использования специальных символов. Пожалуйста, попробуйте запустить задание еще раз после этого изменения и посмотрите, правильно ли отображается график в пользовательском интерфейсе потока данных.

Я создал проблему github для отслеживания этой ошибки и предотвращения отправки этих символов слеша в будущем в код SDK потока данных.

Пожалуйста, дайте мне знать, если у вас возникнут какие-либо проблемы.