Способ визуализации конвейера Beam с помощью DirectRunner

Question

В GCP мы видим график выполнения конвейера. Возможно ли то же самое при локальном запуске через DirectRunner?

Answer 1

Вы также можете использовать RenderRunner Python, например

      python -m apache_beam.examples.wordcount --output out.txt \
    --runner=apache_beam.runners.render.RenderRunner \
    --render_output=pipeline.svg

Здесь также есть интерактивный режим, запускаемый при передаче--port=N(где 0 можно использовать для выбора неиспользуемого порта), который представляет граф как локальный веб-сервис. Это позволяет разворачивать/сворачивать композиты для облегчения исследования. Любой--render_outputПередаваемые аргументы будут перерисованы при редактировании графика. (Под капотом он использует графвиз, поэтому может отображать любой из поддерживаемых форматов.)

Для рендеринга конвейеров, отличных от Python, можно запустить его как локальный портативный «бегун».

      python -m apache_beam.runners.render

а затем «отправьте» это задание из другого SDK через предоставленную конечную точку API заданий через портативный исполнитель, чтобы просмотреть его.