SpannerIO Dataflow 2.3.0 застрял в CreateDataflowView
В процессе я читаю из Pub/Sub и пытаюсь написать в гаечный ключ. Запись в BigTable работает, но гаечный ключ - лучший вариант для моих нужд.
На изображении ниже я расширил соответствующие шаги. В правом верхнем углу находится шаг "Отладка гаечного ключа", который показывает правильные сообщения через LOG. Я уверен, что SpannerIO.Write
также видит эти сообщения.
Даже без этого шага отладки сообщения по-прежнему не записываются в гаечный ключ.
Нет никаких исключений, но, как вы можете видеть ниже, CreateDataflowView
"не запущен", и это происходит дважды в конвейере.
Работает чтение из pubsub и запись в гаечный ключ с меньшим количеством шагов - я использовал аналогичный код из конвейера, показанного ниже, для тестирования.
Что может вызвать это?
(изображение сшито вместе, но оно содержит все поддерево до PDone
шаг)
Шаги гаечного ключа создаются с помощью этого кода:
SpannerConfig spannerConfig = SpannerConfig.create()
.withProjectId("X")
.withInstanceId("X")
.withDatabaseId("X")
;
//spannerConfig.validate();//does not throw exception
//SpannerAccessor accessor = spannerConfig.connectToSpanner();//does not throw exception
PDone writtenToSpanner = encodedForSpanner.apply("write to spanner",
SpannerIO.write()
.withSpannerConfig(spannerConfig)
.withBatchSizeBytes(0)
);