SpannerIO Dataflow 2.3.0 застрял в CreateDataflowView

В процессе я читаю из Pub/Sub и пытаюсь написать в гаечный ключ. Запись в BigTable работает, но гаечный ключ - лучший вариант для моих нужд.

На изображении ниже я расширил соответствующие шаги. В правом верхнем углу находится шаг "Отладка гаечного ключа", который показывает правильные сообщения через LOG. Я уверен, что SpannerIO.Write также видит эти сообщения.

Даже без этого шага отладки сообщения по-прежнему не записываются в гаечный ключ.

Нет никаких исключений, но, как вы можете видеть ниже, CreateDataflowView "не запущен", и это происходит дважды в конвейере.

Работает чтение из pubsub и запись в гаечный ключ с меньшим количеством шагов - я использовал аналогичный код из конвейера, показанного ниже, для тестирования.

Что может вызвать это?

(изображение сшито вместе, но оно содержит все поддерево до PDone шаг) трубопровод

Шаги гаечного ключа создаются с помощью этого кода:

    SpannerConfig spannerConfig = SpannerConfig.create()
            .withProjectId("X")
            .withInstanceId("X")
            .withDatabaseId("X")
            ;
    //spannerConfig.validate();//does not throw exception
    //SpannerAccessor accessor = spannerConfig.connectToSpanner();//does not throw exception
    PDone writtenToSpanner = encodedForSpanner.apply("write to spanner",
            SpannerIO.write()
                    .withSpannerConfig(spannerConfig)
                    .withBatchSizeBytes(0)
    );

0 ответов

Другие вопросы по тегам