В чем различия между `WriteToBigQuery` и`BigQuerySink`
После этого ответа мне интересно, каковы принципиальные различия (если таковые имеются) между WriteToBigQuery а также BigQuerySink Apache Beam Python SDK.
Каковы соображения или ограничения использования одного над другим?
1 ответ
Решение
Глядя на источники:
BigQuerySink запускает собственный приемник потока данных для BigQuery, который поддерживает только пакетные конвейеры. Вместо того чтобы использовать этот приемник напрямую, используйте преобразование WriteToBigQuery, которое работает как для пакетного, так и для потокового конвейеров.