Передача обработанных потоковых данных в базу данных с помощью Apache-flink

Question

Можно ли передать обработанные потоковые данные в базу данных с помощью pyflink? Все методы записи обработанных данных ограничены сохранением их в форматах txt, csv или Json, и нет возможности передать данные в базу данных.

Answer 1

Вы можете использовать SQL DDL в pyflink для определения приемника таблицы JDBC, в который затем можно вставить. Это будет выглядеть примерно так

my_sink_ddl = """
CREATE TABLE MyUserTable (
  id BIGINT,
  name STRING,
  age INT,
  status BOOLEAN,
  PRIMARY KEY (id) NOT ENFORCED
) WITH (
   'connector' = 'jdbc',
   'url' = 'jdbc:mysql://localhost:3306/mydatabase',
   'table-name' = 'users'
);
"""

t_env.sql_update(my_sink_ddl)