Описание тега pyflink
Apache Flink — это платформа и механизм распределенной обработки для вычислений с отслеживанием состояния над неограниченными и ограниченными потоками данных. PyFlink делает его доступным для Python.
1
ответ
Apache Flink: коннектор Kafka в потоковом API Python, "Не удается загрузить класс пользователя"
Я испытываю новый потоковый API-интерфейс от Flink и пытаюсь запустить свой скрипт с ./flink-1.6.1/bin/pyflink-stream.sh examples/read_from_kafka.py, Сценарий python довольно прост, я просто пытаюсь извлечь из существующей темы и отправить все на ст…
10 окт '18 в 15:54
1
ответ
Можно ли использовать pyflink на windows?
Кто-нибудь когда-либо имел успех в использовании Python и Windows с Flink? Я пытаюсь следующую команду: .\bin\pyflink.bat examples\python\WordCount.py и получить следующую ошибку Starting execution of program Usage: ./bin/pyflink<2/3>.[sh/bat]…
28 окт '17 в 12:26
1
ответ
Передача обработанных потоковых данных в базу данных с помощью Apache-flink
Можно ли передать обработанные потоковые данные в базу данных с помощью pyflink? Все методы записи обработанных данных ограничены сохранением их в форматах txt, csv или Json, и нет возможности передать данные в базу данных.
27 июл '20 в 11:58
1
ответ
Где найти соответствующий документ PyFlink?
Я новичок во Flink, и я обнаружил, что Flink поддерживает Python под названием PyFlink. Но я не знаю, где найти соответствующий документ или примеры PyFlink?
26 май '20 в 08:55
2
ответа
Как задание PyFlink вызывает внешнюю банку?
Я хочу вызвать свои интерфейсы Java в файле jar в задании PyFlink. В официальном документе решений не найдено.
06 янв '20 в 14:28
3
ответа
Версия WordCount для Python не работает на Flink
В CentOS (CentOS 8.0.1905 (64 бит)) я попытался запустить Python(3.6.8) версию программы WordCount на Flink(1.9), как описано здесь. Я получил ошибку, как показано ниже. Та же среда отлично работает с Java-версией программы WordCount. Что мне здесь …
16 янв '20 в 08:06
1
ответ
PyFlink - укажите формат таблицы и обработайте вложенные строковые данные JSON
У меня есть объект данных JSON как таковой: { "monitorId": 865, "deviceId": "94:54:93:49:96:13", "data": "{\"0001\":105.0,\"0002\":1.21,\"0003\":0.69,\"0004\":1.46,…
08 июл '20 в 11:08
0
ответов
Вычисления атрибута времени в Apache Flink более одного раза
Как говорится в заголовке, я хочу выполнять вычисления с использованием атрибута времени в задании flink более одного раза. В документации упоминается, что после того, как атрибут времени используется в вычислении, он становится обычной меткой време…
24 июл '20 в 09:58
1
ответ
Пользовательский коннектор / исходный код Flink Python
Я хотел бы создать настраиваемый пользовательский соединитель / источник в pyflink. Я вижу документацию для этого в Java / Scala, но не для Python. Это возможно?
06 авг '20 в 03:29
2
ответа
Как вы можете загрузить CSV в PyFlink в качестве источника таблицы потоковой передачи?
Я пытаюсь настроить простую игровую среду для использования Flink Python Table API. Вакансии, которые я в конечном итоге пытаюсь написать, будут подпитываться очередями Kafka или Kenesis, но это очень затрудняет игру с идеями (и тестами). Я могу с у…
12 авг '20 в 01:37
2
ответа
Ошибка при запуске файла Python Flink с ошибкой "Версии Python до 3.5 не поддерживаются для PyFlink"
Добавлено 1 мая:я заметил проблему с этой ошибкой в jira apache-flink, может быть, это поможет? Моя система - CentOS7, версия python 3.6.8, версия pyflink 1.10.0;Я следую этому руководству и пытаюсь запустить файл pyflink; но я постоянно получаю о…
28 апр '20 в 12:48
0
ответов
Когда я использовал PyFlink 1.11, возникает исключение.
После того, как я запустил задание PyFlink с PyFlink, который установлен из исходного кода в моментальном снимке версии 1.11, он выдает исключение о "pyflink-udf-runner.sh": error= 2, Нет такого файла или каталога, введите описание изображения Вот
26 май '20 в 06:50
1
ответ
Использование пользовательской функции Python в задании Java Flink
Есть ли способ использовать определяемую пользователем функцию python в задании Java Flink или как-либо еще, чтобы сообщить, например, результат преобразования, выполненного с помощью flink с помощью java с пользовательской функцией python, чтобы пр…
04 июл '20 в 08:02
1
ответ
установка python Flink Не удалось найти файл /flink-1.12-SNAPSHOT-bin/flink-1.12-SNAPSHOT/opt/flink-python_*.jar
Я слежу за этим для установки Flink После установки всех упомянутых там зависимостей. Которая работала отлично git clone https://github.com/apache/flink mvn clean install -DskipTests mvn clean install -DskipTests -Dfast sudo apt-get install build-es…
09 июл '20 в 20:34
1
ответ
Apache-Flink 1.11 Невозможно использовать Python UDF в SQL Function DDL
Согласно этой странице слияния: https://cwiki.apache.org/confluence/display/FLINK/FLIP-106%3A+Support+Python+UDF+in+SQL+Function+DDL python udf во Flink 1.11 доступны для использования в функциях SQL. Я пошел к документации flink здесь: https://ci.a…
09 июл '20 в 22:39
1
ответ
Py4JJavaError в API таблицы pyflink
Этот код преобразует pandas в таблицу flink, выполняет преобразование, чем снова конвертируется в pandas. Он отлично работает, когда я используюfilter filter чем select но выдает ошибку, когда я добавляю group_by а также order_by. import pandas as p…
16 июл '20 в 15:36
1
ответ
Использование Python в Apache Flink для аналитики
Есть ли способ делать аналитику по флинк-заданиям, используя Python? Насколько я понимаю, api таблицы будет извлекать данные, и мы можем использовать только функции в api для преобразования данных. Я что-то пропустил или неправильно понял в документ…
30 июн '20 в 03:27
1
ответ
Источник и приемник пользовательской таблицы RabbitMQ для pyflink 1.11
Согласно документам здесь: https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/ а также https://ci.apache.org/projects/flink/flink-docs-release-1.11/dev/table/connectors/ Можно ли создать настраиваемый ddl-коннектор Rab…
10 июл '20 в 00:09
1
ответ
Использование PyFlink с LightGBM
Можно ли использовать PyFlink с библиотеками машинного обучения Python, такими как LightGBM, для потокового приложения? Есть ли для этого хороший пример?
13 янв '20 в 12:18
1
ответ
Apache-Flink 1.11 Невозможно использовать Python UDF через DDL-функцию SQL в задании потоковой передачи Java Flink
В Flip-106 есть пример того, как вызвать определяемую пользователем функцию python в java-приложении пакетного задания через SQL Function DDL... BatchTableEnvironment tEnv = BatchTableEnvironment.create(env); tEnv.getConfig().getConfiguration().setS…
04 авг '20 в 00:49