Описание тега prefect
Prefect — это система управления рабочими процессами на основе Python (например, ETL). Пользователи организуют задачи в потоки, определяют зависимости, расписания и т. д., а Prefect позаботится обо всем остальном.
1
ответ
Как присвоить имя control_flow в префекте?
Как назначить name к merge задача в потоке? thing_three = merge(thing_one, thing_two) Конечная цель - получить merge с помощью flow.get_tasks(name="thing_merger") Заранее спасибо.
19 июн '20 в 09:44
1
ответ
Объедините параметризованный поток префектов с расписанием, которое зависит от параметра
Я хотел бы иметь возможность повторно использовать тот же поток параметризованных префектов, но где расписание зависит от входных данных. Так например: from prefect import task, Flow, Task, Parameter from prefect.schedules import CronSchedule diurna…
03 дек '19 в 23:30
1
ответ
Как справиться с ошибкой задачи в префекте и вернуть УСПЕХ с параметром on_failure?
У меня есть Flow в prefect чей с task чей выход dataframe. В приведенном ниже примере это всегда не удается. Я бы хотелtask вернуть пустой dataframe с состоянием SUCCESS с помощью @task(on_failure=handle_task_fail). Каков правильный синтаксис для эт…
28 янв '20 в 20:48
5
ответов
Воздушный поток Dagrun для каждой базы данных вместо запланированной
Текущая проблема, с которой я столкнулся, заключается в том, что у меня есть документы в коллекции MongoDB, каждый из которых должен обрабатываться и обновляться задачами, которые необходимо запускать в ациклическом графе зависимостей. Если вышестоя…
16 окт '19 в 21:02
3
ответа
Лучшая практика для запуска Prefect Flow без сервера в Google Cloud
Я начал использовать Prefect для различных проектов, и теперь мне нужно решить, какая стратегия развертывания на GCP будет работать лучше всего. Желательно, чтобы я работал без сервера. Сравнивая Cloud Run, Cloud Functions и App Engine, я склоняюсь …
24 апр '20 в 10:21
1
ответ
docker run как задача Prefect
Мои фактические рабочие нагрузки, которые следует запускать как задачи в потоке Prefect, упакованы как образы докеров. Таким образом, поток в основном просто "запустите этот контейнер, затем запустите этот контейнер". Однако я не могу найти никаких …
22 июн '20 в 10:29
2
ответа
Внешний запуск рабочего процесса Prefect
В настоящее время у меня есть рабочий процесс Prefect, работающий локально на экземпляре EC2. Я могу запустить свой рабочий процесс на localhost:8080 через пользовательский интерфейс. Есть ли способ запустить рабочий процесс Prefect извне (например,…
05 авг '20 в 01:45
2
ответа
Как навсегда установить локальный файл конфигурации?
В соответствии с Prefect Руководство по настройке Я установил локальный файл конфигурации (т.е. в моем текущем рабочем каталоге) черезexport PREFECT__USER_CONFIG_PATH="./config.toml"однако для этого требуется, чтобы переменная среды задава…
26 авг '20 в 11:07
1
ответ
Как использовать префект "сопоставлен" для распараллеливания вложенных циклов
Я пытаюсь понять, как распараллеливать вложенные циклы с префектом, для чего требуется внутренний выход / вход внутри внешнего выхода / входа. Если я использую map() во внешнем цикле, затем передайте некоторые результаты вычислений внешнего цикла, т…
14 июн '20 в 21:37
2
ответа
Как кэшировать / таргетировать задачи с тем же именем в потоке с префектом?
Я пытаюсь найти target шаблон или конфигурацию кеша, чтобы различать задачи с одинаковыми именами в потоке. Как показано на диаграмме выше, только одна из задач кэшируется, а другая перезаписывается. Я пробовал использоватьtask-slug но безрезультатн…
17 июл '20 в 23:21
1
ответ
Как Prefect масштабируется одновременно с тысячами рабочих процессов?
У меня есть префектный сервер, работающий локально (версия ядра 0.13). Я вызвал flow.run() в цикле 1000 тысяч раз на сервере с 64 ГБ ОЗУ и 32 ядрами ЦП. Когда он достиг ~300 запусков, он начал выдавать ошибки отказа в соединении от GraphQL. Я все ещ…
06 авг '20 в 21:33
1
ответ
Как обновить префект Flow с повторяющимися параметрами?
Используя префект, я хотел бы создать новый поток из двух других потоков. Я получаю ошибку A task with the slug "add_num" already exists in this flow. Можно ли обновить Flows которые используют то же самое tasks или Parameters. Ниже приведен минимал…
14 мар '20 в 07:00
1
ответ
Как использовать собственное хранилище докеров в потоках префектов?
Я установил Dask кластер, и я с радостью отправляю базовый Prefectтечет к нему. Теперь я хочу сделать что-то более интересное и взять собственный образ докера с моей библиотекой python на нем и выполнить потоки / задачи в кластере dask. Мое предполо…
21 июн '20 в 18:51
2
ответа
Как возобновить поток префекта при сбое без повторного запуска всего потока?
TL;DR; Мне не удалось использовать FlowRunner префекта для решения вышеуказанного вопроса. Вероятно, я либо использовал его неправильно (см. Ниже), либо что-то упустил. Был бы очень признателен за любые указатели! Проблема Я прочитал фантастическую …
27 июл '20 в 12:49
1
ответ
как настроить url-адрес graphql на префект-сервере 0.13.5
После обновления с 0.12.2 к 0.13.5проблема с подключением возникла с компонентом graphql. Сервер Prefect работает на другом сервере, но URL-адрес graphql остаетсяhttp://localhost:4200/graphql. server.ui.graphql_url отлично работал с версией 0.12.2 н…
03 сен '20 в 11:41
1
ответ
Префект, как избежать повторного выполнения задачи
Предположим, в Prefect у меня есть конвейер, который запускает f(date) для каждой даты в списке и сохраняет ее в файл. Это довольно распространенная операция ETL. В воздушном потоке, если я запустил это один раз, он заполнит все исторические даты. Е…
14 авг '20 в 22:37
1
ответ
невозможно зарегистрировать поток префектов с использованием различных параметров
Я пытаюсь реализовать поток префектов, используя различные параметры: from prefect import Flow, Parameter from prefect.schedules import Schedule from prefect.schedules.clocks import CronClock a = Parameter('a', default=None, required=False) b = Para…
24 июн '20 в 14:16
1
ответ
Префект, как ждать внешней зависимости
У меня есть префектный поток, который я хочу запустить, если и когда появится определенный файл. Используя что-то вроде Луиджи, вы должны создать ExternalTask, который выводит этот файл, а затем накладывает на него зависимость. Каков стандартный шаб…
24 сен '20 в 15:19
0
ответов
Разделение задач с помощью Prefect
Мне нужно создать пакет, который может обрабатывать задачи с помощью этого рабочего процесса: | task 4 | task 3 ->| task 4 | task 2 -> | task 4 | task 3 ->| task 4 input -> task 1 -> | task 2 -> ... Задача №1 обрабатывает входные д…
07 окт '20 в 02:19
3
ответа
Как настроить внутренний сервер Prefect так, чтобы он указывал на Postgres
Возникли трудности с настройкой Prefect для локального запуска. Устанавливается через pip3, зависит от docker(уже установлен) и docker-compose, установлен, протестирован. работает.У меня уже есть работающий сервер Postgres, мне нравится настраивать …
19 окт '20 в 02:59