Описание тега luigi

Описание тега Вопросы с тегом
Luigi - это пакет Python, который помогает создавать сложные конвейеры пакетных заданий.
2 ответа

Где находится конфигурационный файл luigi?

Я установил luigi по команде pip и хотел бы изменить порт для веб-интерфейса. Я пытался найти файл конфигурации, но не смог. Нужно ли создавать?
19 май '17 в 08:51
1 ответ

Луиджи: примеры Rangehourly

Есть ли примеры, доступные для предоставления RangeHourly (или аналогичные, например RangeDaily) . Я пытался использовать его, чтобы повторять выполнение задач. Но я всегда получаю ошибку, как показано ниже: ОТЛАДКА: проверка, если RangeHourly(of=Fi…
29 июн '17 в 07:07
3 ответа

Luigi Pipelining: в Windows нет модуля с именем pwd

Я пытаюсь выполнить учебник, приведенный в https://marcobonzanini.com/2015/10/24/building-data-pipelines-with-python-and-luigi/. Я могу запустить программу самостоятельно, используя локальный планировщик, давая мне: Scheduled 2 tasks of which: * 2 r…
23 май '18 в 10:30
0 ответов

PermissionError 13 при переименовании файла сразу после его переименования

Я использую менеджер контекста luigi, который пишет во временный файл и переименовывает его по завершении. Я получаю сообщение об ошибке "Отказано в доступе", когда он пытается переименовать файл в конце блока контекста. Я подумал, что, может быть, …
16 янв '19 в 09:54
0 ответов

Настроить конвейер с пользовательским конфигом в luigi

Вот хороший частичный ответ на мою проблему: гибкий конвейер Luigi и передача параметров на всем протяжении У меня такой же конвейер, но я хочу настроить его с помощью пользовательского конфига (не luigi.cfg) / taskC -> taskB -> taskA - taskC …
04 ноя '17 в 21:18
1 ответ

Luigi: ошибка при выполнении параллазационной задачи luigi при помощи функции сборки

Я пробовал многопроцессорность luigi с помощью функции luigi.build. но я получаю некоторую библиотечную ошибку во время выполнения. для следующего в self._add(item, is_complete): файл "/home/manoj/anaconda2/lib/python2.7/site-packages/luigi/worker.p…
11 авг '17 в 10:48
1 ответ

Как включить динамические требования в Luigi?

Я построил трубопровод задач в Луиджи. Поскольку этот конвейер будет использоваться в разных контекстах, вполне возможно, что ему потребуется включить больше задач в начале или конце конвейера или даже совершенно разные зависимости между задачами. Т…
02 мар '17 в 18:30
0 ответов

Луиджи "Нет доступных экземпляров"

На моей Windows VM я выполняю небольшие работы с Луиджи. Мне интересно, почему в начале каждого запуска я получаю сообщение "Нет доступных экземпляров". Каждый раз, когда я перезапускаю программу, печатается еще один из них; поэтому после 10 прогоно…
14 ноя '16 в 16:42
1 ответ

Как запустить задачу luigi с помощью spark-submit и pyspark

У меня есть задача Python Luigi, которая включает в себя некоторые библиотеки Pyspark. Теперь я хотел бы представить эту задачу на мезо с помощью spark-submit. Что я должен сделать, чтобы запустить его? Ниже мой скелет кода: from pyspark.sql import …
31 авг '16 в 08:37
1 ответ

Передача объектов Python между задачами в Luigi?

Я писал свой первый проект на Python 3.6, используя Luigi от Spotify для организации некоторых задач обработки естественного языка в конвейере. Я заметил, что output() функция Task класс всегда возвращает какой-то Target объект, который представляет…
28 фев '17 в 17:45
0 ответов

Luigi "Незаполненная ошибка зависимости" после обновления таблицы целевых маркеров

Я не хочу запускать два оператора SQL через две задачи, которые имеют одну взаимозависимость, но в процессе я получаю "Незаполненную ошибку зависимости" (см. Ниже): Сначала я думал, что это связано с проблемой записи в вывод, но похоже, что обе зада…
21 июн '18 в 18:29
2 ответа

Может ли Луиджи распространить исключение или вернуть какой-либо результат?

Я использую Луиджи, чтобы запустить какой-то конвейер. Давайте возьмем простой пример task = myTask() w = Worker(scheduler=CentralPlannerScheduler(), worker_processes=1) w.add(task) w.run() Теперь давайте скажем, что myTask поднимает исключение во в…
15 сен '15 в 15:47
0 ответов

Структура задачи Луиджи, чтобы получить значение из run()

У меня есть задача Python Luigi, которая принимает входные данные некоторого файла. Функция run() этой задачи предназначена для вычисления значения хеш-функции этого файла. hash = HashCalculator(self.input().path).hash() а затем переместить этот фай…
02 апр '18 в 16:58
0 ответов

Как использовать более ранний вывод Task в Luigi?

Я пишу конвейер, в котором последующим задачам нужно читать выходные данные предыдущих задач, чтобы они могли знать, какие параметры им нужно передать в своих требованиях. Я создал упрощенный пример моей настройки ниже. import random import pickle i…
04 июн '17 в 22:22
1 ответ

Переключение с Луиджи на поток воздуха

У меня есть относительно простая задача, которая начинается с запуска файлов объемом 1,2 млн. И создания конвейера для каждого из них (с несколькими этапами, на которых сохраняются промежуточные продукты). Я реализовал это в luigi: https://gist.gith…
09 июл '17 в 21:36
0 ответов

Использование Луиджи в Django

Я разработал конвейер с фреймворком Luigi. Теперь я хотел бы запустить его в веб-приложении (Django), нажав кнопку. Однако, когда я запускаю конвейер из веб-приложения, я получаю следующую ошибку: signal.signal (signal.SIGUSR1, self.handle_interrupt…
21 янв '19 в 16:09
0 ответов

Пример кода, необходимого для Luigi - модуль HdfsTarget

Я новичок в Луиджи. У меня есть пример кода ниже, но он дает мне ошибку, когда я выполняю его, так как у нас есть python3, мы используем объект HdfsTarget для подключения hdfs на namenode 1, я выполняю этот код с моей локальной машины. import os imp…
04 фев '19 в 11:36
0 ответов

Могу ли я создавать задачи из Visualiser в luigi?

Я пытаюсь использовать https://github.com/spotify/luigi поэтому у меня есть несколько вопросов: Можно ли создавать задачи в пользовательском интерфейсе - на странице визуализатора? Могу ли я создать новый рабочий процесс из Visualiser?
21 фев '19 в 05:49
0 ответов

Как я могу динамически изменить количество работников в Луиджи?

Я использую Луиджи. У меня много задач. И мне нужно динамически менять количество работников. Это реально? Или нет?
01 мар '19 в 07:35
1 ответ

Как запустить конвейер, если каждый раз меняются требования задачи?

У меня есть конвейер: F -> M -> S. Где F, M и S - задачи. Я вызываю Луиджи с задачей S. Задача S требует M; и M требует F. Но иногда M требует D, в других случаях требуется B. F, D и B различны, ничем не похожи, но выходные данные всех этих задач мо…
04 янв '19 в 10:30