Описание тега kedro
Kedro - это библиотека Python с открытым исходным кодом, которая помогает создавать готовые к работе конвейеры данных и аналитики.
1
ответ
Как подключиться к Импале с Кедро?
Как подключиться к Импале с Кедро? Есть ли с ним интеграция? Я использую оконную машину. Я пробую Импилу и Ибис, но оба не работают.
26 авг '20 в 08:35
1
ответ
Кедро воздушный поток на искре
Ищу кедро + реализация обдува на искре. Доступен ли плагин для Spark? Посмотрели на PipelineX, но не нашли подходящих примеров на Spark?
14 авг '20 в 00:08
1
ответ
ошибка kedro: конвейер не содержит узлов с именем ['preprocess_companies']
Я следил за учебником 1 по конвейерам kedro, создал все необходимые файлы, запустил kedro с помощью kedro run --node=preprocess_companies Он возвращает следующую ошибку ValueError: конвейер не содержит узлов с именем ['preprocess_companies']. пыталс…
07 май '20 в 12:58
2
ответа
Трубопровод не может найти узлы в кедро
Я следил за учебником по конвейерам, создал все необходимые файлы, запустил кедро сkedro run --node=preprocessing_data но застрял с таким сообщением об ошибке: ValueError: Pipeline does not contain nodes named ['preprocessing_data']. Если я бегу кед…
22 фев '20 в 21:11
1
ответ
Где выполнить сохранение вывода узла в Кедро?
В Kedro мы можем конвейерно разные узлы и частично запускать некоторые узлы. Когда мы частично запускаем некоторые узлы, нам нужно где-то сохранить некоторые входные данные от узлов, чтобы при запуске другого узла он мог получить доступ к данным, сг…
18 окт '19 в 07:03
1
ответ
Как запустить узлы в последовательности, указанной в конвейере кедро?
В конвейере Kedro узлы (что-то вроде функций Python) объявляются последовательно. В некоторых случаях вход одного узла является выходом предыдущего узла. Однако иногда, когда API запуска kedro вызывается в командной строке, узлы не запускаются после…
04 ноя '19 в 05:38
1
ответ
Как заставить конвейер читать столбцы со специальными символами?
Я использую параметр "usecols" для получения некоторых столбцов файла.xlsx (я использую файл xls_local.py из учебника Kedro), но программа говорит, что "usecols не соответствуют столбцам, столбцы ожидаются, но не найдены": и он показывает только сто…
06 ноя '19 в 18:22
1
ответ
Как отключить логи в Кедро
Мне не удалось отключить логи кедро. Я пробовал добавитьdisable_existing_loggers: True в файл logging.yml, а также disable:Trueко всем существующим журналам, и он по-прежнему сохраняет файлы журналов. Какие-либо предложения?
07 ноя '19 в 17:40
1
ответ
Как выбрать столбцы для загрузки в Kedro CSVLocalDataSet?
У меня есть csv файл, который выглядит как a,b,c,d 1,2,3,4 5,6,7,8 и я хочу загрузить его как Кедро CSVLocalDataSet, но я не хочу читать весь файл. Мне нужно всего несколько столбцов (скажем,a а также b например). Есть ли способ указать список столб…
08 ноя '19 в 15:36
1
ответ
Как изменить количество процессов ParallelRunner в Kedro?
Мой конвейер делает много HTTP-запросов. Это не очень нагружающая процессор операция, я бы хотел, чтобы количество процессов превышало количество ядер процессора. Как я могу это изменить?
11 ноя '19 в 12:46
1
ответ
Как передать узлу буквальное значение?
У меня есть функция def do_something(input_data, column: int): # Do something with one column of the data Теперь мне нужно создать узел, но я не могу node(do_something, ["input_data", 1], "output"). Как я могу поместить постоянное значение в узел?
15 ноя '19 в 14:11
1
ответ
Являются ли наборы данных S3 Kedro поточно-ориентированными?
CSVS3DataSet/HDFS3DataSet/HDFS3DataSet использовать boto3, который, как известно, не является потокобезопасным https://boto3.amazonaws.com/v1/documentation/api/latest/guide/resources.html?highlight=multithreading Можно ли использовать эти наборы дан…
18 ноя '19 в 12:26
1
ответ
Доступ к контексту Kedro из декоратора
Я пытаюсь создать декоратор, в котором мне нужна информация о проекте и / или каталоге. Можно ли получить доступ к контексту проекта изнутри декоратора? Я ищу такие вещи, как имя_проекта, имя записи в каталоге и имя узла конвейера. Я создал способ н…
20 ноя '19 в 22:12
2
ответа
Как условно запустить части вашего трубопровода Кедро?
У меня большой конвейер, на запуск которого уходит несколько часов. Небольшая его часть должна запускаться довольно часто, как мне запустить ее, не запуская весь конвейер?
27 ноя '19 в 12:50
2
ответа
'kedro' не распознается как внутренняя или внешняя команда, работающая программа или командный файл
Я пытаюсь установить Kedro, но получаю эту ошибку. Я знаю, что в большинстве случаев эта ошибка возникает из-за того, что kedro отсутствует в моем PATH. Я попытался добавить путь к файлу в свой PATH, но все равно получаю ту же ошибку. Когда я бегу: …
28 янв '20 в 13:03
1
ответ
Преобразовать CSV в паркет в Кедро
У меня довольно большой CSV, который не помещается в памяти, и мне нужно преобразовать его в файл.parquet для работы с vaex. Вот мой каталог: raw_data: type: kedro.contrib.io.pyspark.SparkDataSet filepath: data/01_raw/data.csv file_format: csv parqu…
24 фев '20 в 22:29
1
ответ
как развернуть проект kedro и запустить проект в новой среде после команды kedro package?
Я использовал уже построенный конвейер с использованием данных радужной оболочки и создал файл колеса и яйца, используя "пакет kedro". После этого я создал виртуальную среду с помощью Python и установил туда файлы wheel и egg. Я попытался запустить …
04 май '20 в 11:53
2
ответа
Есть ли функция ввода-вывода для хранения обученных моделей в кедро?
В разделе IO документации kedro API я не смог найти функциональность по хранению обученных моделей (например,.pkl, .joblib, ONNX, PMML)? Я что-то упустил?
11 май '20 в 22:19
1
ответ
Как я могу читать / записывать данные из / в сетевое хранилище с помощью kedro?
В документации API о kedro.io а также kedro.contrib.io Я не смог найти информацию о том, как читать / записывать данные из / в сетевое хранилище, например, FritzBox NAS.
14 май '20 в 10:30
3
ответа
Как запустить конвейер, кроме нескольких узлов?
Я хочу запустить конвейер для разных файлов, но некоторым из них не нужны все определенные узлы. Как я могу их передать?
05 ноя '19 в 20:23