Описание тега kfp
Вопросы, связанные с пакетом SDK для python kubeflow pipelines
0
ответов
Как определить объемы на уровне конвейера в конвейерах kubeflow для совместного использования между компонентами?
Kubernetes В учебнике по взаимодействию между контейнерами определяется следующий конвейерный yaml: apiVersion: v1 kind: Pod metadata: name: two-containers spec: restartPolicy: Never volumes: <--- This is what I need - name: shared-data emptyDir:…
28 июл '20 в 23:43
0
ответов
Отправка конвейера в microk8s.kubeflow с использованием kfp.Client python api
Установил microk8s и работает. Я могу загрузить и запустить конвейер с помощью пользовательского интерфейса. Теперь я установил kfp python api (проблемы существуют и с cli), и я пытаюсь отправить конвейер с помощью cli. Вот api для клиентской функци…
30 авг '20 в 06:04
0
ответов
как я могу получить статус предыдущего этапа работы
Мне нужно выполнить проверку предыдущей работы в моем рабочем процессе, прежде чем продолжить следующую работу, поэтому я думаю, что мне нужно получить статус фазы моей предыдущей работы, например {{workflow.status}} С этой работы data-pipeline-mmqv…
02 окт '20 в 00:27
0
ответов
как создавать шаги в kfp
Я хочу воспроизвести этот yaml из kfp sdk в python, или как я могу писать шаги с помощью kfp. apiVersion: argoproj.io/v1alpha1 kind: Workflow metadata: generateName: status-reference- spec: entrypoint: status-reference templates: - name: status-refe…
02 окт '20 в 02:28
0
ответов
Невозможно получить доступ к хосту конвейеров kubeflow из лаборатории jupyter
Я установил microk8s на виртуальную машину, развернутую в облаке Azure. Как мне получить доступ к этому имени хоста в коде client= kfp.Client('host-ip'). Это не работает сразу. Я попытался настроить переадресацию портов, как показано ниже. microk8s …
10 фев '21 в 08:22
0
ответов
Поддерживает ли Kubeflow Pipelines SDK hostNetwork?
Я пытаюсь создать спецификацию Kubeflow Pipeline с помощью SDK, kfp. Компоненты будут использовать хост-сеть во время выполнения конвейера. Как добавить поле sepc.hostNetwork: true с SDK? Без поддержки SDK мне приходится вручную изменять файл специф…
19 фев '21 в 06:49
2
ответа
Kubeflow sdk - ошибка в client.list_experiments()
Я следую примеру в документации (https://www.kubeflow.org/docs/components/pipelines/sdk/connect-api/), но получаю сообщение об ошибке при попытке доступа к экспериментам или запускам (при попытке перечислить и / или создать их) Я перенаправил порт н…
23 июл '21 в 00:17
1
ответ
Как я могу программно создать повторяющийся запуск Kubeflow из конвейерной функции?
Я пытаюсь создать повторяющийся конвейер kubeflow следующим образом: from kfp import compiler compiler.Compiler().compile( pipeline_func=my_pipeline, package_path='pipelines/my_pipeline.tgz') from kfp.v2.google.client import AIPlatformClient api_cli…
27 окт '21 в 11:50
2
ответа
Блокнот Google на вершине ai выдает следующую ошибку: имя типа google.VertexModel отличается от ожидаемого: Модель
Я получил эту ошибку при компиляции моего конвейера: имя типа google.VertexModel отличается от ожидаемого: Модель при запуске следующей записной книжки от Google: automl_tabular_classification_beans Я полагаю, что kubeflow v2 не может (пока) обрабат…
03 ноя '21 в 13:34
1
ответ
OSError: [WinError 123] при создании компонента kfp
Я пытаюсь создать конвейер в Vertex AI с kfp, используя мои собственные компоненты из локального ноутбука в Spyder. Когда я запускаю следующий фрагмент кода: @component(base_image="python:3.9", packages_to_install=["pandas"]) def create_dataset( gcs…
04 ноя '21 в 19:54
1
ответ
Как использовать kfp Artifact со sklearn?
Я пытаюсь разработать собственный конвейер с компонентами конвейера kubeflow (kfp) внутри Vertex AI (Google Cloud Platform). Этапы конвейера: читать данные из большой таблицы запросов создать панд использовать DataFrame обучить модель K-средних разв…
15 ноя '21 в 19:10
2
ответа
Конвейер VertexAI: как использовать вывод настраиваемого компонента kfp в качестве ввода для google_cloud_pipeline_components?
Я пытаюсь написать код Python для конвейера в VertexAI с использованием компонентов kfp. У меня есть шаг, на котором я создаю system.Dataset объект, который является следующим: @component(base_image="python:3.9", packages_to_install=["google-cloud-b…
17 ноя '21 в 17:51
0
ответов
как создать эксперимент kubeflow? (включая ошибку)
я хочу провести эксперимент но.. Эта ошибка меня беспокоит. Добрые друзья, помогите, пожалуйста. это код import kfp KUBEFLOW_HOST = "http://localhost:8080/pipeline" client = kfp.Client(host=KUBEFLOW_HOST) my_experiment = client.create_experiment(nam…
23 ноя '21 в 09:38
0
ответов
Образ Docker от tensorflow-gpu с гарантией.
Я пытаюсь разработать компонент конвейера kubeflow. Он тянет (если я упрощаю) простой образ докера: FROM tensorflow/tensorflow:2.7.0-gpu Однако при извлечении образа докера необходимо запустить kfp. python3 -m ensurepip но я получаю сообщение об оши…
24 янв '22 в 21:07
0
ответов
Есть ли способ заставить компонент выполняться последним?
Мой текущий конвейер запускает процесс обучения для нескольких пользователей в операции ParallelFor, например: def pipeline(run_id): setup_step = create_setup_step(run_id) with dsl.ParallelFor(setup_step.outputs['users']) as user: preprocess = creat…
25 янв '22 в 19:54
0
ответов
Argo: проблема в данный момент для генерации вывода из модуля
У меня есть конвейер argo, в котором я извлекаю некоторые данные и создаю файл с данными. Но я попытался сохранить файл и создать вывод, но всегда получаю эту ошибку: не удалось сохранить выходные данные: истекло время ожидания условия Поэтому я сге…
02 мар '21 в 06:22
1
ответ
Добавить декоратор в декоратор компонентов в KFP v2 в Vertex AI
Обычно KFP v2 поддерживает добавление декоратора компонентов следующим образом: @component def test(): print("hello world") Я хотел бы добавить дополнительный декоратор, чтобы добавить новые функции, подобные этому: @component @added_functionality d…
21 апр '22 в 18:08
2
ответа
Как использовать ExitHandler с Kubeflow Pipelines SDK v2
Я пытаюсь перевести все свои конвейеры Kubeflow с использования предыдущего SDK v1 ( kfp), до более новой версии Pipelines SDK v2 (). я использую версию 1.8.12Этот рефакторинг оказался успешным почти для всего кода, за исключением , который все еще …
23 апр '22 в 14:47
1
ответ
Как получить статус конвейера, запущенного внутри компонента, работающего на Vertex AI?
Ранее при использовании Kubeflow Pipelines SDK v1 состояние конвейера можно было вывести во время выполнения конвейера, передав заполнитель Argo, {{workflow.status}}, к компоненту, как показано ниже: import kfp.dsl as dsl component_1 = dsl.Container…
03 май '22 в 04:18
1
ответ
Включить веб-доступ или интерактивную оболочку для задач PipelineJob для Vertex AI
Я пытаюсь отладитьPipelineJobкоторые я запускаю на Vertex AI. Есть ли способ включить веб-доступ к компонентам, как вы можете при запуске пользовательских заданий? Таким образом, я мог подключиться к запущенной задаче по ssh и выполнить кучу отладки…
08 фев '23 в 13:27