Описание тега kubeflow-pipelines

Kubeflow Pipelines is a platform for building and deploying portable, scalable machine learning (ML) workflows based on Docker containers.
1 ответ

Трубопровод Kubeflow на AWS/On-Prem в настоящее время осуществим?

Я тестирую конвейер kubeflow и хотел бы использовать его в AWS/On-prem, но я видел приведенный ниже комментарий к документации. Стоит ли ждать использования с AWS/on-prem? Из-за kubeflow/ конвейеров #345 и kubeflow/ конвейеров #337, конвейеры Kubefl…
1 ответ

Трубопровод Kubeflow в обслуживающей модели

Я начинаю копаться в конвейерах kubeflow для проекта и у меня есть вопрос новичка. Кажется, что конвейеры kubeflow хорошо работают для обучения, но как насчет обслуживания в производстве? У меня достаточно интенсивный конвейер предварительной обрабо…
6 ответов

Как получить идентификатор запуска из компонента?

Я провожу некоторые эксперименты с Kubeflow и мне интересно получить идентификатор запуска для сохранения вместе с некоторыми метаданными о выполнении конвейера. Есть ли способ сделать это из компонента, такого как ContainerOp?
16 июл '19 в 00:47
0 ответов

MiniKubeFlow с использованием Vagrant (за прокси / корпоративной сетью)

Я работаю над тем, чтобы усилить MiniKubeFlow на моем ноутбуке с Windows 10. Я следил за https://www.kubeflow.org/docs/started/workstation/getting-started-minikf/. Единственное, что я изменил в бродячем файле, - это перенаправить порты с виртуальной…
02 июл '20 в 11:06
1 ответ

Kubeflow без Google Cloud Storage

Можно ли заменить использование сегментов Google Cloud Storage альтернативным локальным решением, чтобы можно было запускать, например, Kubeflow Pipelines полностью независимо от Google Cloud Platform?
0 ответов

Как открыть конечную точку REST API конвейера вывода в Kubeflow

Я реализовал простой одноэтапный конвейер вывода ML. Я загрузил конвейер из пользовательского интерфейса kubeflow и создал запуск. Вроде все ок - ошибок нет. Этот конвейер содержит один компонент, который содержит контейнер с Flask и REST API. Я мог…
21 окт '19 в 05:18
2 ответа

Как передать переменную среды в конвейер kubeflow?

Я хочу, чтобы переменная была доступна gcr.io/******/serve_model:lat5 Изображение, которое является аргументом gcr.io/******/deployservice:lat2 Первоначально я пытался передать переменную в качестве аргумента, но это не сработало, поэтому я пытаюсь …
03 дек '19 в 08:03
2 ответа

В чем разница между воздушным потоком и трубопроводом Kubeflow?

Платформа машинного обучения - одно из модных словечек в бизнесе, которое способствует развитию машинного обучения или глубокого обучения. Существует общий оркестратор рабочего процесса или планировщик рабочего процесса, который помогает пользовател…
1 ответ

Извлечение изображений из частного реестра контейнеров Google с помощью kubeflow на minikube

У нас возникли проблемы с предоставлением контейнеру в конвейере, загруженном в Kubeflow, доступа к частному пользовательскому образу докера, хранящемуся в реестре контейнеров Google. Мы запускаем kubeflow поверх кластера kubernetes, запущенного на …
5 ответов

динамический выходной список конвейера kubeflow в качестве входного параметра

Я использую ParallelFor вместо динамического списка. Я хочу собрать все выходные данные цикла и передать их другому ContainerOp. Что-то вроде следующего, что явно не работает, так какoutputs список будет статическим. with dsl.ParallelFor(op1.output)…
22 дек '19 в 17:38
0 ответов

KubeFlow - как получить доступ к сервису пользовательского интерфейса на GKE с помощью LoadBalancer?

Я развернул KubeFlow на существующем кластере GKE отсюда и хочу создатьLoadBalancerдля доступа к пользовательскому интерфейсу. E стьml-pipeline-ui-012 капсула с ml-pipeline-ui услуга, имеющая тип ClusterIPс портом 80/TCP. Поэтому я решил открыть мод…
1 ответ

Ошибка доступа к хранилищу конвейеров Kubeflow внутри одного проекта GCP?

После установки Kubeflow 0.7 на новый кластер GKE (через https://deploy.kubeflow.cloud/) я настроил OAuth и удостоверение рабочей нагрузки на основе соответствующих руководств. В моем конвейере мне нужно получить доступ к корзине GCS из того же прое…
2 ответа

Как экспортировать метрики из контейнерного компонента в конвейерах kubeflow 0.2.5

У меня есть конвейер, состоящий из 3 контейнерных компонентов. В последнем компоненте я записываю метрики, которые хочу, в файл с именем/mlpipeline-metrics.json, как это объясняется здесь. Это код Python, который я использовал. metrics = { 'metrics'…
18 мар '20 в 16:23
1 ответ

Как я могу создать API после компиляции и запуска моего конвейера в Kubeflow?

Я построил конвейер, который берет изображение и возвращает несколько человек. Я хочу создать API, который принимает изображение и возвращает файл JSON со счетчиком с помощью Kubeflow.
05 апр '20 в 21:26
0 ответов

Как пройти аутентификацию с помощью Kubeflow Pipelines API

Я надеюсь поэкспериментировать с запуском конвейеров с использованием необработанного API-интерфейса Kubeflow Pipeline, но информации о том, как аутентифицироваться, очень мало. Вся информация, которую я могу найти на https://www.kubeflow.org/docs/p…
21 апр '20 в 12:24
1 ответ

Kubeflow не удается развернуть с помощью интерфейса командной строки и консоли

Вчера вечером я удалил свой кластер KF, чтобы создать новый (используя команду kubectl cluster, а не Kfctl delete), а затем, когда я привязался к созданию нового, он не работает, он не работает с CLI, а не с консолью. Я обнаружил, что другие люди ст…
2 ответа

Как в Kubeflow Pipelines отправить список элементов в облегченный компонент Python?

Я пытаюсь отправить список элементов в виде PipelineParameter легковесному компоненту.Вот образец, который воспроизводит проблему. Вот функция: def my_func(my_list: list) -> bool: print(f'my_list is {my_list}') print(f'my_list is of type {type(my…
05 сен '19 в 16:22
1 ответ

Как пропустить уже выполненные шаги в конвейере kubeflow?

Я создаю конвейер машинного обучения в Kubeflow, и у меня есть вопрос. Есть ли что-нибудь из коробки, что позволяет мне настроить мой конвейер, чтобы шаг не запускался повторно, если его результат существует? Я подумал о способах сделать это вручную…
24 сен '19 в 14:34
3 ответа

Как передавать данные или файлы между контейнерными компонентами Kubeflow в Python

Я изучаю Kubeflow как вариант развертывания и подключения различных компонентов типичного конвейера машинного обучения. Я использую контейнеры докеров в качестве компонентов Kubeflow, и пока мне не удалось успешно использоватьContainerOp.file_output…
29 сен '19 в 00:18
0 ответов

конвейер kubeflow использует существующий ПВХ или создает его на основе параметра конвейера

У меня есть конвейер, и я хотел бы, чтобы он создавал pvc (kfp.dsl.VolumeOp), если имя заявки не указано параметром конвейера и если имя заявки указано пользователем - используйте его. весь этап конвейера будет использовать этот ПВХ (существующий ил…
15 фев '20 в 22:40