Трубопровод Kubeflow в обслуживающей модели
Я начинаю копаться в конвейерах kubeflow для проекта и у меня есть вопрос новичка. Кажется, что конвейеры kubeflow хорошо работают для обучения, но как насчет обслуживания в производстве?
У меня достаточно интенсивный конвейер предварительной обработки для обучения, и я должен применить этот же конвейер для прогнозов производства. Могу ли я использовать что-то вроде Seldon Serving для создания конечной точки, чтобы запустить конвейер предварительной обработки, применить модель, а затем вернуть прогноз? Или лучше всего просто поместить все в один контейнер докеров?
1 ответ
Да, вы определенно можете использовать Селдона для сервировки. На самом деле, команда Kubeflow предлагает простой способ связи между обучением и обслуживанием: обтекатель
Обтекание обеспечивает программный способ развертывания конечной точки прогнозирования. Вы также можете взглянуть на этот пример того, как развернуть конечную точку Seldon с вашим результатом обучения.
KF Pipelines предназначена для трубопроводов, которые проходят от начала до конца. Процесс обслуживания не имеет конца, поэтому, хотя это возможно, само обслуживание должно выполняться вне конвейера.
В конечном итоге конвейер должен передать обученную модель в службу долгосрочного обслуживания.
Обслуживание может выполняться службой CMLE, TFServe Kubeflow, Seldon и т. Д.
Могу ли я использовать что-то вроде обслуживания Seldon, чтобы создать конечную точку для запуска конвейера предварительной обработки, применения модели, а затем для возврата прогноза?
Из-за накладных расходов на запуск контейнера Kubeflow Pipelines обычно обрабатывает пакетные задания. Конечно, вы можете запустить конвейер для одного прогноза, но задержка может быть неприемлемой. Для обслуживания может быть лучше иметь выделенный долгоживущий контейнер / службу, которая принимает запросы, преобразует данные и делает прогнозы.