Подача ML с использованием kserve seldon или bentoml

Question

Что лучше kserve, seldon core или bentoML? и каковы преимущества/недостатки и особенности каждого из них

Перерыл много исследований, однозначного ответа не нашел

Answer 1

Я нахожусь в аналогичном положении, когда в последнее время я осматривал модель обслуживания ландшафта, чтобы выбрать, какой стек / технология выбрать. В настоящее время мы используем FastAPI для переноса моделей в микросервисы, но мы хотим разделить потребление, связанное с вводом-выводом/сетью (обычно из бизнес-логики), от потребления, связанного с вычислениями/памятью (модели), а также улучшить оркестрацию (масштабирование, распределение трафика для A/B тесты и др.).

Обычно у вас есть два вида инструментов:

1. Серверы логического вывода, которые оборачивают модель в микросервис.
2. Оркестраторы серверов, которые добавляют функции оркестрации для масштабирования, развертывания и общего управления парком серверов.

BentoML — это модельный сервер, и прямое сравнение будет не с Seldon Core или KServe, а с MLServer/Python Client от Seldon Core и KFModel от KServe (который, в свою очередь, использует Ray). Я чувствую, что их набор функций очень похож, поэтому какой из них лучше, зависит от опыта/проб и ошибок. Лично я выбрал BentoML в этот момент, потому что он казался самым простым для итерации, но я не исключаю перехода на другие, если Bento не работает.

Seldon Core и KServe — это скорее инструменты оркестровки, а это означает, что их набор функций, хотя и включает серверы логических выводов, также выходит за его рамки. В BentoML также есть инструмент оркестровки Yatai, но я чувствую, что ему все еще не хватает функций по сравнению с двумя вышеупомянутыми. Хорошей новостью является то, что я считаю, что Seldon Core и KServe должны работать с большинством технологий серверов логического вывода (а именно с BentoML), хотя некоторые функции могут ухудшиться по сравнению с использованием их собственных решений.

У меня нет четкого ответа на вопрос, какой из них лучше, и из моего исследования кажется, что люди используют их все в той или иной форме, например:

• BentoML + Helm для развертывания
• BentoML + ядро ​​Seldon
• Предварительно упакованные серверы логического вывода Seldon/специальные + Seldon Core
• BentoML + KServe

Мое личное предложение — опробовать краткие руководства по каждому из них и посмотреть, что лучше всего соответствует вашим потребностям, обычно идя по пути наименьшего сопротивления — ландшафт MLOps меняется много и быстро, некоторые инструменты более зрелые, чем другие, поэтому не вкладывайте слишком много. многое в жестком инструменте имеет для меня наибольший смысл.