Как обслуживать предварительно обученные модели, такие как универсальный кодировщик предложений, с использованием ядра Seldon

Question

Я пытаюсь использовать ядро ​​seldon для предварительно обученных моделей тензорного потока с использованием ядра seldon. Каков наилучший способ обслуживания предварительно обученных моделей. Я попытался развернуть напрямую, но это не сработало, а просто загрузил модель и загрузил ее в корзину и обслуживал эту модель, как показано ниже:

      apiVersion: machinelearning.seldon.io/v1
kind: SeldonDeployment
metadata:
  name: embedding
  namespace: seldon
  labels:
    nodepool: general
spec:
  name: dan
  predictors:
  - graph:
      implementation: TENSORFLOW_SERVER
      modelUri: gs://tf_models_test/universal-sentence-encoder_4_dan
      serviceAccountName: poc-seldon-sa
      name: embedding
      endpoint:
        type: GRPC
        type: REST
    name: embedding
    replicas: 1

Я вижу ошибки, как показано ниже:

      2022-10-18 03:50:28,294 - seldon_core.wrapper:handle_generic_exception:53 - ERROR:  {'status': {'status': 1, 'info': "HTTPConnectionPool(host='0.0.0.0', port=2001): Max retries exceeded with url: /v1/models/embedding:predict (Caused by NewConnectionError('<urllib3.connection.HTTPConnection object at 0x7fb038415bd0>: Failed to establish a new connection: [Errno 111] Connection refused'))", 'code': -1, 'reason': 'MICROSERVICE_INTERNAL_ERROR'}}

Есть ли другой способ, которым я должен его обслужить.