Выполнение пакетных прогнозов с точно настроенной моделью PALM в Vertex AI всегда выдает ValueError.

Question

Для моего кода:

      import vertexai
from vertexai.preview.language_models import TextGenerationModel

model = TextGenerationModel.get_tuned_model("projects/PROJECT_ID/locations/us-central1/models/MODEL_ID")
batch_file=f'gs://my_bucket/test_.jsonl'
batch_file_output=f'gs://my_bucket/response'
batch_prediction_job = model.batch_predict(
  dataset=[batch_file],
  destination_uri_prefix=batch_file_output,,
  model_parameters={
      "maxOutputTokens": "300",
      "temperature": "0.0",
      "topP": "0.95",
      "topK": "1",
  }
)

не работает и выдает такую ​​ошибку:

      ValueError                                Traceback (most recent call last)
/tmp/ipykernel_1/123140971.py in <module>
     12       "temperature": "0.0",
     13       "topP": "0.95",
---> 14       "topK": "1",
     15   },
     16 )

~/.local/lib/python3.7/site-packages/vertexai/language_models/_language_models.py in batch_predict(self, destination_uri_prefix, dataset, model_parameters, **_kwargs)
    430             dataset=dataset,
    431             destination_uri_prefix=destination_uri_prefix,
--> 432             model_parameters=model_parameters,
    433         )
    434 

~/.local/lib/python3.7/site-packages/vertexai/language_models/_language_models.py in batch_predict(self, dataset, destination_uri_prefix, model_parameters)
    381         # TODO(b/284512065): Batch prediction service does not support
    382         # fully qualified publisher model names yet
--> 383         publishers_index = model_name.index("/publishers/")
    384         if publishers_index > 0:
    385             model_name = model_name[publishers_index + 1 :]

ValueError: substring not found

Этот комментарий над ошибкой (TODO) довольно интересен. Кажется, подразумевается, что он не поддерживается.

Есть ли способ запустить режим пакетного прогнозирования с точно настроенной моделью PALM?

Обратите внимание, что этот аналогичный код работает без каких-либо ошибок.

      text_model = TextGenerationModel.from_pretrained("text-bison")
batch_prediction_job = text_model.batch_predict(
  dataset=[batch_file],
  destination_uri_prefix=batch_file_output,
  model_parameters={
      "maxOutputTokens": "300",
      "temperature": "0.0",
      "topP": "0.95",
      "topK": "1",
  },
)

Но большая разница – это модель без точной настройки.

Я использую версию 1.30.1 платформы Google-Cloud-AI.

Answer 1

Если кто-нибудь задаст этот вопрос... Из моего обращения в службу поддержки Google от 29 августа 2023 г.:

«У меня есть подтверждение от инженеров по продукту, что мы не поддерживаем точно настроенную модель для прогнозирования партий».

На вопрос, будет ли это добавлено в будущем:

«У нас пока нет плана точной настройки модели. Поэтому, к сожалению, у меня нет точного прогноза времени, будет ли это рассматриваться в будущем».

Ответ в том, что в настоящее время это не поддерживается Google и может быть, а может и не быть в будущем.