Планирование конвейера Vertex AI — ошибка 503

Question

Я успешно обучил и развернул конвейер в Vertex AI, используя Kubeflow для модели поиска.

Теперь я хочу запланировать запуск этого конвейера каждые 8 ​​минут. Вот мой код:

      from kfp.v2.google.client import AIPlatformClient
api_client = AIPlatformClient(project_id='my-project', region='us-central1')

api_client.create_schedule_from_job_spec(
    job_spec_path='vacantes_pipeline.json',
    schedule="/8 * * * *", # every 8 minutes
    time_zone='America/Sao_Paulo',
    parameter_values={
        "epochs_": 5,
    "embed_length":768,  
        "maxsplit_" : 130
    }
)

JSON успешно создан, но задание планировщика немедленно завершается сбоем.

Ведение журнала сообщает мне, что в httpRequest есть ошибка 503 плюс:

      jsonPayload: {
@type: "type.googleapis.com/google.cloud.scheduler.logging.AttemptFinished"
jobName: "projects/my-project/locations/us-central1/jobs/pipeline_vacantes-pipeline-with-deployment_c7e98a8f_59-14-a-a-a"
status: "UNAVAILABLE"
targetType: "HTTP"
url: "https://us-central1-bogotatrabaja.cloudfunctions.net/templated_http_request-v1"
}

Есть идеи, как решить эту проблему?

Answer 1

Самая частая причина503 errorЭто то, что сервер не работает из-за технического обслуживания или он был перегружен .

Вы можете просмотреть свои журналы , чтобы увидеть дополнительную информацию об ошибке, поскольку это также может помочь в устранении неполадок, а также увидеть, что работает на вашем сервере, а также подробную информацию о работоспособности и состоянии .

Я также обнаружил инцидент , затрагивающий развертывание Vertex AI Online Prediction, Vertex AI Batch Prediction и Cloud Machine Learning. Вероятно, вы столкнулись с ошибкой 503, если вы из одного из этих регионов:Taiwan (asia-east1),Hong Kong (asia-east2),Tokyo (asia-northeast1),Seoul (asia-northeast3),Mumbai (asia-south1),Singapore (asia-southeast1),Sydney (australia-southeast1),Belgium (europe-west1),London (europe-west2),Frankfurt (europe-west3),Netherlands (europe-west4),Zurich (europe-west6),Montréal (northamerica-northeast1),Toronto (northamerica-northeast2),Iowa (us-central1),South Carolina (us-east1),Northern Virginia (us-east4),Oregon (us-west1), иLos Angeles (us-west2).

Вопрос был решен на Thursday, 2023-05-11 18:59 US/Pacific. Возможно, вы захотите перезагрузить сервер.