Платформа GCP AI - конвейеры - кластеры - не имеет минимальной доступности
Я не могу создавать конвейеры. Я даже не могу загрузить образцы / учебные пособия на панели инструментов AI Platform Pipelines, потому что, похоже, она не может проксировать все, что ей нужно.
An error occurred
Error occured while trying to proxy to: ...
Я изучил детали кластера и обнаружил 3 компонента с ошибками:
Deployment metadata-grpc-deployment Does not have minimum availability
Deployment ml-pipeline Does not have minimum availability
Deployment ml-pipeline-persistenceagent Does not have minimum availability
Создание кластеров требует ок. 3 клика в GCP Kubernetes Engine, поэтому не думаю, что я испортил этот шаг.
Кто-нибудь знает, как добиться "минимальной доступности"?
ОБНОВЛЕНИЕ 1
Узлы имеют достаточные ресурсы и готовы. YAML-файл выглядит хорошо. У меня есть 2 кластера в разных регионах / зонах, и оба имеют ошибки развертывания, перечисленные выше. 2 стручка не подходят.
Name: ml-pipeline-65479485c8-mcj9x
Namespace: default
Priority: 0
Node: gke-cluster-3-default-pool-007784cb-qcsn/10.150.0.2
Start Time: Thu, 17 Sep 2020 22:15:19 +0000
Labels: app=ml-pipeline
app.kubernetes.io/name=kubeflow-pipelines-3
pod-template-hash=65479485c8
Annotations: kubernetes.io/limit-ranger: LimitRanger plugin set: cpu request for container ml-pipeline-api-server
Status: Running
IP: 10.4.0.8
IPs:
IP: 10.4.0.8
Controlled By: ReplicaSet/ml-pipeline-65479485c8
Containers:
ml-pipeline-api-server:
Container ID: ...
Image: ...
Image ID: ...
Ports: 8888/TCP, 8887/TCP
Host Ports: 0/TCP, 0/TCP
State: Running
Started: Fri, 18 Sep 2020 10:27:31 +0000
Last State: Terminated
Reason: Error
Exit Code: 255
Started: Fri, 18 Sep 2020 10:20:38 +0000
Finished: Fri, 18 Sep 2020 10:27:31 +0000
Ready: False
Restart Count: 98
Requests:
cpu: 100m
Liveness: exec [wget -q -S -O - http://localhost:8888/apis/v1beta1/healthz] delay=3s timeout=2s period=5s #success=1 #failure=3
Readiness: exec [wget -q -S -O - http://localhost:8888/apis/v1beta1/healthz] delay=3s timeout=2s period=5s #success=1 #failure=3
Environment:
HAS_DEFAULT_BUCKET: true
BUCKET_NAME:
PROJECT_ID: <set to the key 'project_id' of config map 'gcp-default-config'> Optional: false
POD_NAMESPACE: default (v1:metadata.namespace)
DEFAULTPIPELINERUNNERSERVICEACCOUNT: pipeline-runner
OBJECTSTORECONFIG_SECURE: false
OBJECTSTORECONFIG_BUCKETNAME:
DBCONFIG_DBNAME: kubeflow_pipelines_3_pipeline
DBCONFIG_USER: <set to the key 'username' in secret 'mysql-credential'> Optional: false
DBCONFIG_PASSWORD: <set to the key 'password' in secret 'mysql-credential'> Optional: false
Mounts:
/var/run/secrets/kubernetes.io/serviceaccount from ml-pipeline-token-77xl8 (ro)
Conditions:
Type Status
Initialized True
Ready False
ContainersReady False
PodScheduled True
Volumes:
ml-pipeline-token-77xl8:
Type: Secret (a volume populated by a Secret)
SecretName: ml-pipeline-token-77xl8
Optional: false
QoS Class: Burstable
Node-Selectors: <none>
Tolerations: node.kubernetes.io/not-ready:NoExecute op=Exists for 300s
node.kubernetes.io/unreachable:NoExecute op=Exists for 300s
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Warning BackOff 52m (x409 over 11h) kubelet, gke-cluster-3-default-pool-007784cb-qcsn Back-off restarting failed container
Warning Unhealthy 31m (x94 over 12h) kubelet, gke-cluster-3-default-pool-007784cb-qcsn Readiness probe failed:
Warning Unhealthy 31m (x29 over 10h) kubelet, gke-cluster-3-default-pool-007784cb-qcsn (combined from similar events): Readiness probe failed: c
annot exec in a stopped state: unknown
Warning Unhealthy 17m (x95 over 12h) kubelet, gke-cluster-3-default-pool-007784cb-qcsn Liveness probe failed:
Normal Pulled 7m26s (x97 over 12h) kubelet, gke-cluster-3-default-pool-007784cb-qcsn Container image "gcr.io/cloud-marketplace/google-cloud-ai
-platform/kubeflow-pipelines/apiserver:1.0.0" already present on machine
Warning Unhealthy 75s (x78 over 12h) kubelet, gke-cluster-3-default-pool-007784cb-qcsn Liveness probe errored: rpc error: code = DeadlineExceede
d desc = context deadline exceeded
И другой модуль:
Name: ml-pipeline-persistenceagent-67db8b8964-mlbmv
Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Warning BackOff 32s (x2238 over 12h) kubelet, gke-cluster-3-default-pool-007784cb-qcsn Back-off restarting failed container
РЕШЕНИЕ
Не позволяйте Google обрабатывать любое хранилище. Снимите флажок "Использовать управляемое хранилище" и настройте собственные коллекции артефактов вручную. На самом деле вам не нужно ничего вводить в эти поля, так как конвейер все равно будет запущен.
1 ответ
В
Does not have minimum availabilityошибка общего характера. Это может быть вызвано множеством проблем. Вам нужно проанализировать более глубоко, чтобы найти настоящую проблему. Вот несколько возможных причин:
Недостаточно ресурсов: проверьте, достаточно ли у вашего узла ресурсов (ЦП / память). Если с узлом все в порядке, проверьте статус модуля.
Неисправность зонда живучести и / или зонда готовности: выполнить
kubectl describe pod <pod-name>чтобы проверить, не удалось ли и почему.Неправильная конфигурация развертывания: просмотрите свой yaml-файл развертывания, чтобы увидеть, есть ли какие-либо ошибки или остатки от предыдущих конфигураций.
Вы также можете попробовать немного подождать, так как иногда требуется некоторое время, чтобы развернуть все и / или попробовать изменить свой регион / зону.