Графана с кубефлоу

Question

Я пытаюсь интегрировать Grafana с моим kubeflow, чтобы отслеживать свою модель.

Я понятия не имею, с чего начать, так как ничего не могу найти в документации.

Может кто поможет?

Answer 1

Чтобы запустить Grafana с kubeflow, выполните следующие действия:

1. создать пространство имен

kubectl создать пространство имен knative-monitoring

2. настройка компонентов мониторинга

kubectl apply --filename https://github.com/knative/serving/releases/download/v0.13.0/monitoring-metrics-prometheus.yaml

3. Запуск платы grafana через перенаправление портов

kubectl port-forward --namespace knative-monitoring $(kubectl get pod --namespace knative-monitoring --selector="app=grafana" --output jsonpath='{.items[0].metadata.name}') 8080:3000

Войдите в панель управления Grafana по адресу http://localhost:8080.

Answer 2

Это зависит от вашей конфигурации. У меня был экземпляр MiniKF, работающий на виртуальной машине EC2, и мне нужно было указать адрес 0.0.0.0 для работы метода переадресации портов.

      kubectl port-forward --namespace knative-monitoring \
  $(kubectl get pod --namespace knative-monitoring \
    --selector="app=grafana" --output jsonpath='{.items[0].metadata.name}') \
  --address 0.0.0.0 8080:3000

Тогда вы сможете получить доступ к панели инструментов Grafana по адресу http://{your-kf-ip}:8080

Answer 3

Вы также можете открыть его через istio, используя этот виртуальный сервис:

      apiVersion: networking.istio.io/v1alpha3
kind: VirtualService
metadata:
  name: grafana-vs
  namespace: kubeflow
spec:
  gateways:
  - kubeflow-gateway
  hosts:
  - '*'
  http:
  - match:
    - method:
        regex: GET|POST
      uri:
        prefix: /istio/grafana/
    rewrite:
      uri: /
    route:
    - destination:
        host: grafana.istio-system.svc.cluster.local
        port:
          number: 3000

Итак, если вы посещаете свою панель управления kubeflow обычно через https://kubeflow.example.com , показывая это через kubeflow-gatewayпозволит вам получить к нему доступ через https://kubeflow.example.com/istio/grafana/

Если вы используете графану не от Istio, а от Knative, вы можете соответствующим образом изменить место назначения.

Вам также может потребоваться изменить корневой URL-адрес grafana с помощью переменной env в развертывании Grafana:

      apiVersion: apps/v1
kind: Deployment
metadata:
  name: grafana
  namespace: istio-system
spec:
  template:
      containers:
      - env:
        - name: GF_SERVER_ROOT_URL
          value: https://kubeflow.example.com/istio/grafana