Контроллер входящего трафика Kubernetes nginx в качестве балансировщика нагрузки получает случайные порты

Я пытаюсь сделать общедоступную панель управления Kubernetes через вход в один главный кластер без операционной системы. Проблема в том, что служба LoadBalancer (контроллер входа nginx), которую я использую, не открывает порты 80/443, которые я ожидал бы открыть / использовать. Вместо этого он берет несколько случайных портов из диапазона 30-32k. Я знаю, что могу установить этот диапазон с помощью--service-node-port-rangeно я совершенно уверен, что мне не приходилось делать это год назад на другом сервере. Я что-то упустил?

В настоящее время это мой стек / настройка (чистая установка Ubuntu 16.04):

  • Nginx Ingress Controller (устанавливается через Helm)
  • МеталлЛБ
  • Панель управления Kubernetes
  • Kubernetes Dashboard Ingress для публичного развертывания на <domain>
  • Cert-Manager (устанавливается через helm)

k8s-приборная панель-ingress.yaml

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  annotations:
    # add an annotation indicating the issuer to use.
    cert-manager.io/cluster-issuer: letsencrypt-staging
    kubernetes.io/ingress.class: nginx
    nginx.ingress.kubernetes.io/ssl-redirect: "true"
    nginx.ingress.kubernetes.io/secure-backends: "true"
    nginx.ingress.kubernetes.io/backend-protocol: "HTTPS"
  name: kubernetes-dashboard-ingress
  namespace: kubernetes-dashboard
spec:
  rules:
  - host: <domain>
    http:
      paths:
      - backend:
          serviceName: kubernetes-dashboard
          servicePort: 443
        path: /
  tls:
  - hosts:
    - <domain>
    secretName: kubernetes-dashboard-staging-cert

Это то, что у меня kubectl get svc -A выглядит как:

NAMESPACE              NAME                            TYPE           CLUSTER-IP       EXTERNAL-IP     PORT(S)                      AGE
cert-manager           cert-manager                    ClusterIP      10.101.142.87    <none>          9402/TCP                     23h
cert-manager           cert-manager-webhook            ClusterIP      10.104.104.232   <none>          443/TCP                      23h
default                kubernetes                      ClusterIP      10.96.0.1        <none>          443/TCP                      6d6h
ingress-nginx          nginx-ingress-controller        LoadBalancer   10.100.64.210    10.65.106.240   80:31122/TCP,443:32697/TCP   16m
ingress-nginx          nginx-ingress-default-backend   ClusterIP      10.111.73.136    <none>          80/TCP                       16m
kube-system            kube-dns                        ClusterIP      10.96.0.10       <none>          53/UDP,53/TCP,9153/TCP       6d6h
kubernetes-dashboard   cm-acme-http-solver-kw8zn       NodePort       10.107.15.18     <none>          8089:30074/TCP               140m
kubernetes-dashboard   dashboard-metrics-scraper       ClusterIP      10.96.228.215    <none>          8000/TCP                     5d18h
kubernetes-dashboard   kubernetes-dashboard            ClusterIP      10.99.250.49     <none>          443/TCP                      4d6h

Вот еще несколько примеров того, что происходит:

  1. curl -D- http://<public_ip>:31122 -H 'Host: <domain>'

    • возвращает 308, поскольку протокол http, а не https. Это ожидается

  2. curl -D- http://<public_ip> -H 'Host: <domain>'

    • curl: (7) Failed to connect to <public_ip> port 80: Connection refused
    • порт 80 закрыт

  3. curl -D- --insecure https://10.65.106.240 -H "Host: <domain>"

    • доступ к панели инструментов через внутренний IP-адрес, очевидно, работает, и я получаю правильный html k8s-dashboard.
    • --insecure происходит из-за того, что функция Let's encrypt еще не работает, так как проблема acme на порту 80 недоступна.

Итак, чтобы резюмировать, как мне получить 2.за работой? Например, добраться до службы через 80/443?

РЕДАКТИРОВАТЬ: Nginx Ingress Controller .yaml

apiVersion: v1
kind: Service
metadata:
  creationTimestamp: "2020-02-12T20:20:45Z"
  labels:
    app: nginx-ingress
    chart: nginx-ingress-1.30.1
    component: controller
    heritage: Helm
    release: nginx-ingress
  name: nginx-ingress-controller
  namespace: ingress-nginx
  resourceVersion: "1785264"
  selfLink: /api/v1/namespaces/ingress-nginx/services/nginx-ingress-controller
  uid: b3ce0ff2-ad3e-46f7-bb02-4dc45c1e3a62
spec:
  clusterIP: 10.100.64.210
  externalTrafficPolicy: Cluster
  ports:
  - name: http
    nodePort: 31122
    port: 80
    protocol: TCP
    targetPort: http
  - name: https
    nodePort: 32697
    port: 443
    protocol: TCP
    targetPort: https
  selector:
    app: nginx-ingress
    component: controller
    release: nginx-ingress
  sessionAffinity: None
  type: LoadBalancer
status:
  loadBalancer:
    ingress:
    - ip: 10.65.106.240

РЕДАКТИРОВАТЬ 2: Metallb configmap yaml

kind: ConfigMap
metadata:
  namespace: metallb-system
  name: config
data:
  config: |
    address-pools:
    - name: default
      protocol: layer2
      addresses:
      -  10.65.106.240-10.65.106.250
Источник

2 ответа

Решение

Итак, чтобы решить второй вопрос, как я предлагал, вы можете использовать hostNetwork: trueпараметр для сопоставления порта контейнера с хостом, на котором он работает. Обратите внимание, что это не рекомендуется, и вам всегда следует избегать этого, если у вас нет на то причины.

Пример:

apiVersion: v1
kind: Pod
metadata:
  name: nginx
  labels:
    app: nginx
spec:
  hostNetwork: true
  containers:
  - name: nginx
    image: nginx
    ports:
    - containerPort: 80
      hostPort: 80           # this parameter is optional, but recommended when using host network
      name: nginx

Когда я развертываю этот yaml, я могу проверить, где запущен модуль, и скрутить порт 80 этого хоста.

root@v1-16-master:~# kubectl get po -owide
NAME                     READY   STATUS    RESTARTS   AGE     IP                NODE             NOMINATED NODE   READINESS GATES
nginx                    1/1     Running   0          105s    10.132.0.50       v1-16-worker-2   <none>           <none>

Примечание: теперь я знаю, что модуль работает на рабочем узле 2. Мне просто нужен его IP-адрес.

root@v1-16-master:~# kubectl get no -owide
NAME             STATUS   ROLES    AGE   VERSION   INTERNAL-IP   EXTERNAL-IP   OS-IMAGE             KERNEL-VERSION    CONTAINER-RUNTIME
v1-16-master     Ready    master   52d   v1.16.4   10.132.0.48   xxxx        Ubuntu 16.04.6 LTS   4.15.0-1052-gcp   docker://19.3.5
v1-16-worker-1   Ready    <none>   52d   v1.16.4   10.132.0.49   xxxx        Ubuntu 16.04.6 LTS   4.15.0-1052-gcp   docker://19.3.5
v1-16-worker-2   Ready    <none>   52d   v1.16.4   10.132.0.50   xxxx        Ubuntu 16.04.6 LTS   4.15.0-1052-gcp   docker://19.3.5
v1-16-worker-3   Ready    <none>   20d   v1.16.4   10.132.0.51   xxxx        Ubuntu 16.04.6 LTS   4.15.0-1052-gcp   docker://19.3.5
root@v1-16-master:~# curl 10.132.0.50 2>/dev/null | grep title
<title>Welcome to nginx!</title>
root@v1-16-master:~# kubectl delete po nginx
pod "nginx" deleted
root@v1-16-master:~# curl 10.132.0.50
curl: (7) Failed to connect to 10.132.0.50 port 80: Connection refused

И, конечно, это также работает, если я перейду на общедоступный IP-адрес в своем браузере.

Источник

Обновить:

Я не видел редактировать часть вопроса, когда писал этот ответ. это не имеет смысла с учетом предоставленной дополнительной информации. пожалуйста, не обращайте внимания.

оригинал:

очевидно, что в кластере, который вы сейчас используете, настроен входной контроллер через node-port введите услугу вместо load-balancer. Чтобы добиться желаемого поведения, вам необходимо изменить конфигурацию входящего контроллера. обратитесь к Nginx ингресс документации контроллера для случаев metalLB, как сделать это.

Источник
Другие вопросы по тегам