Невозможно создавать секреты в кубернетах с облаком терраформ

Question

Я пытаюсь создать секрет в моем кластере Kubernetes и облаке терраформ. Я могу создать кластер без проблем, но проблемы возникают, когда я пытаюсь ввести секрет в кластер. Вот упрощенная версия моего манифеста terraform:

terraform {
  backend "remote" {
    organization = "my-org"

    // Workspaces separate deployment envs (like prod, stage, or UK, Italy)
    workspaces {
      name = "my-workspace-name"
    }
  }
}
resource "google_container_cluster" "demo-k8s-cluster" {
  name = "demo-cluster"
  location = var.region
  initial_node_count = 1
  project = var.project-id


  master_auth {
    username = ""
    password = ""

    client_certificate_config {
      issue_client_certificate = false
    }
  }

  node_config {
    oauth_scopes = [
      "https://www.googleapis.com/auth/logging.write",
      "https://www.googleapis.com/auth/monitoring",
    ]

//    service_account = var.service-account

    metadata = {
      disable-legacy-endpoints = "true"
    }
  }

  timeouts {
    create = "30m"
    update = "40m"
  }
}

provider "kubernetes" {
  host     = google_container_cluster.demo-k8s-cluster.endpoint
  username = google_container_cluster.demo-k8s-cluster.master_auth.0.username
  password = google_container_cluster.demo-k8s-cluster.master_auth.0.password
  client_certificate     = base64decode(google_container_cluster.demo-k8s-cluster.master_auth.0.client_certificate)
  client_key             = base64decode(google_container_cluster.demo-k8s-cluster.master_auth.0.client_key)
  cluster_ca_certificate = base64decode(google_container_cluster.demo-k8s-cluster.master_auth.0.cluster_ca_certificate)
  load_config_file = "false"
}

resource "kubernetes_secret" "cloudsql-db-credentials" {
   metadata {
       name = "cloudsql-instance-credentials-test"
   }

  data = {
    "stack-creds.json" = var.service-account
  }

}

План работает нормально, я получаю следующую ошибку на Apply сцена:

Error: secrets is forbidden: User "system:anonymous" cannot create resource "secrets" in API group "" in the namespace "default"

  on infrastructure.tf line 149, in resource "kubernetes_secret" "cloudsql-db-credentials":
 149: resource "kubernetes_secret" "cloudsql-db-credentials" {

Answer 1

Согласно комментарию @mario, оказывается, что облако terraform не может получить правильную идентификацию и не может подключиться к кластеру, чтобы ввести секрет. Вместо того, чтобы использовать облако terraform, я решил использовать бэкэнд GCS, и мне удалось заставить его работать. Работает следующая конфигурация:

terraform {
  backend "gcs" {
    bucket = "infrastructure-state-bucket"
    prefix = "test/so_simple2"
  }
}

// The project-id variable contains project id to use.
variable "project-id" {
  type = string
}

variable "region" {
  type = string
}

variable "cluster-name" {
  type = string
}

provider "google" {
  project = var.project-id
  region = var.region
}

provider "random" {}

resource "random_id" "id" {
  byte_length = 4
  prefix      = "${var.cluster-name}-"
}


resource "google_container_cluster" "cluster" {
  name = random_id.id.hex
  location = var.region
  initial_node_count = 1
  project = var.project-id
}

provider "kubernetes" {
  host     = google_container_cluster.cluster.endpoint
  username = google_container_cluster.cluster.master_auth.0.username
  password = google_container_cluster.cluster.master_auth.0.password
  client_certificate     = base64decode(google_container_cluster.cluster.master_auth.0.client_certificate)
  client_key             = base64decode(google_container_cluster.cluster.master_auth.0.client_key)
  cluster_ca_certificate = base64decode(google_container_cluster.cluster.master_auth.0.cluster_ca_certificate)
// This is a deal breaker, if is set to false I get same error.
//  load_config_file = "false"
}

resource "kubernetes_secret" "example" {
  metadata {
    name = "basic-auth"
  }

  data = {
    username = "admin"
    password = "P4ssw0rd"
  }

  type = "kubernetes.io/basic-auth"
}