GitLab CI/CD: создание мультиархитектурных образов Docker

Мне нужен простой способ создания мультиархитектурных образов Docker в средстве выполнения GitLab. Говоря просто, я имею в виду, что мне просто нужно было бы добавить.gitlab-ci.yml в свой проект, и это сработало бы.

Вот написанный мной.gitlab-ci.yml. Он создает мультиархивный образ с помощью buildx, а затем помещает его в реестр GitLab:

image: cl00e9ment/buildx

services:
- name: docker:dind

variables:
  PLATFORMS: linux/amd64,linux/arm64
  TAG: latest

before_script:
  - docker login -u "$CI_REGISTRY_USER" -p "$CI_REGISTRY_PASSWORD" "$CI_REGISTRY"

build:
  stage: build
  script:
  - docker buildx build --platform "$PLATFORMS" -t "${CI_REGISTRY_IMAGE}:${TAG}" . --push

Проблема в том, что платформа linux/arm64 недоступна.

Вот как я создал образ cl00e9ment/buildx (сильно вдохновленный https://gitlab.com/snadn/docker-buildx):

Вот Dockerfile:

FROM docker:latest

ENV DOCKER_CLI_EXPERIMENTAL=enabled
ENV DOCKER_HOST=tcp://docker:2375/

RUN mkdir -p ~/.docker/cli-plugins \
  && wget -qO- https://api.github.com/repos/docker/buildx/releases/latest | grep "browser_download_url.*linux-amd64" | cut -d : -f 2,3 | tr -d '"' | xargs wget -O ~/.docker/cli-plugins/docker-buildx \
  && chmod a+x ~/.docker/cli-plugins/docker-buildx
RUN docker run --rm --privileged multiarch/qemu-user-static --reset -p yes
RUN docker context create buildx \
    && docker buildx create buildx --name mybuilder \
    && docker buildx use mybuilder
RUN docker buildx inspect --bootstrap

... добавьте сюда файл.gitlab-ci.yml, используемый для сборки и отправки образа cl00e9ment/buildx:

image: docker:latest

services:
  - name: docker:dind

before_script:
  - docker login -u cl00e9ment -p "$DOCKER_HUB_TOKEN"

build:
  stage: build
  script:
  - docker build --add-host docker:`grep docker /etc/hosts | awk 'NR==1{print $1}'` --network host -t cl00e9ment/buildx .
  - docker run --add-host docker:`grep docker /etc/hosts | awk 'NR==1{print $1}'` --network host cl00e9ment/buildx docker buildx inspect --bootstrap
  - docker push cl00e9ment/buildx

test:
  stage: test
  script:
  - docker run --add-host docker:`grep docker /etc/hosts | awk 'NR==1{print $1}'` --network host cl00e9ment/buildx docker buildx inspect --bootstrap

Так что же происходит?

В конце сборки в Dockerfile я запускаю docker buildx inspect --bootstrapчтобы перечислить доступные платформы. Это даетlinux/amd64, linux/arm64, linux/riscv64, linux/ppc64le, linux/s390x, linux/386, linux/arm/v7, linux/arm/v6. Так что все хорошо.
После этого я снова запускаю его (сразу после сборки и непосредственно перед нажатием), и он все равно дает linux/amd64, linux/arm64, linux/riscv64, linux/ppc64le, linux/s390x, linux/386, linux/arm/v7, linux/arm/v6.
Однако на этапе тестирования, когда образ только что загружен из Docker Hub в чистой среде, он дает linux/amd64, linux/386.

Почему?

Источник

user9515617 25 апр '20 в 20:46

2 ответа

Решение

К сожалению, существует много устаревшей и неверной информации о создании мультиархитектурных образов на GitLab CI. Кажется, что он меняется довольно часто, так как это все еще экспериментальная функция. Но на момент написания этой статьи я получил свою мультиархивную сборку, работающую с общедоступными бегунами GitLab (armv6, armv6, arm64, amd64) следующим образом:

Во-первых, нужно создать и отправить образ Docker, содержащий buildxдвоичный. Вот Dockerfile, который я использую для этого:

FROM docker:latest
ARG BUILDX_VER=0.4.2
RUN mkdir -p /root/.docker/cli-plugins && \
    wget -qO ~/.docker/cli-plugins/docker-buildx \
    https://github.com/docker/buildx/releases/download/v${BUILDX_VER}/buildx-v${BUILDX_VER}.linux-amd64 && \
    chmod +x /root/.docker/cli-plugins/docker-buildx

Текущий образ бегуна GitLab не инициализирует binfmtобработчики правильно, несмотря на запуск кода инициализации: https://gitlab.com/gitlab-org/gitlab-runner/-/blob/523854c8/.gitlab/ci/_common.gitlab-ci.yml

Так что мы должны сделать это в нашем конвейере. Мы ссылаемся на комментарии в MR 1861 кода GitLab Runner и добавляем следующий волшебный соус к нашему.gitlab-ci.yml:

before_script:
  - docker run --rm --privileged multiarch/qemu-user-static --reset -p yes

Затем мы можем запустить остальную часть нашего конвейерного скрипта с помощью docker login, docker buildx build --use, docker buildx build --push ... и так далее.

Теперь бегун готов к сборке для нескольких архитектур. Мой последний.gitlab-ci.ymlможно увидеть здесь: https://github.com/oofnikj/nuttssh/blob/multiarch/.gitlab-ci.yml

Источник

user10968269 24 авг '20 в 09:24

Ok, I think I know whats going on here: you need to call update-binfmts --enable somewhere to enable the extra formats provided by binfmt_misc for.

Мне удалось получить мультиархитектурные образы, работающие с buildx на gitlab-ci (после большого количества поисков), используя это репо и его образы докеров: https://gitlab.com/ericvh/docker-buildx-qemu

Однако это репо имеет самозависимость от собственного репозитория образов докеров для создания многоархивных версий самого себя, И это зависит от репозитория шаблонов gitlab-ci для его ci. Я не очень уверен в том, как зародилась эта сеть зависимостей, и владелец этого репо гораздо более опытен, чем я, но для моих целей я разветвил репо, и теперь я пытаюсь изменить его CI, чтобы он был меньше зависит от внешних источников.

РЕДАКТИРОВАТЬ: Для людей из будущего это Dockerfile:

FROM debian
# Install Docker and qemu
# TODO Use docker stable once it properly supports buildx
RUN apt-get update && apt-get install -y \
        apt-transport-https \
        ca-certificates \
        curl \
        gnupg2 \
        software-properties-common && \
    curl -fsSL https://download.docker.com/linux/debian/gpg | apt-key add - && \
    add-apt-repository "deb https://download.docker.com/linux/debian $(lsb_release -cs) stable" && \
    apt-get update && apt-get install -y \
        docker-ce-cli \
        binfmt-support \
        qemu-user-static

# Install buildx plugin
RUN mkdir -p ~/.docker/cli-plugins && \
    ARCH=`dpkg --print-architecture` && echo Running on $ARCH && curl -s https://api.github.com/repos/docker/buildx/releases/latest | \
        grep "browser_download_url.*linux-$ARCH" | cut -d : -f 2,3 | tr -d \" | \
    xargs curl -L -o ~/.docker/cli-plugins/docker-buildx && \
    chmod a+x ~/.docker/cli-plugins/docker-buildx

# Write version file
RUN printf "$(docker --version | perl -pe 's/^.*\s(\d+\.\d+\.\d+.*),.*$/$1/')_$(docker buildx version | perl -pe 's/^.*v?(\d+\.\d+\.\d+).*$/$1/')" > /version && \
    cat /version

И урезанная версия.gitlab-ci.yml

build:
  image: docker:dind
  stage: build
  services:
    - name: docker:dind
      entrypoint: ["env", "-u", "DOCKER_HOST"]
      command: ["dockerd-entrypoint.sh"]
  variables:
    DOCKER_HOST: tcp://docker:2375/
    DOCKER_DRIVER: overlay2
    # See https://github.com/docker-library/docker/pull/166
    DOCKER_TLS_CERTDIR: ""
  before_script:
    - |
      if [[ -z "$CI_COMMIT_TAG" ]]; then
        export CI_APPLICATION_REPOSITORY=${CI_APPLICATION_REPOSITORY:-$CI_REGISTRY_IMAGE/$CI_COMMIT_REF_SLUG}
        export CI_APPLICATION_TAG=${CI_APPLICATION_TAG:-$CI_COMMIT_SHA}
      else
        export CI_APPLICATION_REPOSITORY=${CI_APPLICATION_REPOSITORY:-$CI_REGISTRY_IMAGE}
        export CI_APPLICATION_TAG=${CI_APPLICATION_TAG:-$CI_COMMIT_TAG}
      fi
    - echo "$CI_REGISTRY_PASSWORD" | docker login -u $CI_REGISTRY_USER --password-stdin $CI_REGISTRY
  script:
    - docker build -t "$CI_APPLICATION_REPOSITORY:$CI_APPLICATION_TAG" -t "$CI_APPLICATION_REPOSITORY:latest" .
    - docker push "$CI_APPLICATION_REPOSITORY:$CI_APPLICATION_TAG"  
    - docker push "$CI_APPLICATION_REPOSITORY:latest"

РЕДАКТИРОВАТЬ:

Кроме того, я обнаружил, что эта конфигурация gitlabci, которая использует созданный выше образ, может использовать кеш сборки:

stages:
  - build

variables:
  CI_BUILD_ARCHS: "linux/amd64,linux/arm/v6,linux/arm/v7"
  CI_BUILD_IMAGE: "registry.gitlab.com/gdunstone/docker-buildx-qemu"

build_master:
  image: $CI_BUILD_IMAGE
  stage: build
  services:
    - name: docker:dind
      entrypoint: ["env", "-u", "DOCKER_HOST"]
      command: ["dockerd-entrypoint.sh"]
  variables:
    DOCKER_HOST: tcp://docker:2375/
    DOCKER_DRIVER: overlay2
    # See https://github.com/docker-library/docker/pull/166
    DOCKER_TLS_CERTDIR: ""
  retry: 2
  before_script:
    - docker login -u $CI_REGISTRY_USER -p $CI_REGISTRY_PASSWORD $CI_REGISTRY
  # Use docker-container driver to allow useful features (push/multi-platform)
    - update-binfmts --enable # Important: Ensures execution of other binary formats is enabled in the kernel
    - docker buildx create --driver docker-container --use
    - docker buildx inspect --bootstrap
  script:
    - >
        docker buildx build --platform $CI_BUILD_ARCHS 
        --cache-from=type=registry,ref=$CI_REGISTRY_IMAGE/cache:latest
        --cache-to=type=registry,ref=$CI_REGISTRY_IMAGE/cache:latest
        --progress plain 
        --pull --push 
        --build-arg CI_PROJECT_PATH=$CI_PROJECT_PATH
        -t "$CI_REGISTRY_IMAGE:$CI_COMMIT_SHA" 
        -t "$CI_REGISTRY_IMAGE:latest" .
  only:
    - master

Источник

user3716731 06 июл '20 в 06:53

Другие вопросы по тегам docker build gitlab gitlab-ci multiarch