Установка BOSH Director завершается неудачно в vSphere

Question

Установка BOSH Director завершается неудачно в vSphere

Это моя первая установка BOSH для ПКС. Среда:

vSphere 6.5 с VCSA 6.5u2,
OpsMgr 2.2 build 296
bosh stemcell vsphere-ubuntu-trusty build 3586.25
При использовании плоской сети 100.x маршрутизация / межсетевой экран не используются.

Резюме. После развертывания шаблона OpsMgr OVF я настраиваю и устанавливаю BOSH Director. Тем не менее, это не в "Ожидание агента" на панели инструментов. Просмотр "текущего" журнала в виртуальной машине OpsMgr показывает, что она продолжает пытаться прочитать настройки из /dev/sr0, потому что agent.json указывает параметры Source как CDROM. Он не может найти CDROM, поэтому он не работает.

Несколько вопросов:

Как войти в виртуальную машину, которую создает BOSH, когда я изменяю настройку на "пароль BOSH по умолчанию" для всех виртуальных машин в Ops Mgr?
В каталоге /var/tempest/workspaces/default/deployments отсутствует файл bosh.yml. Некоторые документы указывают на это. Так что я не знаю, какие настройки его применяют. Это неправильное местоположение?
Есть ли способ изменить стволовую ячейку, используемую виртуальной машиной OpsMgr? Может быть, я могу использовать предыдущую сборку?
Как на самом деле заполняется agent.json?
Любые предложения по устранению неполадок этого?

Все журналы / файлы ниже:

журнал панели инструментов GUI:

===== 2018-07-30 08:20:52 UTC Running "/usr/local/bin/bosh --no-color --non-interactive --tty create-env /var/tempest/workspaces/default/deployments/bosh.yml"
Deployment manifest: '/var/tempest/workspaces/default/deployments/bosh.yml'
Deployment state: '/var/tempest/workspaces/default/deployments/bosh-state.json'

Started validating
Validating release 'bosh'... Finished (00:00:00)
Validating release 'bosh-vsphere-cpi'... Finished (00:00:00)
Validating release 'uaa'... Finished (00:00:00)
Validating release 'credhub'... Finished (00:00:01)
Validating release 'bosh-system-metrics-server'... Finished (00:00:01)
Validating release 'os-conf'... Finished (00:00:00)
Validating release 'backup-and-restore-sdk'... Finished (00:00:04)
Validating release 'bpm'... Finished (00:00:02)
Validating cpi release... Finished (00:00:00)
Validating deployment manifest... Finished (00:00:00)
Validating stemcell... Finished (00:00:14)
Finished validating (00:00:26)

Started installing CPI
Compiling package 'ruby-2.4-r4/0cdc60ed7fdb326e605479e9275346200af30a25'... Finished (00:00:00)
Compiling package 'vsphere_cpi/e1a84e5bd82eb1abfe9088a2d547e2cecf6cf315'... Finished (00:00:00)
Compiling package 'iso9660wrap/82cd03afdce1985db8c9d7dba5e5200bcc6b5aa8'... Finished (00:00:00)
Installing packages... Finished (00:00:15)
Rendering job templates... Finished (00:00:06)
Installing job 'vsphere_cpi'... Finished (00:00:00)
Finished installing CPI (00:00:23)

Starting registry... Finished (00:00:00)
Uploading stemcell 'bosh-vsphere-esxi-ubuntu-trusty-go_agent/3586.25'... Skipped [Stemcell already uploaded] (00:00:00)

Started deploying
Waiting for the agent on VM 'vm-87b3299a-a994-4544-8043-032ce89d685b'... Failed (00:00:11)
Deleting VM 'vm-87b3299a-a994-4544-8043-032ce89d685b'... Finished (00:00:10)
Creating VM for instance 'bosh/0' from stemcell 'sc-536fea79-cfa6-46a9-a53e-9de19505216f'... Finished (00:00:12)
Waiting for the agent on VM 'vm-fb90eee8-f3ac-45b7-95d3-4e8483c91a5c' to be ready... Failed (00:09:59)
Failed deploying (00:10:38)

Stopping registry... Finished (00:00:00)
Cleaning up rendered CPI jobs... Finished (00:00:00)

Deploying:
Creating instance 'bosh/0':
    Waiting until instance is ready:
    Post https://vcap:<redacted>@192.168.100.201:6868/agent: dial tcp 192.168.100.201:6868: connect: no route to host

Exit code 1
===== 2018-07-30 08:32:20 UTC Finished "/usr/local/bin/bosh --no-color --non-interactive --tty create-env /var/tempest/workspaces/default/deployments/bosh.yml"; Duration: 688s; Exit Status: 1
Exited with 1.

The bosh_state.json

ubuntu@opsmanager-2-2:~$ sudo cat /var/tempest/workspaces/default/deployments/bosh-state.json

{
    "director_id": "851f70ef-7c4b-4c65-73ed-d382ad3df1b7",
    "installation_id": "f29df8af-7141-4aff-5e52-2d109a84cd84",
    "current_vm_cid": "vm-87b3299a-a994-4544-8043-032ce89d685b",
    "current_stemcell_id": "dcca340c-d612-4098-7c90-479193fa9090",
    "current_disk_id": "",
    "current_release_ids": [],
    "current_manifest_sha": "",
    "disks": null,
    "stemcells": [
        {
            "id": "dcca340c-d612-4098-7c90-479193fa9090",
            "name": "bosh-vsphere-esxi-ubuntu-trusty-go_agent",
            "version": "3586.25",
            "cid": "sc-536fea79-cfa6-46a9-a53e-9de19505216f"
        }
    ],
    "releases": []

Agent.json

ubuntu@opsmanager-2-2:~$ sudo cat /var/vcap/bosh/agent.json
{
"Platform": {
    "Linux": {

    "DevicePathResolutionType": "scsi"
    }
},
"Infrastructure": {
    "Settings": {
    "Sources": [
        {
        "Type": "CDROM",
        "FileName": "env"
        }
    ]
    }
}
}
ubuntu@opsmanager-2-2:~$

Наконец, текущий журнал BOSH

/var/vcap/bosh/log/current


2018-07-30_08:42:22.69934 [main] 2018/07/30 08:42:22 DEBUG - Starting agent
2018-07-30_08:42:22.69936 [File System] 2018/07/30 08:42:22 DEBUG - Reading file /var/vcap/bosh/agent.json
2018-07-30_08:42:22.69937 [File System] 2018/07/30 08:42:22 DEBUG - Read content
2018-07-30_08:42:22.69937 ********************
2018-07-30_08:42:22.69938 {
2018-07-30_08:42:22.69938   "Platform": {
2018-07-30_08:42:22.69939     "Linux": {
2018-07-30_08:42:22.69939
2018-07-30_08:42:22.69939       "DevicePathResolutionType": "scsi"
2018-07-30_08:42:22.69939     }
2018-07-30_08:42:22.69939   },
2018-07-30_08:42:22.69939   "Infrastructure": {
2018-07-30_08:42:22.69940     "Settings": {
2018-07-30_08:42:22.69940       "Sources": [
2018-07-30_08:42:22.69940         {
2018-07-30_08:42:22.69940           "Type": "CDROM",
2018-07-30_08:42:22.69940           "FileName": "env"
2018-07-30_08:42:22.69940         }
2018-07-30_08:42:22.69941       ]
2018-07-30_08:42:22.69941     }
2018-07-30_08:42:22.69941   }
2018-07-30_08:42:22.69941 }
2018-07-30_08:42:22.69941
2018-07-30_08:42:22.69941 ********************
2018-07-30_08:42:22.69943 [File System] 2018/07/30 08:42:22 DEBUG - Reading file /var/vcap/bosh/etc/stemcell_version
2018-07-30_08:42:22.69944 [File System] 2018/07/30 08:42:22 DEBUG - Read content
2018-07-30_08:42:22.69944 ********************
2018-07-30_08:42:22.69944 3586.25
2018-07-30_08:42:22.69944 ********************
2018-07-30_08:42:22.69945 [File System] 2018/07/30 08:42:22 DEBUG - Reading file /var/vcap/bosh/etc/stemcell_git_sha1
2018-07-30_08:42:22.69946 [File System] 2018/07/30 08:42:22 DEBUG - Read content
2018-07-30_08:42:22.69946 ********************
2018-07-30_08:42:22.69946 dbbb73800373356315a4c16ee40d2db3189bf2db
2018-07-30_08:42:22.69947 ********************
2018-07-30_08:42:22.69948 [App] 2018/07/30 08:42:22 INFO - Running on stemcell version '3586.25' (git: dbbb73800373356315a4c16ee40d2db3189bf2db)
2018-07-30_08:42:22.69949 [File System] 2018/07/30 08:42:22 DEBUG - Checking if file exists /var/vcap/bosh/agent_state.json
2018-07-30_08:42:22.69950 [File System] 2018/07/30 08:42:22 DEBUG - Stat '/var/vcap/bosh/agent_state.json'
2018-07-30_08:42:22.69951 [Cmd Runner] 2018/07/30 08:42:22 DEBUG - Running command 'bosh-agent-rc'
2018-07-30_08:42:22.70116 [unlimitedRetryStrategy] 2018/07/30 08:42:22 DEBUG - Making attempt #0
2018-07-30_08:42:22.70117 [DelayedAuditLogger] 2018/07/30 08:42:22 DEBUG - Starting logging to syslog...
2018-07-30_08:42:22.70181 [Cmd Runner] 2018/07/30 08:42:22 DEBUG - Stdout:
2018-07-30_08:42:22.70182 [Cmd Runner] 2018/07/30 08:42:22 DEBUG - Stderr:
2018-07-30_08:42:22.70183 [Cmd Runner] 2018/07/30 08:42:22 DEBUG - Successful: true (0)
2018-07-30_08:42:22.70184 [settingsService] 2018/07/30 08:42:22 DEBUG - Loading settings from fetcher
2018-07-30_08:42:22.70185 [ConcreteUdevDevice] 2018/07/30 08:42:22 DEBUG - Kicking device, attempt 0 of 5
2018-07-30_08:42:22.70187 [ConcreteUdevDevice] 2018/07/30 08:42:22 DEBUG - readBytes from file: /dev/sr0
2018-07-30_08:42:23.20204 [ConcreteUdevDevice] 2018/07/30 08:42:23 DEBUG - Kicking device, attempt 1 of 5
2018-07-30_08:42:23.20206 [ConcreteUdevDevice] 2018/07/30 08:42:23 DEBUG - readBytes from file: /dev/sr0
2018-07-30_08:42:23.70217 [ConcreteUdevDevice] 2018/07/30 08:42:23 DEBUG - Kicking device, attempt 2 of 5
2018-07-30_08:42:23.70220 [ConcreteUdevDevice] 2018/07/30 08:42:23 DEBUG - readBytes from file: /dev/sr0
2018-07-30_08:42:24.20229 [ConcreteUdevDevice] 2018/07/30 08:42:24 DEBUG - Kicking device, attempt 3 of 5
2018-07-30_08:42:24.20294 [ConcreteUdevDevice] 2018/07/30 08:42:24 DEBUG - readBytes from file: /dev/sr0
2018-07-30_08:42:24.70249 [ConcreteUdevDevice] 2018/07/30 08:42:24 DEBUG - Kicking device, attempt 4 of 5
2018-07-30_08:42:24.70253 [ConcreteUdevDevice] 2018/07/30 08:42:24 DEBUG - readBytes from file: /dev/sr0
2018-07-30_08:42:25.20317 [ConcreteUdevDevice] 2018/07/30 08:42:25 DEBUG - readBytes from file: /dev/sr0
2018-07-30_08:42:25.20320 [ConcreteUdevDevice] 2018/07/30 08:42:25 ERROR - Failed to red byte from device: open /dev/sr0: no such file or directory
2018-07-30_08:42:25.20321 [ConcreteUdevDevice] 2018/07/30 08:42:25 DEBUG - Settling UdevDevice
2018-07-30_08:42:25.20322 [Cmd Runner] 2018/07/30 08:42:25 DEBUG - Running command 'udevadm settle'
2018-07-30_08:42:25.20458 [Cmd Runner] 2018/07/30 08:42:25 DEBUG - Stdout:
2018-07-30_08:42:25.20460 [Cmd Runner] 2018/07/30 08:42:25 DEBUG - Stderr:
2018-07-30_08:42:25.20461 [Cmd Runner] 2018/07/30 08:42:25 DEBUG - Successful: true (0)
2018-07-30_08:42:25.20462 [ConcreteUdevDevice] 2018/07/30 08:42:25 DEBUG - Ensuring Device Readable, Attempt 0 out of 5
2018-07-30_08:42:25.20463 [ConcreteUdevDevice] 2018/07/30 08:42:25 DEBUG - readBytes from file: /dev/sr0
2018-07-30_08:42:25.20464 [ConcreteUdevDevice] 2018/07/30 08:42:25 DEBUG - Ignorable error from readByte: open /dev/sr0: no such file or directory
2018-07-30_08:42:25.70473 [ConcreteUdevDevice] 2018/07/30 08:42:25 DEBUG - Ensuring Device Readable, Attempt 1 out of 5
2018-07-30_08:42:25.70476 [ConcreteUdevDevice] 2018/07/30 08:42:25 DEBUG - readBytes from file: /dev/sr0
2018-07-30_08:42:25.70477 [ConcreteUdevDevice] 2018/07/30 08:42:25 DEBUG - Ignorable error from readByte: open /dev/sr0: no such file or directory
2018-07-30_08:42:26.20492 [ConcreteUdevDevice] 2018/07/30 08:42:26 DEBUG - Ensuring Device Readable, Attempt 2 out of 5
2018-07-30_08:42:26.20496 [ConcreteUdevDevice] 2018/07/30 08:42:26 DEBUG - readBytes from file: /dev/sr0
2018-07-30_08:42:26.20497 [ConcreteUdevDevice] 2018/07/30 08:42:26 DEBUG - Ignorable error from readByte: open /dev/sr0: no such file or directory
2018-07-30_08:42:26.70509 [ConcreteUdevDevice] 2018/07/30 08:42:26 DEBUG - Ensuring Device Readable, Attempt 3 out of 5
2018-07-30_08:42:26.70512 [ConcreteUdevDevice] 2018/07/30 08:42:26 DEBUG - readBytes from file: /dev/sr0
2018-07-30_08:42:26.70513 [ConcreteUdevDevice] 2018/07/30 08:42:26 DEBUG - Ignorable error from readByte: open /dev/sr0: no such file or directory
2018-07-30_08:42:27.20530 [ConcreteUdevDevice] 2018/07/30 08:42:27 DEBUG - Ensuring Device Readable, Attempt 4 out of 5
2018-07-30_08:42:27.20533 [ConcreteUdevDevice] 2018/07/30 08:42:27 DEBUG - readBytes from file: /dev/sr0
2018-07-30_08:42:27.20534 [ConcreteUdevDevice] 2018/07/30 08:42:27 DEBUG - Ignorable error from readByte: open /dev/sr0: no such file or directory
2018-07-30_08:42:27.70554 [ConcreteUdevDevice] 2018/07/30 08:42:27 DEBUG - readBytes from file: /dev/sr0
2018-07-30_08:42:27.70557 [settingsService] 2018/07/30 08:42:27 ERROR - Failed loading settings via fetcher: Getting settings from all sources: Reading files from CDROM: Waiting for CDROM to be ready: Reading udev device: open /dev/sr0: no such file or directory
2018-07-30_08:42:27.70559 [settingsService] 2018/07/30 08:42:27 ERROR - Failed reading settings from file Opening file /var/vcap/bosh/settings.json: open /var/vcap/bosh/settings.json: no such file or directory
2018-07-30_08:42:27.70560 [main] 2018/07/30 08:42:27 ERROR - App setup Running bootstrap: Fetching settings: Invoking settings fetcher: Getting settings from all sources: Reading files from CDROM: Waiting for CDROM to be ready: Reading udev device: open /dev/sr0: no such file or directory
2018-07-30_08:42:27.70561 [main] 2018/07/30 08:42:27 ERROR - Agent exited with error: Running bootstrap: Fetching settings: Invoking settings fetcher: Getting settings from all sources: Reading files from CDROM: Waiting for CDROM to be ready: Reading udev device: open /dev/sr0: no such file or directory
2018-07-30_08:42:27.71258 [main] 2018/07/30 08:42:27 DEBUG - Starting agent


<and this whole block just keeps repeating>

0

pivotal-cloud-foundry cloud-foundry-bosh

Источник

user3526600 30 июл '18 в 09:20

2 ответа

Другие вопросы по тегам pivotal-cloud-foundry cloud-foundry-bosh

user1585136 30 июл '18 в 13:49 2018-07-30 13:49 · Answer 1 · 2018-07-30 13:49

Как войти в виртуальную машину, которую создает BOSH, когда я изменяю настройку на "пароль BOSH по умолчанию" для всех виртуальных машин в Ops Mgr?

Это не очень хорошая идея. Пароль по умолчанию хорошо известен, и вы почти всегда должны использовать случайно сгенерированные пароли. Я не совсем уверен, почему это даже вариант. Единственное, что приходит на ум, может быть какой-то крайне редкий сценарий устранения неполадок.

Тем не менее, вы можете безопасно получить случайно сгенерированный пароль через Ops Manager, если вам нужно получить доступ к виртуальной машине вручную. Вы также можете безопасно получить доступ к виртуальным машинам через bosh sshи учетные данные обрабатываются автоматически. Даже для устранения неполадок вам обычно не нужна эта опция.

В каталоге /var/tempest/workspaces/default/deployments отсутствует файл bosh.yml. Некоторые документы указывают на это. Так что я не знаю, какие настройки его применяют. Это неправильное местоположение?

Расположение правильное, но файл содержит конфиденциальную информацию, поэтому Ops Manager удаляет ее сразу после завершения использования.

Если вы хотите увидеть содержимое файла, проще всего перейти к https://ops-man-fqdn/debug/files и вы можете увидеть все файлы конфигурации, включая ваши bosh.yml, Сложный путь - наблюдать за папкой выше во время развертывания, и вы увидите, что файл существует в течение короткого периода времени. Вы можете сделать копию в этом окне. Единственным преимуществом трудного пути является то, что вы получите реальный файл, тогда как конечная точка отладки показывает файл с измененной конфиденциальной информацией.

Есть ли способ изменить стволовую ячейку, используемую виртуальной машиной OpsMgr? Может быть, я могу использовать предыдущую сборку?

Я не думаю, что это проблема стволовых клеток. Есть много людей, использующих их и не имеющих этой проблемы. Если бы такая большая проблема была обнаружена со стволовыми клетками, вы бы увидели уведомление в Pivotal Network, и Pivotal опубликует новую фиксированную стволовую клетку.

Проблема также заключается в том, как виртуальная машина получает свою начальную конфигурацию начальной загрузки. Я бы посоветовал разобраться в этом подробнее, прежде чем связываться со стволовыми клетками. Увидеть ниже.

Как на самом деле заполняется agent.json?

Верьте или нет, для сред vSphere этот файл читается с поддельного компакт-диска, подключенного к виртуальной машине. Там не так много задокументировано, но это кратко упоминается в документации BOSH здесь.

https://bosh.io/docs/cpi-api-v1-method/create-vm/

Любые предложения по устранению неполадок этого?

Посмотрите, чтобы понять, почему компакт-диск не может быть установлен. BOSH нуждается в этом, чтобы получить конфигурацию начальной загрузки, так что вам нужно заставить это работать. Если в вашей среде vSphere есть что-то, что мешает монтированию CD-ROM, вам нужно изменить его, чтобы он мог монтироваться.

Если на стороне vSphere ничего нет, я думаю, что следующим шагом будет проверка стандартных системных журналов в /var/log а также dmesg вывод, чтобы увидеть, есть ли какие-либо ошибки или подсказки, почему CD-ROM не может быть загружен / прочитан.

Наконец, попробуйте выполнить несколько ручных тестов для монтирования и чтения с компакт-диска. Начните с просмотра одной из развернутых виртуальных машин BOSH в клиенте vSphere, посмотрите настройки оборудования и убедитесь, что подключен компакт-диск. Он должен указывать на файл с именем env.iso в той же папке, что и виртуальная машина в вашем хранилище данных. Если он подключен и подключен, запустите виртуальную машину и попробуйте смонтировать компакт-диск. Вы должны быть в состоянии увидеть файлы конфигурации BOSH на этом диске.

Надеюсь, это поможет!

user18485798 16 мар '22 в 18:02 2022-03-16 18:02 · Answer 2 · 2022-03-16 18:02

Старый поток, но, возможно, он кому-то поможет, в vCenter есть брандмауэр, который не позволяет агенту разговаривать с директором Bosh.

0

Источник

user18485798 16 мар '22 в 18:02