Часто перезапуск стручков из-за проблем с сетью

Question

Часто перезапуск стручков из-за проблем с сетью

Описание:

У нас есть службы, работающие на Google Container Engine, основанные на библиотеке go-micro golang, и эти службы работают нормально, за исключением случайного перезапуска в течение дня.

Проблема:

Стручки перезагружаются довольно часто в течение дня. Это влияет на наши сервисы и основные сервисы, такие как kube-dns или nginx-ingress. После проверки журналов это выглядит как проблема с сетью, после того, как этот демон docker и kubelet перезапускаются, и он перезапускает наши службы. Это может происходить 10 раз в день или 2 раза в день. Это не постоянно.

Подробности:

Версия:

kubectl version                                                                          
Client Version: version.Info{Major:"1", Minor:"5", GitVersion:"v1.5.2",    GitCommit:"08e099554f3c31f6e6f07b448ab3ed78d0520507", GitTreeState:"clean", BuildDate:"2017-01-12T04:57:25Z", GoVersion:"go1.7.4", Compiler:"gc", Platform:"linux/amd64"}
Server Version: version.Info{Major:"1", Minor:"5", GitVersion:"v1.5.3", GitCommit:"029c3a408176b55c30846f0faedf56aae5992e9b", GitTreeState:"clean", BuildDate:"2017-02-15T06:34:56Z", GoVersion:"go1.7.4", Compiler:"gc", Platform:"linux/amd64"}

ОПЕРАЦИОННЫЕ СИСТЕМЫ:

uname -a
Linux microservices-g1-small-25eedb64-w265 4.4.21+ #1 SMP  Thu Nov 10 02:50:15 PST 2016 x86_64 Intel(R) Xeon(R) CPU @ 2.30GHz   GenuineIntel GNU/Linux

cat /etc/lsb-release
CHROMEOS_AUSERVER=https://tools.google.com/service/update2
CHROMEOS_RELEASE_BOARD=lakitu-signed-mpkeys
CHROMEOS_RELEASE_BRANCH_NUMBER=0
CHROMEOS_RELEASE_BUILDER_PATH=lakitu-release/R56-8977.0.0
CHROMEOS_RELEASE_BUILD_NUMBER=8977
CHROMEOS_RELEASE_BUILD_TYPE=Official Build
CHROMEOS_RELEASE_CHROME_MILESTONE=56
CHROMEOS_RELEASE_DESCRIPTION=8977.0.0 (Official Build) dev-channel lakitu 
CHROMEOS_RELEASE_NAME=Chrome OS
CHROMEOS_RELEASE_PATCH_NUMBER=0
CHROMEOS_RELEASE_TRACK=dev-channel
CHROMEOS_RELEASE_VERSION=8977.0.0
DEVICETYPE=OTHER
GOOGLE_RELEASE=8977.0.0
HWID_OVERRIDE=LAKITU DOGFOOD

Golang микросервисный каркас Go-Micro

Я попытался проверить журналы, чтобы выяснить, что происходит и что я нашел:

rvices-g1-small-25eedb64-s0p6 update_engine[899]: [0310/064853: ИНФО:update_manager-inl.h(52)] ChromeOSPolicy::UpdateCheckAllowed: START 10 марта 06:53:28 gke-microservices-g1-small-25eedb64-s0p6 update_engine[899]: [0310/064908: ПРЕДУПРЕЖДЕНИЕ:valuation_context-inl.h(43)] Ошибка чтения переменной update_disabled: "Не задано значение для update_disabled" 10 марта 06:53:28 gke-microservices-g1-small-25eedb64-s0p6 update_engine[899]: [0310/064932: ПРЕДУПРЕЖДЕНИЕ:valuation_context-inl.h(43)] Ошибка чтения Переменная release_channel_delegated: "Не задано значение для release_channel_delegated" 10 марта 06:53:28 gke-microservices-g1-small-25eedb64-s0p6 update_engine[899]: [0310/065015:INFO:chromeos_policy.cc(314)] Интервал периодической проверки не выполнен, блокировка до 3/10/2017 6:58:27 GMT 10 марта 06:53:28 gke-microservices-g1-small-25eedb64-s0p6 update_engine[899]: [0310/065025:INFO:update_manager-inl.h(74)] ChromeOSPolicy::UpdateCheckAllowed: END 10 марта 06:53:28 gke-microservices-g1-small-25eedb64-s0p6 health-monitor.sh[1435]: Не удалось демону Docker! 10 марта 06:53:28 gke-microservices-g1-small-25eedb64-s0p6 health-monitor.sh [1435]: сбой демона Docker! 10 марта 06:53:28 gke-microservices-g1-small-25eedb64-s0p6 health-monitor.sh [1435]: сбой демона Docker! 10 марта 06:53:28 gke-microservices-g1-small-25eedb64-s0p6 health-monitor.sh [1435]: сбой демона Docker! 10 марта 06:53:28 gke-microservices-g1-small-25eedb64-s0p6 metrics_daemon[903]: [INFO:upload_service.cc(103)] Метрики отключены. Не загружайте образцы метрик. 10 марта 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 health-monitor.sh[1432]: okKubelet вреден для здоровья! 10 марта 06:53:29 докер gke-microservices-g1-small-25eedb64-s0p6 [24076]: time="2017-03-10T06:53:05.302107123Z" level=error msg="Демон принудительного отключения" 10 марта 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: I0310 06:53:17.997217   30078 helpers.go:101] Невозможно получить статистику сети из pid 27012: не удалось прочитать статистику сети: ошибка открытие /proc/27012/net/d 10 марта 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: I0310 06:53:18.134978   30078 helpers.go:101] Невозможно получить статистику сети из pid 26236: не удалось прочитать статистику сети: ошибка открытия /proc/26236/net/d 10 марта 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: I0310 06:53:18.135389   30078 helpers.go:101] Невозможно получить статистику сети из pid 27581: не удалось прочитать статистику сети: ошибка открытия /proc/27581/net/d 10 марта 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: I0310 06:53:18.135801   30078 helpers.go:101] Невозможно получить сетевую статистику из pid 27581: не удалось прочитать net рабочая статистика: ошибка открытия /proc/27581/net/d 10 марта 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: W0310 06:53:18.430715   30078 prober.go:98] Нет исх для контейнера "докер://4a90f704319f64738915bc353515403263a60ad04d5859174b50bb47c255db12" (социально-син 10 марта 06:53:29 ГКЭ-microservices-g1-малых 25eedb64-s0p6 kubelet [30078]: I0310 06: 53: 18,430740   30078 prober.go:106] Проверка живучести для "social-sync-deploy-2745944389-rftmf_on-deploy-dev(80a79ba8-04b6-11e7-be05-42010 10 марта 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: W0310 06:53:18.431064   30078 prober.go:98] Нет ссылки на контейнер "docker://964f8ef2da5de63196f5ddfaec156f6b93fb05671be3dd7f2d90e4efb91cbd34" (heapster-v 10 марта, 06:53:29 gke-micro-6464-s-g64-s-g64-s-g64-s-g64-s-g64-s-g64-s-g64-s) -бсервисах: gke-micro-6464-s-g646: I0310 06:53:18.431076   30078 prober.go:106] Датчик живучести для "heapster-v1.2.0.1-1382115970-l9h4q_kube-system(7f0f2677-04b6-11e7-be05-42010af00129): он 10 марта 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 health-monitor.sh[1432]: % Всего% полученных% Xferd Средняя скорость Время Время Время Текущий 10 марта 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 health-monitor.sh [1432]: загрузка загрузки Всего отработанных левых скоростей 10 марта 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 docker[24076]: time="2017-03-10T06:53:12Z" level=info msg="остановка containerd после получения прекращено "10 марта, 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: W0310 06:53:18.525414   30078 prober.go:98] Нет ссылки на контейнер" kube-dns-4 10 марта 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: I0310 06:53:18.525458   30078 prober.go:106] Датчик готовности для "kube-dns-4101612645-bkt6z_kube-system(7f12f616-04b6-11e7-be05-42010af00129):kubedns" f 10 марта 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: E0310 06:53:18.631190   30078 универсальный.go:197] GenericPLEG: Невозможно извлечь модули: время ожидания операции: контекст мертв превышена строка 10 марта 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: E0310 06:53:18.646004   30078 container_manager_linux.go:625] ошибка при открытии файла pid /var/run/docker.pid: open /var/run/docker.pid: нет такого файла или ужасный 10 марта 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: E0310 06:53:18.893042   30078 kubelet_pods.go:710] Ошибка при перечислении контейнеров: dockertools.operationTimeout{err:context.deadlineExceededError{}} 10 марта 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: E0310 06:53:18.893091   30078 kubelet.go:1860] Не удалось очистить блоки: тайм-аут операции: превышен крайний срок контекста 10 марта 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: I0310 06:53:18.947556   30078 logs.go:41] http: ошибка рукопожатия TLS от 127.0.0.1:39224: EOF 10 марта 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: W0310 06:53:18.990182   30078 prober.go:98] Нет ссылка на контейнер "docker: // 964f8ef2da5de63196f5ddfaec156f6b93fb05671be3dd7f2d90 e4efb91cbd34 "(heapster-v 10 марта 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: I0310 06:53:18.990207   30078 prober.go:106] Проверка живучести для" heapster-v1. 2.0.1-1382115970-l9h4q_kube-system (7f0f2677-04b6-11e7-be05-42010af00129): он 10 марта 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: W0310 06:53:18.990268   30078 prober.go:98] Нет ссылки на контейнер "docker://4a90f704319f64738915bc353515403263a60ad04d5859174b50bb47c255db12" (social-syn, мар. 10 06:53:29 gke-microservices-g1-small-25eedb64-ss: 64: sp. 646: sp. [1,9K данных BLOB-объектов] 10 марта 06:53:29 докер gke-microservices-g1-small-25eedb64-s0p6 [24076]: время ="2017-03-10T06:53:13.043529322Z" уровень = ошибка msg = "Стоп Ошибка контейнера: Остановить контейнер Ошибка контейнера: остановка контейнера 4712afe5f084cf3163bef94ac21e3d63a5179 190e73a8a0fa906a59630b80 10 марта 06:53:29 Докер gke-microservices-g1-small-25eedb64-s0p6 [24076]: time="2017-03-10T06:53:13.078034531Z" level = error msg = "Ошибка остановки контейнера: останов контейнера 1b18343beedfbe58403017fa532b85604c7ec2c96f15bd503747c19ac37f6 10 марта 06:53:29 Док-станция gke-microservices-g1-small-25eedb64-s0p6 [24076]: время = "2017-03-10T06: 53: контейнер, ошибка: уровень остановки: ошибка останова = уровень = ошибка = остановлен 1fb54295ff5ecc734bf12c576880131cb98011cb98e37b5fa982bdd257b69 10 марта 06:53:29 док-станция gke-microservices-g1-small-25eedb64-s0p6 [24076]: время = "2017-03-10T06: контейнерная ошибка Stop: ошибка = msg: b8e52eafa29a8b02263894b3d0d1371a92f1656fea981a6b9842c42b5d939 10 марта 06:53:29 док-станция gke-microservices-g1-small-25eedb64-s0p6 [24076]: время = "контейнер 2017-03-10T06: ошибка Stop: ошибка: стоп-сигнал: ошибка: остановлено: ошибка: ошибка: 0: 0 0 0 0 0" 0508 = ошибка "0: 0: 0" = 0 9b9021078f15bc3ea03770c0c135e978326f8e279e60e9663885218070026 10 марта 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: I0310 06:53:18.990280   30078 prober.go:106] Проверка жизнеспособности для "social-sync-deploy-2745944389-rftmf_on-deploy-dev(80a79ba8-04b6-11e7-be05-42010 10 марта 06:53:29 gke-" microservices-g1-small-25eedb64-s0p6 kubelet[30078]: E0310 06:53:19.219709   30078 eviction_manager.go:204] диспетчер выселений: неожиданный ошибка: сбой ImageStats: не удалось отобразить изображения докера - операция, тим 5 марта 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: I0310 06:53:19.285843   30078 logs.go:41] http: ошибка квитирования TLS от 127.0.0.1:39414: запись tcp 127.0.0.1:10250->127.0.0.1:39414: write: сломанная труба 10 марта 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: I0310 06:53:19.400005   30078 kubelet.go:1725] пропуск синхронизации модуля - [время выполнения контейнера не работает] 10 марта 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: W0310 06:53:19.400065   30078 prober.go:98] Нет ссылки на контейнер "docker://6d63f67520d9b76446a00e1f6d81422f12f2fa93a1a9f85a656c0b49e457ba0c" (social-acc
Mar 10 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: I0310 06:53:19.400079   30078 prober.go:106] Проверка живучести для "развертывания социальных учетных записей-983093656-h9frj_on-" deploy-dev (8071bfd6-04b6-11e7-be05-42 10 марта 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet [30078]: W0310 06: 53: 19.400318 30078 prober.go: 98] Нет исх для контейнера "докер://963021c2befd5e53a61c16ba2f7c97446b4c045bbf92f723e3b899c4fb2cde21" (пост-Metri 10 марта 6:53:29 ГКЭ-microservices-g1-малых 25eedb64-s0p6 kubelet [30078]: I0310 06: 53: 19,400333   30078 prober.go:106] Проверка жизнеспособности для post-metrics-deploy-556584274-z3p67_on-deploy-dev(7f9d4125-04b6-11e7-be05-42010 10 марта 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet[30078]: W0310 06:53:19.400476   30078 prober.go:98] Нет ссылки на контейнер "docker://dc65f853b22eb25bdfaf1ce5bf1d0d6f48e57379caffa526f80a71b086d5247f" (notificati
Mar 10 06:53:29 gke-microsermon-s-gservices-g1) 1432]: [данные о 1.9K BLOB-объектах] 10 марта 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 docker[24076]: time="2017-03-10T06:53:13.078188154Z" level=error msg="Ошибка остановки контейнера: остановка контейнера 8ee3de7c4dd56136b8c8a444f9b58316d190d2d33:ff 664e6464e6472ef Докер gke-microservices-g1-small-25eedb64-s0p6 [24076]: время ="2017-03-10T06:53:13.078226785Z" уровень = ошибка msg = "Ошибка останова контейнера: остановка контейнера a9fefcd23efb7f6472b209d6e383b8050da054c3f4b53315 10295 103165105325102" 5 Докер gke-microservices-g1-small-25eedb64-s0p6 [24076]: время ="2017-03-10T06:53:13.078276076Z" level=error msg="Ошибка остановки контейнера: остановка контейнера 874fdb93aafc0a13bcbeada66f8f031cd52c01f0cecf5 6395 593 5 9 59 6 5 9 13 6 9 9 6 9 9 9 6 9 9 9 6 6 9 9 6 6 9 9 6 9 6 9 9 6 6 9 9 6 6 9 9 6 6 6 9 9 9 9 9 9 9" "10 9 9 9 9 9 9 9 5 5 5 5 6 5 5 5 5 6 10 5 5 6 5 6 5 5 5 5 5 6 6 9 5 9 5 5 5 5 5 9 5 5 5 5 5: ввинайтя, как5 5 Докер gke-microservices-g1-small-25eedb64-s0p6 [24076]: time="2017-03-10T06:53:13.565783448Z" level=error msg="Ошибка остановки контейнера: остановка контейнера 42b9b796470a3a0a345229227cb7fa223967c56ce3b8eeeeeee 563e956963e64c3e3b8e26cc Докер gke-microservices-g1-small-25eedb64-s0p6 [24076]: время ="2017-03-10T06:53:13.565846865Z" л evel = error msg = "Ошибка остановки контейнера: остановка контейнера add6806333a7185aa4944b9bde0c9b2be973a09e59d2b80c09e98e549b180 10 марта, 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 docker [24076-03: 5688: 5388: 5688: 564: 561: -653: время:" = время level = error msg = "Ошибка останова контейнера: остановка контейнера 5631ba532f8b2a4ac262b97fabd2df07a8fe6b0202879e1347a763a5a8921 10 марта 06:53:29 gke-microservices-g1-small-25eedb64-s0p6 kubelet [30078]: 300.45: 190000: 106.400: 030: 030: 0: 10: 0: 0: 0: msg =. исследование для "уведомлений-развертывания-3662335406-r668m_on-deploy-dev(880c38dc-0425-11e7-be05-420

Каждый раз, когда он пытается обновить ChromeOS, у него возникают проблемы с демонами Docker, проблемы с сетью и т. Д.

Кубэ-proxy.log

I0310 06: 53: 17.392671 5 proxier.go: 750] Удаление состояния отслеживания соединения для службы 
IP 10.3.240.10, конечная точка IP 10.0.5.223
Флаг --resource-container устарел, эта функция будет удалена в следующих выпусках
е.
I0310 06:54:12.615435       5 iptables.go:176] Не удалось подключиться к системной шине D-Bus: наберите un
ix /var/run/dbus/system_bus_socket: connect: нет такого файла или каталога
I0310 06:54:12.615488       5 server.go:168] установка оценок OOM не поддерживается в этой сборке
I0310 06:54:12.687932       5 server.go:215] Использование iptables Proxier.
I0310 06:54:12.690596       5 server.go:227] Разрушение правил пользовательского пространства.
I0310 06:54:12.690844       5 healthcheck.go:119] Инициализация проверки работоспособности прокси-куба
I0310 06:54:12.702034       5 conntrack.go:81] Установите для sysctl 'net/netfilter/nf_conntrack_max' значение
 131072
I0310 06:54:12.702366       5 conntrack.go:66] Установка размера хэш-значения conntrack равным 32768
I0310 06:54:12.702927       5 conntrack.go:81] Установить sysctl 'net/netfilter/nf_conntrack_tcp_tim
eout_established'до 86400
I0310 06:54:12.702951       5 conntrack.go:81] Установить sysctl 'net/netfilter/nf_conntrack_tcp_tim
eout_close_wait'до 3600
I0310 06:54:12.714134       5 proxier.go:802] Не синхронизировать iptables до служб и конечных точек
TS были получены от мастера

Больше журналов:

g1-small-25eedb64-w265 kubelet [3344]: I0310 06: 50: 45.445978 3344 docker_manager.go: 1975] Необходимо перезапустить pod инфраконтейнер для "role-creation-1745993421-qxf7z_on-a
Mar 10 06:50:45 gke-microservices-g1-small-25eedb64-w265 kubelet[3344]: I0310 06:50:45.574227    3344 operation_executor.go:917] MountVolume.SetUp успешно выполнен для тома "kubernetes.io/secret/e257aff1-055d-1 10 марта 06:50:45 gke-microservices-g1-small-25eedb64-w265 kubelet[3344]: I0310 06:50:45.575943    3344 docker_manager.go:1975] Необходимо перезапустить pod инфраконтейнер для "social-account-creation-983093656-v мар" 10 06:50:45 gke-microservices-g1-small-25eedb64-w265 kubelet[3344]: I0310 06:50:45.774316    3344 operation_executor.go:917] MountVolume.SetUp успешно выполнен для тома "kubernetes.io/secret/e2762a4c-055d-1 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 kubelet[3344]: I0310 06:50:46.056277    3344 docker_manager.go:1975] Необходимо перезапустить pod инфраконтейнер для "tags-srv" -deployment-626769860-js4h5_on 10 марта 06:50:46 gke -microservices-g1-small-25eedb64-w265 ядро: IPv6: ADDRCONF(NETDEV_UP): eth0: ссылка не готова 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-udevd[6680]: Не удалось сгенерировать постоянный MAC-адрес для veth37abc82a: такого файла или каталога нет. 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]: конфигурация сети изменена, попытка установить соединение. 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 ядро: IPv6: ADDRCONF(NETDEV_CHANGE): eth0: ссылка становится готовой 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 ядро: устройство veth37abc82a перешло в беспорядочный режим 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 ядро: cbr0: порт 3(veth37abc82a) перешел в состояние пересылки 10 марта 06:50:46 gke-microservices-g1- Ядро small-25eedb64-w265: cbr0: порт 3(veth37abc82a) перешел в состояние пересылки 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]: синхронизирован с сервером времени 169.254.169.254:123 (169,254,169,254). 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-networkd [611]: veth37abc82a: приобретенный носитель 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]: Конфигурация сети изменена, попытка установить соединение. 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]: синхронизирован с сервером времени 169.254.169.254:123 (169.254.169.254). 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 kubelet [3344]: I0310 06: 50: 46.626937 3344 Conversion.go: 134] не удалось обработать несколько устройств для контейнера. Пропуск статистики файловой системы 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 kubelet [3344]: I0310 06: 50: 46.627371 3344 converter.go: 134] не удалось обработать несколько устройств для контейнера. Пропуск статистики файловой системы 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 ядро: IPv6: ADDRCONF(NETDEV_UP): eth0: ссылка не готова 10 марта 06:50:46 gke-microservices-g1-small -25eedb64-w265 systemd-timesyncd [570]: конфигурация сети изменена, попытка установить соединение. 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-udevd[6745]: не удалось сгенерировать постоянный MAC-адрес для veth07d02159: такого файла или каталога нет 10 марта 06:50:46 gke-microservices- g1-small-25eedb64-w265 systemd-timesyncd [570]: синхронизирован с сервером времени 169.254.169.254:123 (169.254.169.254). 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]: конфигурация сети изменена, попытка установить соединение. 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]: синхронизирован с сервером времени 169.254.169.254:123 (169.254.169.254). 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 ядро: IPv6: ADDRCONF(NETDEV_CHANGE): eth0: ссылка становится готовой 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-networkd[611]: veth07d02159: Полученная несущая 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]: конфигурация сети изменена, попытка установить соединение. 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]: синхронизирован с сервером времени 169.254.169.254:123 (169.254.169.254). 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 ядро: устройство veth07d02159 перешло в беспорядочный режим 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 ядро: cbr0: порт 12(veth07d02159) перешел в состояние пересылки 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 ядро: cbr0: порт 12(veth07d02159) перешел в состояние пересылки 10 марта 06:50:46 gke-microservices-g1-small- Ядро 25eedb64-w265: IPv6: ADDRCONF(NETDEV_UP): eth0: ссылка не готова 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-udevd[6771]: не удалось создать постоянный MAC-адрес для veth2b02253d: Нет такого файла или каталога. 10 марта, 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]: Конфигурация сети изменена при попытке установить соединение. 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]: синхронизирован с сервером времени 169.254.169.254:123 (169.254.169.254). 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]: конфигурация сети изменена, попытка установить соединение. 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]: синхронизирован с сервером времени 169.254.169.254:123 (169.254.169.254). 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 ядро: IPv6: ADDRCONF(NETDEV_CHANGE): eth0: ссылка становится готовой 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-networkd[611]: veth2b02253d: полученная несущая 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]: изменена конфигурация сети при попытке установить соединение. 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]: синхронизирован с сервером времени 169.254.169.254:123 (169.254.169.254). 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 ядро: устройство veth2b02253d перешло в случайный режим 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 ядро: cbr0: порт 23(veth2b02253d) перешел в состояние пересылки 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 ядро: cbr0: порт 23(veth2b02253d) перешел в состояние пересылки 10 марта 06:50:46 gke-microservices-g1-small- 25eedb64-w265 ядро: IPv6: ADDRCONF(NETDEV_UP): eth0: ссылка не готова 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]: конфигурация сети изменена, попытка установить подключение. 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-udevd[6796]: не удалось создать постоянный MAC-адрес для veth55143c6b: такого файла или каталога нет. 10 марта 06:50:46 gke-microservices- g1-small-25eedb64-w265 systemd-timesyncd [570]: синхронизирован с сервером времени 169.254.169.254:123 (169.254.169.254). 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]: конфигурация сети изменена, попытка установить соединение. 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]: синхронизирован с сервером времени 169.254.169.254:123 (169.254.169.254). 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 ядро: IPv6: ADDRCONF(NETDEV_CHANGE): eth0: ссылка становится готовой 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]: Конфигурация сети изменена, попытка установить соединение. 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-networkd[611]: veth55143c6b: приобретенный носитель 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]: Синхронизировано с сервером времени 169.254.169.254:123 (169.254.169.254). 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 ядро: устройство veth55143c6b перешло в беспорядочный режим 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 ядро: cbr0: порт 30(veth55143c6b) перешел в состояние пересылки 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 ядро: cbr0: порт 30(veth55143c6b) перешел в состояние пересылки 10 марта 06:50:46 gke-microservices-g1-small- 25eedb64-w265 ядро: IPv6: ADDRCONF(NETDEV_UP): eth0: ссылка не готова 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]: конфигурация сети изменена, попытка установить подключение. 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-udevd[6821]: не удалось создать постоянный MAC-адрес для vethe38b8eee: такого файла или каталога нет 10 марта 06:50:46 gke-microservices- g1-small-25eedb64-w265 systemd-timesyncd [570]: синхронизирован с сервером времени 169.254.169.254:123 (169.254.169.254). 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]: конфигурация сети изменена, попытка установить соединение. 10 марта 06:50:46 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]: синхронизирован с сервером времени 169.254.169.254:123 (169.254.169.254). 10 марта 06:50:47 gke-microservices-g1-small-25eedb64-w265 ядро: IPv6: ADDRCONF(NETDEV_CHANGE): eth0: ссылка становится готовой 10 марта 06:50:47 gke-microservices-g1-small-25eedb64-w265 systemd-networkd[611]: vethe38b8eee: Полученная несущая 10 марта 06:50:47 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]: конфигурация сети изменена, попытка установить соединение. 10 марта 06:50:47 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]: синхронизирован с сервером времени 169.254.169.254:123 (169.254.169.254). 10 марта 06:50:47 gke-microservices-g1-small-25eedb64-w265 ядро: устройство vethe38b8eee перешло в беспорядочный режим 10 марта 06:50:47 gke-microservices-g1-small-25eedb64-w265 ядро: cbr0: порт 31(vethe38b8eee) перешел в состояние пересылки 10 марта 06:50:47 gke-microservices-g1-small-25eedb64-w265 ядро: cbr0: порт 31(vethe38b8eee) перешел в состояние пересылки 10 марта 06:50:47 gke-microservices-g1-small- 25eedb64-w265 kubelet[3344]: I0310 06:50:47.113442    3344 docker_manager.go:2236] Определенный IP-адрес pod после инфра-изменения: Роли-развертывание-1745993421-qxf7z 10 марта 06:50:47 gke-microservices-g1-small-25eedb64-w265 kubelet[3344]: I0310 06:50:47.115417    3344 kubelet.go:1816] SyncLoop (PLEG): "social-account-creation-983093656-vh2xt-deploy-dev(e257aff 10 марта, 06:50:47) Докер gke-microservices-g1-small-25eedb64-w265 [3264]: time="2017-03-10T06:50:47.118506356Z" level=error msg="Обработчик для GET /v1.23/images/b.gcr.io-container-registry/microservice 10 марта 06:50:47 gke-microservices-g1-small-25eedb64-w265 kubelet[3344]: I0310 06:50:47.194220    3344 provider.go:119] Обновление кэша для провайдера: *gcp_credentials.dockerConfigKeyProvider 10 марта 06:50:47 gke-microservices-g1-small-25eedb64-w265: IPv6: ADDRCONF (NETDEV_UP)): eth0: ссылка не готова 10 марта 06:50:47 gke-microservices-g1-small-25eedb64-w265 systemd-udevd[6847]: не удалось создать постоянный MAC-адрес для veth2228e3ba: такого файла или каталога нет 10 марта 06: 50: 47 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd [570]: конфигурация сети изменена, попытка установить соединение. 10 марта 06:50:47 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]: синхронизирован с сервером времени 169.254.169.254:123 (169.254.169.254). 10 марта 06:50:47 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]: конфигурация сети изменена, попытка установить соединение. 10 марта 06:50:47 gke-microservices-g1-small-25eedb64-w265 systemd-timesyncd[570]: синхронизирован с сервером времени 169.254.169.254:123 (169.254.169.254).

Вопрос: Это возможно, чтобы избежать / уменьшить количество перезапусков и решить проблемы с сетью, чтобы сделать нашу систему более стабильной?

0

go kubernetes devops google-container-engine go-micro

Источник

user941951 10 мар '17 в 12:15

1 ответ

Другие вопросы по тегам go kubernetes devops google-container-engine go-micro

user371954 10 мар '17 в 14:13 2017-03-10 14:13 · Answer 1 · 2017-03-10 14:13

Это довольно интересно. Пока не решение, я бы порекомендовал:

Откройте заявку в службу поддержки
Запустите некоторые узлы из образа другой системы, container-vm и наблюдайте разницу в поведении
Вы используете микро экземпляры. В этих случаях производительность сети сильно зависит от использования процессора и хранилища. Дополнительную информацию см. На https://cloud.google.com/compute/docs/networks-and-firewalls (выходные шапки).

Экземпляры, которые имеют 0,5 или менее ядер, такие как типы компьютеров с общим ядром, рассматриваются как имеющие 0,5 ядра и пропускную способность сети 1 Гбит / с. И постоянный дисковый ввод-вывод, и сетевой трафик учитывают ограничение сети экземпляра. В зависимости от ваших потребностей убедитесь, что ваш экземпляр может поддерживать любую требуемую постоянную пропускную способность диска для ваших приложений. Для получения дополнительной информации см. Спецификации постоянного диска.

Запустите больше реплик kube-dns и nginx-ingress-controller, чтобы меньше всего зависать от сбоев одного узла