Всем DevOps! В конце недели подготовили для вас кейс прямиком из производственной среды.
После нескольких месяцев стабильной работы Kubernetes-кластер начинает деградировать:
kubectl выполняет команды по 10–15 секунд, контроллеры медленно обрабатывают изменения, а новые Deployment надолго зависают в статусе Progressing.При этом:
CPU control plane — около 30%.
Memory — 55%.
Дисковый
await — в пределах нормы.Raft leader не теряется.
Но метрики etcd показывают:
etcd_disk_wal_fsync_duration_seconds:
p99 = 4ms
etcd_disk_backend_commit_duration_seconds:
p99 = 350ms
etcd_mvcc_db_total_size_in_bytes:
8 GB
etcd_mvcc_db_total_size_in_use_in_bytes:
2.1 GB
👨💻 Что происходит с etcd? Почему WAL записывается быстро, диск не выглядит перегруженным, но операции с backend занимают сотни миллисекунд?
Делитесь своими версиями в опросе, а после выходных вернёмся с подробным разбором инцидента
#devops #kubernetes #разборинцидента
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍6❤3🔥1🤯1
🤔3❤2
В прошлом посте мы предложили разобраться, почему управляющий контур Kubernetes начал работать медленно, хотя загрузка процессора, использование памяти и состояние дисковой подсистемы не показывали явных проблем.
Спасибо всем, кто принял участие в опросе! Правильный ответ — фрагментация базы данных etcd и отсутствие дефрагментации.
Но остальные варианты тоже описывают реальные причины деградации Kubernetes. Разберём, почему в нашем случае они не подходят.
etcd использует BoltDB для хранения данных. В процессе работы Kubernetes постоянно изменяет состояние объектов, а etcd хранит их версии с помощью механизма MVCC.
Когда старые версии данных больше не нужны, запускается компактизация — удаление устаревших версий и освобождение страниц базы данных.
Но компактизация не уменьшает физический размер файла. Для этого необходима отдельная операция — дефрагментация.
В нашем кейсе:
Общий размер базы — 8 GB.
Фактически используемое пространство — 2.1 GB.
Разница указывает на значительный объём свободных страниц внутри базы.
Почему тормозит Kubernetes?
Метрики показывают:
WAL fsync p99 — 4 ms.
Backend commit p99 — 350 ms.
Загрузка процессора — около 30%.
Лидер Raft-кластера стабилен.
WAL записывается быстро, но операции с базой данных занимают сотни миллисекунд. В сочетании с разницей между общим и используемым размером DB это указывает на фрагментацию.
Проблемы с кворумом действительно могут задерживать операции записи. Но в нашем сценарии лидер стабилен, а признаков потери кворума нет.
Активные запросы на отслеживание изменений могут увеличивать нагрузку на etcd. Но сами по себе они не объясняют разницу между общим и используемым размером базы.
В этом случае росло бы значение
etcd_disk_wal_fsync_duration_seconds. Но p99 составляет всего 4 ms, поэтому эта версия не соответствует наблюдаемым метрикам.1. Проверить настройки и регулярность компактизации.
2. Сделать резервную копию etcd.
3. Выполнить дефрагментацию участников кластера поочерёдно, контролируя сохранение кворума.
4. Проверить размер базы и динамику времени выполнения операций записи.
Пример команды:
etcdctl --endpoints=$ENDPOINT defragВажно, что дефрагментация это ресурсоёмкая операция. Выполняйте её поочерёдно на участниках кластера, контролируя сохранение кворума.
Вывод: компактизация освобождает место внутри базы, а дефрагментация уменьшает её физический размер. Обе операции важны для поддержания производительности etcd.
А вы сталкивались с фрагментацией etcd в промышленных кластерах? Делитесь опытом в комментариях!
#kubernetes #etcd #devops #разбор_инцидента
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥11👍6❤4
Компания подтвердила проблему с сетевым оборудованием. К 15:15 по московскому времени 17 ноября работа сервисов была восстановлена.
Подробнее — в материале vc.ru.
Режим уже признан устаревшим, поэтому пользователям рекомендуют заранее перейти на nftables или iptables.
Детали можно узнать в блоге Kubernetes.
В AlmaLinux 10.3 обновили Podman до версии 6: Netavark стал единственным сетевым механизмом,
slirp4netns заменили на pasta, а поддержка cgroups v1 прекращена. Эти изменения стоит учитывать при обновлении серверов. Больше об изменениях в статье AlmaLinux.
Downdetector также фиксировал всплеск жалоб на работу «Ростелекома». Причины неполадок пока не установлены, официальных комментариев не поступало.
Подробнее — в материале 3DNews.
#новостной_дайджест #devopsfm #kubernetes #almalinux
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍5❤4🔥4
В это воскресенье у нашего канала первый юбилей — целых 5 лет!
Спасибо, что вы с нами! Читаете посты, ставите реакции, делитесь мнением и поддерживаете нас репостами. Нам очень ценна ваша активность и поддержка
В честь юбилея приглашаем вас проголосовать в нашем опросе и рассказать, какой контент вам интереснее, а также принять участие в праздничном розыгрыше подарков!
Продолжаем делать DevOps FM лучше вместе!
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥8👍3
Какой контент вам хотелось бы видеть чаще?
Anonymous Poll
69%
Разборы релизов, интересных технических статей и полезных GitHub-репозиториев🔎
64%
Новостные дайджесты и актуальные события из мира DevOps и IT
20%
Контент для досуга: подборки подкастов, пятничное чтиво и обзоры игр🎧
45%
Технические интерактивы: онлайн-тренажеры, практические задания, разборы кейсов и инцидентов
6%
Другие темы и форматы (напишу в комментариях)💡
Розыгрыш подарков в честь пятилетия DevOps FM! 🎉
Подготовили для вас три приятных и полезных подарка:
🎁 Книга «Высоконагруженные приложения. Программирование, масштабирование, поддержка. 2-е издание» — популярный технический бестселлер от O’Reilly, посвящённый архитектуре распределённых систем, обработке данных, масштабированию и созданию надёжных приложений.
🎁 Промокод на скидку 25% на курсы Codeby Academy — нашей площадки-партнёра, специализирующейся на обучении информационной безопасности и смежным IT-направлениям. Отличная возможность освоить новые навыки или углубить уже имеющиеся знания!
🎁 Сертификат Ozon на 1500 рублей — чтобы выбрать что-нибудь полезное для работы, учёбы или просто порадовать себя приятной покупкой.
Как принять участие:
1️⃣ Быть подписанным на канал DevOps FM.
2️⃣ Проголосовать в опросе о форматах контента выше.
3️⃣ Поставить «+» в комментариях под этим постом.
🗓 Итоги мы подведём случайным образом, а результаты объявим 27 ноября!
Важно: бесплатная доставка книги осуществляется только в пределах РФ.
Желаем удачи!
#розыгрыш
Подготовили для вас три приятных и полезных подарка:
Как принять участие:
🗓 Итоги мы подведём случайным образом, а результаты объявим 27 ноября!
Важно: бесплатная доставка книги осуществляется только в пределах РФ.
Желаем удачи!
#розыгрыш
Please open Telegram to view this post
VIEW IN TELEGRAM
2❤8🔥7👍1