DevOps FM
5.31K subscribers
785 photos
15 videos
10 files
892 links
♾️ Канал для тех, кто живёт слиянием разработки и эксплуатации (DevOps) и сис. администрированием.

Новости, статьи, практики, инструменты и развлекательный контент. Cloud Native, Docker, Kubernetes, БД, мониторинг и пр.

Алена @alyona2780
Download Telegram
🚨 Что тормозит Kubernetes – разбор инцидента

Всем DevOps! В конце недели подготовили для вас кейс прямиком из производственной среды.

После нескольких месяцев стабильной работы Kubernetes-кластер начинает деградировать: kubectl выполняет команды по 10–15 секунд, контроллеры медленно обрабатывают изменения, а новые Deployment надолго зависают в статусе Progressing.

При этом:

CPU control plane — около 30%.
Memory — 55%.
Дисковый await — в пределах нормы.
Raft leader не теряется.

Но метрики etcd показывают:


etcd_disk_wal_fsync_duration_seconds:
p99 = 4ms

etcd_disk_backend_commit_duration_seconds:
p99 = 350ms

etcd_mvcc_db_total_size_in_bytes:
8 GB

etcd_mvcc_db_total_size_in_use_in_bytes:
2.1 GB


👨‍💻 Что происходит с etcd? Почему WAL записывается быстро, диск не выглядит перегруженным, но операции с backend занимают сотни миллисекунд?

Делитесь своими версиями в опросе, а после выходных вернёмся с подробным разбором инцидента⬇️

#devops #kubernetes #разборинцидента
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍6❤3🔥1🤯1
🚨 Что тормозит Kubernetes — разбираем инцидент

В прошлом посте мы предложили разобраться, почему управляющий контур Kubernetes начал работать медленно, хотя загрузка процессора, использование памяти и состояние дисковой подсистемы не показывали явных проблем.

Спасибо всем, кто принял участие в опросе! Правильный ответ — фрагментация базы данных etcd и отсутствие дефрагментации.

Но остальные варианты тоже описывают реальные причины деградации Kubernetes. Разберём, почему в нашем случае они не подходят.

⌨️Что произошло?

etcd использует BoltDB для хранения данных. В процессе работы Kubernetes постоянно изменяет состояние объектов, а etcd хранит их версии с помощью механизма MVCC.

Когда старые версии данных больше не нужны, запускается компактизация — удаление устаревших версий и освобождение страниц базы данных.

Но компактизация не уменьшает физический размер файла. Для этого необходима отдельная операция — дефрагментация.

В нашем кейсе:

Общий размер базы — 8 GB.
Фактически используемое пространство — 2.1 GB.

Разница указывает на значительный объём свободных страниц внутри базы.

Почему тормозит Kubernetes?

Метрики показывают:

WAL fsync p99 — 4 ms.
Backend commit p99 — 350 ms.
Загрузка процессора — около 30%.
Лидер Raft-кластера стабилен.

WAL записывается быстро, но операции с базой данных занимают сотни миллисекунд. В сочетании с разницей между общим и используемым размером DB это указывает на фрагментацию.

🟡 Почему не остальные варианты?

⏺️Проблема с кворумом Raft.

Проблемы с кворумом действительно могут задерживать операции записи. Но в нашем сценарии лидер стабилен, а признаков потери кворума нет.

⏺️Большое количество запросов на отслеживание изменений (watch).

Активные запросы на отслеживание изменений могут увеличивать нагрузку на etcd. Но сами по себе они не объясняют разницу между общим и используемым размером базы.

⏺️Медленная синхронизация WAL с диском.

В этом случае росло бы значение etcd_disk_wal_fsync_duration_seconds. Но p99 составляет всего 4 ms, поэтому эта версия не соответствует наблюдаемым метрикам.

⚙️ Как исправить?

1. Проверить настройки и регулярность компактизации.
2. Сделать резервную копию etcd.
3. Выполнить дефрагментацию участников кластера поочерёдно, контролируя сохранение кворума.
4. Проверить размер базы и динамику времени выполнения операций записи.

Пример команды:

etcdctl --endpoints=$ENDPOINT defrag


Важно, что дефрагментация это ресурсоёмкая операция. Выполняйте её поочерёдно на участниках кластера, контролируя сохранение кворума.

Вывод: компактизация освобождает место внутри базы, а дефрагментация уменьшает её физический размер. Обе операции важны для поддержания производительности etcd.

А вы сталкивались с фрагментацией etcd в промышленных кластерах? Делитесь опытом в комментариях!

#kubernetes #etcd #devops #разбор_инцидента
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥11👍6❤4
🔔В эфире DevOps FM – срединедельный дайджест новостей!

⏺️Сбой Timeweb затронул облачные сервисы, хостинг и VPS.

Компания подтвердила проблему с сетевым оборудованием. К 15:15 по московскому времени 17 ноября работа сервисов была восстановлена.

Подробнее — в материале vc.ru.

⏺️Kubernetes планирует удалить IPVS из kube-proxy в версии 1.40.

Режим уже признан устаревшим, поэтому пользователям рекомендуют заранее перейти на nftables или iptables.

Детали можно узнать в блоге Kubernetes.

⏺️Вышли AlmaLinux 10.3 и 9.9.

В AlmaLinux 10.3 обновили Podman до версии 6: Netavark стал единственным сетевым механизмом, slirp4netns заменили на pasta, а поддержка cgroups v1 прекращена. Эти изменения стоит учитывать при обновлении серверов.

Больше об изменениях в статье AlmaLinux.

⏺️Пользователи в России сообщили о проблемах с доступом к Google, DeepSeek, Twitch и Discord.

Downdetector также фиксировал всплеск жалоб на работу «Ростелекома». Причины неполадок пока не установлены, официальных комментариев не поступало.

Подробнее — в материале 3DNews.

#новостной_дайджест #devopsfm #kubernetes #almalinux
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍5❤4🔥4
🎤 DevOps FM празднует!

В это воскресенье у нашего канала первый юбилей — целых 5 лет! 🎉Все эти годы мы делимся с вами новостями, релизами и интересными материалами из мира DevOps и системного администрирования.

Спасибо, что вы с нами! Читаете посты, ставите реакции, делитесь мнением и поддерживаете нас репостами. Нам очень ценна ваша активность и поддержка 💛

В честь юбилея приглашаем вас проголосовать в нашем опросе и рассказать, какой контент вам интереснее, а также принять участие в праздничном розыгрыше подарков!🎁

Продолжаем делать DevOps FM лучше вместе!
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥8👍3
Розыгрыш подарков в честь пятилетия DevOps FM! 🎉

Подготовили для вас три приятных и полезных подарка:

🎁Книга «Высоконагруженные приложения. Программирование, масштабирование, поддержка. 2-е издание» — популярный технический бестселлер от O’Reilly, посвящённый архитектуре распределённых систем, обработке данных, масштабированию и созданию надёжных приложений.

🎁Промокод на скидку 25% на курсы Codeby Academy — нашей площадки-партнёра, специализирующейся на обучении информационной безопасности и смежным IT-направлениям. Отличная возможность освоить новые навыки или углубить уже имеющиеся знания!

🎁Сертификат Ozon на 1500 рублей — чтобы выбрать что-нибудь полезное для работы, учёбы или просто порадовать себя приятной покупкой.


Как принять участие:

1️⃣Быть подписанным на канал DevOps FM.

2️⃣Проголосовать в опросе о форматах контента выше.

3️⃣Поставить «+» в комментариях под этим постом.


🗓 Итоги мы подведём случайным образом, а результаты объявим 27 ноября!

Важно: бесплатная доставка книги осуществляется только в пределах РФ.

Желаем удачи!

#розыгрыш
Please open Telegram to view this post
VIEW IN TELEGRAM
2❤8🔥7👍1