DevOps FM
5.31K subscribers
785 photos
15 videos
10 files
892 links
♾️ Канал для тех, кто живёт слиянием разработки и эксплуатации (DevOps) и сис. администрированием.

Новости, статьи, практики, инструменты и развлекательный контент. Cloud Native, Docker, Kubernetes, БД, мониторинг и пр.

Алена @alyona2780
Download Telegram
🚨 Что тормозит Kubernetes — разбираем инцидент

В прошлом посте мы предложили разобраться, почему управляющий контур Kubernetes начал работать медленно, хотя загрузка процессора, использование памяти и состояние дисковой подсистемы не показывали явных проблем.

Спасибо всем, кто принял участие в опросе! Правильный ответ — фрагментация базы данных etcd и отсутствие дефрагментации.

Но остальные варианты тоже описывают реальные причины деградации Kubernetes. Разберём, почему в нашем случае они не подходят.

⌨️Что произошло?

etcd использует BoltDB для хранения данных. В процессе работы Kubernetes постоянно изменяет состояние объектов, а etcd хранит их версии с помощью механизма MVCC.

Когда старые версии данных больше не нужны, запускается компактизация — удаление устаревших версий и освобождение страниц базы данных.

Но компактизация не уменьшает физический размер файла. Для этого необходима отдельная операция — дефрагментация.

В нашем кейсе:

Общий размер базы — 8 GB.
Фактически используемое пространство — 2.1 GB.

Разница указывает на значительный объём свободных страниц внутри базы.

Почему тормозит Kubernetes?

Метрики показывают:

WAL fsync p99 — 4 ms.
Backend commit p99 — 350 ms.
Загрузка процессора — около 30%.
Лидер Raft-кластера стабилен.

WAL записывается быстро, но операции с базой данных занимают сотни миллисекунд. В сочетании с разницей между общим и используемым размером DB это указывает на фрагментацию.

🟡 Почему не остальные варианты?

⏺️Проблема с кворумом Raft.

Проблемы с кворумом действительно могут задерживать операции записи. Но в нашем сценарии лидер стабилен, а признаков потери кворума нет.

⏺️Большое количество запросов на отслеживание изменений (watch).

Активные запросы на отслеживание изменений могут увеличивать нагрузку на etcd. Но сами по себе они не объясняют разницу между общим и используемым размером базы.

⏺️Медленная синхронизация WAL с диском.

В этом случае росло бы значение etcd_disk_wal_fsync_duration_seconds. Но p99 составляет всего 4 ms, поэтому эта версия не соответствует наблюдаемым метрикам.

⚙️ Как исправить?

1. Проверить настройки и регулярность компактизации.
2. Сделать резервную копию etcd.
3. Выполнить дефрагментацию участников кластера поочерёдно, контролируя сохранение кворума.
4. Проверить размер базы и динамику времени выполнения операций записи.

Пример команды:

etcdctl --endpoints=$ENDPOINT defrag


Важно, что дефрагментация это ресурсоёмкая операция. Выполняйте её поочерёдно на участниках кластера, контролируя сохранение кворума.

Вывод: компактизация освобождает место внутри базы, а дефрагментация уменьшает её физический размер. Обе операции важны для поддержания производительности etcd.

А вы сталкивались с фрагментацией etcd в промышленных кластерах? Делитесь опытом в комментариях!

#kubernetes #etcd #devops #разбор_инцидента
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥11👍6❤4