В прошлом посте мы предложили разобраться, почему управляющий контур Kubernetes начал работать медленно, хотя загрузка процессора, использование памяти и состояние дисковой подсистемы не показывали явных проблем.
Спасибо всем, кто принял участие в опросе! Правильный ответ — фрагментация базы данных etcd и отсутствие дефрагментации.
Но остальные варианты тоже описывают реальные причины деградации Kubernetes. Разберём, почему в нашем случае они не подходят.
etcd использует BoltDB для хранения данных. В процессе работы Kubernetes постоянно изменяет состояние объектов, а etcd хранит их версии с помощью механизма MVCC.
Когда старые версии данных больше не нужны, запускается компактизация — удаление устаревших версий и освобождение страниц базы данных.
Но компактизация не уменьшает физический размер файла. Для этого необходима отдельная операция — дефрагментация.
В нашем кейсе:
Общий размер базы — 8 GB.
Фактически используемое пространство — 2.1 GB.
Разница указывает на значительный объём свободных страниц внутри базы.
Почему тормозит Kubernetes?
Метрики показывают:
WAL fsync p99 — 4 ms.
Backend commit p99 — 350 ms.
Загрузка процессора — около 30%.
Лидер Raft-кластера стабилен.
WAL записывается быстро, но операции с базой данных занимают сотни миллисекунд. В сочетании с разницей между общим и используемым размером DB это указывает на фрагментацию.
Проблемы с кворумом действительно могут задерживать операции записи. Но в нашем сценарии лидер стабилен, а признаков потери кворума нет.
Активные запросы на отслеживание изменений могут увеличивать нагрузку на etcd. Но сами по себе они не объясняют разницу между общим и используемым размером базы.
В этом случае росло бы значение
etcd_disk_wal_fsync_duration_seconds. Но p99 составляет всего 4 ms, поэтому эта версия не соответствует наблюдаемым метрикам.1. Проверить настройки и регулярность компактизации.
2. Сделать резервную копию etcd.
3. Выполнить дефрагментацию участников кластера поочерёдно, контролируя сохранение кворума.
4. Проверить размер базы и динамику времени выполнения операций записи.
Пример команды:
etcdctl --endpoints=$ENDPOINT defragВажно, что дефрагментация это ресурсоёмкая операция. Выполняйте её поочерёдно на участниках кластера, контролируя сохранение кворума.
Вывод: компактизация освобождает место внутри базы, а дефрагментация уменьшает её физический размер. Обе операции важны для поддержания производительности etcd.
А вы сталкивались с фрагментацией etcd в промышленных кластерах? Делитесь опытом в комментариях!
#kubernetes #etcd #devops #разбор_инцидента
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥11👍6❤4