👾Ловим покемонов в кластерах
Пятница, конец рабочей недели и Pokémon в Kubernetes. Разработчик Анубхав Саньял вдохновился играми для Game Boy и любовью к DevOps. Так, на свет появился Project Yellow Olive, TUI-симулятор на языке Python. Подробнее об архитектуре – тут.
Вместо покемонов, вам предстоит анализировать работу покеподов, устранять проблемы K8S в локальном кластере Minikube, продвигаясь по аркам:
⏺ Oakwood Meadows с фокусом на подах
⏺ Signal Town с практикой работы с сетью и взаимодействием между компонентами (DNS, Ingress)
⏺ Gold Rush City и упор на политики безопасности (RBAC)
⏺ Sakura Harbour с развертыванием, масштабированием и обновлениями приложений.
Последняя локация появилась недавно, и включает масштабирование реплик, работу с ReplicaSet, сценариями отката (rollback) и отладкой неудачных развёртываний.
Желаем хороших выходных и успешного прохождения!
#DevOps #kubernetes #opensource
Пятница, конец рабочей недели и Pokémon в Kubernetes. Разработчик Анубхав Саньял вдохновился играми для Game Boy и любовью к DevOps. Так, на свет появился Project Yellow Olive, TUI-симулятор на языке Python. Подробнее об архитектуре – тут.
Вместо покемонов, вам предстоит анализировать работу покеподов, устранять проблемы K8S в локальном кластере Minikube, продвигаясь по аркам:
Последняя локация появилась недавно, и включает масштабирование реплик, работу с ReplicaSet, сценариями отката (rollback) и отладкой неудачных развёртываний.
Желаем хороших выходных и успешного прохождения!
#DevOps #kubernetes #opensource
Please open Telegram to view this post
VIEW IN TELEGRAM
2❤7🔥5👍3
Как Codex обнаружил регрессию в Kubernetes
👩💻 Начинаем рабочую неделю с фотоотчёта DevOps Lab и рабочего кейса портала HeyOnCall.
После обновления Kubernetes до версии 1.36 Майк Роббинс заметил проблему на небольшом тестовом кластере.
Проблема возникла из-за небольшого регресса в коде
🔵 В статье о том, как найти утечку памяти в
➡️ А здесь мы оставили фото участников лабы, делимся атмосферой. Отмечайте @DevOps_FM в соц.сетях и расскажите о своих впечатлениях – тут 💙
#kubernetes #devops #kubelet #никсис
После обновления Kubernetes до версии 1.36 Майк Роббинс заметил проблему на небольшом тестовом кластере.
kubelet постепенно «съедал» всю память. Поды работали нормально, но pprof обнаружил миллион объектов контекста. Проблема возникла из-за небольшого регресса в коде
startPodSync, и при каждом цикле синхронизации создавался новый context.WithCancel(), а старый никогда не освобождался. С Codex Роббинс быстро обнаружил проблемный коммит, подготовил исправление, прошёл ревью и добился включения патча в основную ветку и бэкпорта для релиза 1.36.3.kubelet с Go pprof и сократить потребление с 1 ГБ до 110 МБ, почему подобные ошибки сложно поймать на тестировании и какая строка кода может привести к утечке сотен мегабайт памяти на каждой ноде. #kubernetes #devops #kubelet #никсис
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍6❤4🔥4
Новостной дайджест от DevOps FM!
🔔 Выходим в эфир с подборкой новостей и практических разборов.
⏺ В блоге Sysdig опубликовали отчёт по безопасности. В июне среди причин инцидентов выделили ошибки конфигурации, свободный доступ к открытым ресурсам в облаке.
Также в отчёте разобрали атаки от 8 июня на Tchap с кражей 13,5 ГБ данных, и от 11 июня с выводом 1,3 ТБ данных. В первом случае в открытый доступ попали email-адреса и сведения об организациях более 73 тыс. из 600 тыс. учетных записей. Детали отчёта – здесь.
⏺ В понедельник вышел релиз OpenSSH версии 10.4. Из нового добавили экспериментальную поддержку схемы подписи ML-DSA 44 + Ed25519, включили реализацию на основе NFA и ужесточили требования к протоколу SSH при обмене ключами. Усилили безопасность и устранили уязвимости в
⏺ С релизом Docker Desktop 4.81.0 от 6 июля обновили Docker Compose до версии 5.2.0 и Docker Scout CLI v1.22.0. Также внесли исправления для работы с kind-кластерами, улучшили загрузку образов и устранили проблему с остановкой контейнеров. В новой версии Docker Desktop учитывает заданные таймауты вместо принудительного завершения через 1 секунду. Все изменения – здесь.
⏺ На портале FreeCodeCamp вышла статья о включении политик нулевого доверия в Kubernetes. Дестини Эрхабор подробно разбирает идентификацию рабочих нагрузок через SPIFFE, SPIRE и Cilium.
На примере Kind-кластера он показывает, почему традиционные политики безопасности, не работают в динамической среде Kubernetes, а также объясняет, как Cilium реализует аутентификацию (mTLS) без Sidecar. Демо – тут.
⏺ На Info Q Мэтт Сондерс разобрал архитектуру HubSpot и рассказал, как компания масштабировала платформу семантического поиска до 20 млрд векторов.
Внутренняя платформа Vector as a Service (VaaS) работает поверх Qdrant и обеспечивает контроль доступа, версионирование данных и сбор обратной связи. Сейчас система обслуживает 38+ команд, включает 200+ индексов, 140+ кластеров в пяти регионах и двух окружениях, а пиковая нагрузка достигает 100 тыс. запросов в секунду.
Как HubSpot сократил время запуска кластеров с Kubernetes Operator читайте – здесь.
#новостная_подборка #devops #kubernetes #openssh #zerotrust
Также в отчёте разобрали атаки от 8 июня на Tchap с кражей 13,5 ГБ данных, и от 11 июня с выводом 1,3 ТБ данных. В первом случае в открытый доступ попали email-адреса и сведения об организациях более 73 тыс. из 600 тыс. учетных записей. Детали отчёта – здесь.
ssh(1), sshd(8), scp(1) и sftp(1). Подробнее об улучшениях – тут.На примере Kind-кластера он показывает, почему традиционные политики безопасности, не работают в динамической среде Kubernetes, а также объясняет, как Cilium реализует аутентификацию (mTLS) без Sidecar. Демо – тут.
Внутренняя платформа Vector as a Service (VaaS) работает поверх Qdrant и обеспечивает контроль доступа, версионирование данных и сбор обратной связи. Сейчас система обслуживает 38+ команд, включает 200+ индексов, 140+ кластеров в пяти регионах и двух окружениях, а пиковая нагрузка достигает 100 тыс. запросов в секунду.
Как HubSpot сократил время запуска кластеров с Kubernetes Operator читайте – здесь.
#новостная_подборка #devops #kubernetes #openssh #zerotrust
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍5❤3🔥3
Всем DevOps! В конце недели подготовили для вас кейс прямиком из производственной среды.
После выката нового ML-инференс-сервиса в Kubernetes поды один за другим уходят в CrashLoopBackOff. На первый взгляд кажется, что проблема в приложении. Но все ли так очевидно?
STATUS: CrashLoopBackOff
При этом в событиях Kubernetes видно:
Liveness probe failed:
connect: connection refused
А в логах контейнера:
Starting model server...
Loading model weights...
Loaded shard 1/4
Loaded shard 2/4
<SIGTERM received, shutting down>
И фрагмент Deployment:
livenessProbe:
initialDelaySeconds: 10
periodSeconds: 5
failureThreshold: 3
👨💻Что здесь происходит? Почему сервис так и не успевает запуститься и оказывается в бесконечном CrashLoopBackOff?
Голосуйте в опросе ниже
#devops #kubernetes #k8s #разборинцидента
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥4👍3❤2💅1
Новостной дайджест от DevOps FM!
⌨️ Делимся свежими новостями, туториалами и разборами инженерных практик.
⏺ Microsoft выкатили патч с рекордным числом исправлений.
Вчера, 14 июля, компания представила релиз с 570 фиксами ОС Windows, обнаруженных искусственным интеллектом. Из них устранили 60 критических уязвимостей, включая CVE-2026-56155, ошибку сервисов активной директории, и CVE-2026-56164, уязвимость Microsoft SharePoint.
⏺ В блоге Kubernetes вышла пошаговая инструкция по созданию собственного экспортера метрик, когда встроенных показателей CPU и памяти недостаточно. В ней разобрали, для каких задач нужен экспортер и как выбрать между Counter, Gauge и Histogram в зависимости от разных сценариев. В конце автор упомянул, как подготовить метрики для использования в
⏺ На Хабре вышло сравнение LLM в производственной среде. На примере использования llama.cpp, Gemma и Qwen в разных сценариях инженеры Wb-Tech решили:
• Перейти с Ollama на llama.cpp, чтобы получить больше контроля над инференсом, настройками, воспроизводимостью и структурированным выводом через GBNF
• Не использовать одну универсальную модель
• Использовать собственные конвееры для стабильных процессов
• Считать веса моделей критической зависимостью и фиксировать версии, хранить копии, не полагаться на внешние репозитории
Больше о бенчмарках и особенностях кейса – в статье.
⏺ Причины низкой производительности GitLab CI разобрал инженер компании OTUS. В статье он приводит 6 основных ошибок в работе: в кэшировании, распределении нагрузки между раннерами, выбором Docker-образов, параллелизацией, сборкой контейнеров и автоскейлингом. А также показывает, в чем измерять эффективность без усложнения инфраструктуры.
⏺ Брайан Грант, СТО ConfigHub, перечислил инструменты по управлению общими настройками рабочих нагрузок в Kubernetes.
Речь идет об автоматизированных проверках и изменениях в контексте безопасности, пробах, запасе количества упавших подов. В статье Брайн описывает подход
#новостная_подборка #devops #kubernetes #llm #gitlab
Вчера, 14 июля, компания представила релиз с 570 фиксами ОС Windows, обнаруженных искусственным интеллектом. Из них устранили 60 критических уязвимостей, включая CVE-2026-56155, ошибку сервисов активной директории, и CVE-2026-56164, уязвимость Microsoft SharePoint.
HorizontalPodAutoscaler через Prometheus Adapter.• Перейти с Ollama на llama.cpp, чтобы получить больше контроля над инференсом, настройками, воспроизводимостью и структурированным выводом через GBNF
• Не использовать одну универсальную модель
• Использовать собственные конвееры для стабильных процессов
• Считать веса моделей критической зависимостью и фиксировать версии, хранить копии, не полагаться на внешние репозитории
Больше о бенчмарках и особенностях кейса – в статье.
Речь идет об автоматизированных проверках и изменениях в контексте безопасности, пробах, запасе количества упавших подов. В статье Брайн описывает подход
Configuration as Data и дает готовые инструменты для анализа состояния кластеров, выявления нарушений. Подробности – на Medium.#новостная_подборка #devops #kubernetes #llm #gitlab
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍4🔥4❤2
Новостной дайджест от DevOps FM!
🔔 Делимся свежими новостями, релизами и разборами инженерных практик за неделю.
🟡 В блоге Kubernetes вышел предварительный обзор версии 1.37, релиз которой запланирован на конец августа.
Разработчики рассказали о ключевых изменениях, которые планируется включить в релиз: более 20 новых экспериментальных функций, а также улучшения для динамического распределения ресурсов, сетевого стека и управления рабочими нагрузками. Подробнее читайте в обзоре.
⚫️ В том же блоге Kubernetes вышел анонс релиза Gateway API v1.6, в котором ресурсы TCPRoute и UDPRoute перешли в стабильный канал Standard.
Это обновление приносит переносимую и стабильную маршрутизацию трафика на L4-уровне. Детали читайте в официальном обзоре.
🟡 Исследователи Wiz обнаружили критическую цепочку уязвимостей CosmosEscape в Azure Cosmos DB (не без ИИ-помощника). Найденая брешь в API Gremlin позволяла полностью обойти изоляцию облака, получить доступ к внутреннему токену платформы и получить доступ на чтение и запись к базам данных любых клиентов, включая внутренние сервисы Microsoft вроде Teams и Copilot.
Microsoft уже полностью устранила проблему, переработав архитектуру безопасности. Подробный технический разбор читайте в материале The Hacker News.
⚫️ Компания Percona представила Technical Preview сервера для MongoDB 8.3, пропустив промежуточные ветки 8.1 и 8.2.
Сборка объединила улучшения сразу трех минорных релизов, включая новый планировщик запросов Cost-Based Ranker, а также прирост производительности до 195% при массовой вставке временных рядов.
Разработчики подчеркивают, что версия предназначена только для ознакомления — какие архитектурные изменения и новые лимиты памяти ждут СУБД, читайте в официальном блоге Percona.
🟡 В блоге Red Hat вышел технический обзор обновлений OpenShift, посвященный защищенным вычислениям и безопасности ИИ.
Одним из ключевых нововведений стал инструмент Agent Sandbox — изолированная среда на уровне виртуальных машин для безопасного запуска автономных ИИ-агентов и выполнения непроверенного кода.
Также технология конфиденциального ИИ на bare-metal серверах перешла в статус GA. Как новые механизмы защищают веса моделей на уровне процессора и GPU — читайте в обзоре.
⚫️ Исследователи обнаружили компрометацию npm-пакета keyv в рамках масштабной кампании Shai-Hulud (“Дюна”, привет).
Вредоносный код запускался через lifecycle-скрипт preinstall и мог извлекать секреты из окружений разработки и CI/CD-пайплайнов, включая токены облачных сервисов.
Зараженные версии удалены из npm. Проверить затронутые зависимости и индикаторы компрометации можно в техническом разборе Wiz.
#новостная_подборка #devops #kubernetes #security #cloudsecurity #mongodb #openshift #supplychain #npm
🔔 Делимся свежими новостями, релизами и разборами инженерных практик за неделю.
🟡 В блоге Kubernetes вышел предварительный обзор версии 1.37, релиз которой запланирован на конец августа.
Разработчики рассказали о ключевых изменениях, которые планируется включить в релиз: более 20 новых экспериментальных функций, а также улучшения для динамического распределения ресурсов, сетевого стека и управления рабочими нагрузками. Подробнее читайте в обзоре.
⚫️ В том же блоге Kubernetes вышел анонс релиза Gateway API v1.6, в котором ресурсы TCPRoute и UDPRoute перешли в стабильный канал Standard.
Это обновление приносит переносимую и стабильную маршрутизацию трафика на L4-уровне. Детали читайте в официальном обзоре.
🟡 Исследователи Wiz обнаружили критическую цепочку уязвимостей CosmosEscape в Azure Cosmos DB (не без ИИ-помощника). Найденая брешь в API Gremlin позволяла полностью обойти изоляцию облака, получить доступ к внутреннему токену платформы и получить доступ на чтение и запись к базам данных любых клиентов, включая внутренние сервисы Microsoft вроде Teams и Copilot.
Microsoft уже полностью устранила проблему, переработав архитектуру безопасности. Подробный технический разбор читайте в материале The Hacker News.
⚫️ Компания Percona представила Technical Preview сервера для MongoDB 8.3, пропустив промежуточные ветки 8.1 и 8.2.
Сборка объединила улучшения сразу трех минорных релизов, включая новый планировщик запросов Cost-Based Ranker, а также прирост производительности до 195% при массовой вставке временных рядов.
Разработчики подчеркивают, что версия предназначена только для ознакомления — какие архитектурные изменения и новые лимиты памяти ждут СУБД, читайте в официальном блоге Percona.
🟡 В блоге Red Hat вышел технический обзор обновлений OpenShift, посвященный защищенным вычислениям и безопасности ИИ.
Одним из ключевых нововведений стал инструмент Agent Sandbox — изолированная среда на уровне виртуальных машин для безопасного запуска автономных ИИ-агентов и выполнения непроверенного кода.
Также технология конфиденциального ИИ на bare-metal серверах перешла в статус GA. Как новые механизмы защищают веса моделей на уровне процессора и GPU — читайте в обзоре.
⚫️ Исследователи обнаружили компрометацию npm-пакета keyv в рамках масштабной кампании Shai-Hulud (“Дюна”, привет).
Вредоносный код запускался через lifecycle-скрипт preinstall и мог извлекать секреты из окружений разработки и CI/CD-пайплайнов, включая токены облачных сервисов.
Зараженные версии удалены из npm. Проверить затронутые зависимости и индикаторы компрометации можно в техническом разборе Wiz.
#новостная_подборка #devops #kubernetes #security #cloudsecurity #mongodb #openshift #supplychain #npm
2🔥4👍3❤2
🎙 Что послушать на выходных: Kubernetes и энергопотребление
В пятницу делимся свежим выпуском Kubernetes Podcast про Project Kepler — open-source проект для наблюдения за энергопотреблением Kubernetes-нагрузок.
В гостях Ники Маноледаки, Staff Platform Engineer в Grafana Labs и мейнтейнер Project Kepler. Вместе с ведущими она обсуждает, как оценивать энергопотребление рабочих нагрузок, какие метрики для этого можно собирать и почему получить реально точные данные не так просто.
Отдельно поговорили о том, зачем Kepler недавно переписали, как проект использует eBPF и Prometheus и при чём здесь растущие вычислительные нагрузки AI.
🎧 Выпуск «Measuring Sustainability via Project Kepler» послушать можно здесь.
Желаем приятного прослушивания и хороших выходных! А тем, кто дежурит🛡, — спокойных смен 🙌🏼
#подкаст #devops #kubernetes #observability #opensource
В пятницу делимся свежим выпуском Kubernetes Podcast про Project Kepler — open-source проект для наблюдения за энергопотреблением Kubernetes-нагрузок.
В гостях Ники Маноледаки, Staff Platform Engineer в Grafana Labs и мейнтейнер Project Kepler. Вместе с ведущими она обсуждает, как оценивать энергопотребление рабочих нагрузок, какие метрики для этого можно собирать и почему получить реально точные данные не так просто.
Отдельно поговорили о том, зачем Kepler недавно переписали, как проект использует eBPF и Prometheus и при чём здесь растущие вычислительные нагрузки AI.
🎧 Выпуск «Measuring Sustainability via Project Kepler» послушать можно здесь.
Желаем приятного прослушивания и хороших выходных! А тем, кто дежурит🛡, — спокойных смен 🙌🏼
#подкаст #devops #kubernetes #observability #opensource
2🔥5❤2👍2
А что, если AI посмотрит ваш Kubernetes?
AI-помощники для Kubernetes — уже далеко не новость.
Но становится интереснее, когда AI работает прямо в OpenShift Console и при включённом Cluster Interaction может получать актуальный контекст работающего кластера.
Red Hat в своем блоге показывает 5 сценариев для OpenShift Lightspeed — AI-помощника, который помогает работать с OpenShift и Kubernetes.
Собрали самое интересное 👇
1. Спросить вместо поиска по документации
Например:
Lightspeed использует официальную документацию Red Hat и учитывает версии OpenShift и Lightspeed в вашем окружении.
2. Сгенерировать YAML
Можно попросить AI подготовить конфигурацию:
Или:
Получаем черновик манифеста, который дальше, конечно, нужно проверить перед применением.
3. Разобраться с проблемой
Здесь уже можно использовать AI не только для генерации конфигурации, но и для troubleshooting.
Например:
Lightspeed может анализировать проблему и проводить через диагностические шаги, помогая понять, куда смотреть дальше.
4. Разобраться с виртуализацией
Для OpenShift Virtualization можно задавать вопросы вроде:
Удобный вариант, чтобы разобраться с Kubernetes-based virtualization и сопоставить её с уже знакомыми подходами.
5. А теперь самое интересное — live-кластер
При включённом Cluster Interaction Lightspeed может получать актуальный контекст активного кластера через OpenShift API.
Например:
То есть вопрос можно сформулировать не только как: «Как сделать X в OpenShift? Но и как: «Что сейчас происходит с моим кластером?»
Сам сценарий AI-assisted troubleshooting для Kubernetes уже существует. Интерес Lightspeed — в его интеграции с OpenShift и доступе к контексту работающего кластера.
При этом Cluster Interaction сейчас имеет статус Technology Preview, поэтому воспринимать его как готовую замену привычным инструментам мониторинга и диагностики точно не стоит.
👀 А когда такая возможность выйдет из Technology Preview — дали бы вы AI read-only доступ к production-кластеру? Делитесь своим мнением в комментариях 💬
#DevOps #Kubernetes #OpenShift #AI
AI-помощники для Kubernetes — уже далеко не новость.
Но становится интереснее, когда AI работает прямо в OpenShift Console и при включённом Cluster Interaction может получать актуальный контекст работающего кластера.
Red Hat в своем блоге показывает 5 сценариев для OpenShift Lightspeed — AI-помощника, который помогает работать с OpenShift и Kubernetes.
Собрали самое интересное 👇
1. Спросить вместо поиска по документации
Например:
How do I configure a custom ingress controller?
What are the prerequisite network requirements for setting up an OpenShift cluster?
Lightspeed использует официальную документацию Red Hat и учитывает версии OpenShift и Lightspeed в вашем окружении.
2. Сгенерировать YAML
Можно попросить AI подготовить конфигурацию:
Generate a YAML file for a deployment running a basic NGINX server with 3 replicas.
Или:
Create a NetworkPolicy that limits traffic to pods in the production namespace.
Получаем черновик манифеста, который дальше, конечно, нужно проверить перед применением.
3. Разобраться с проблемой
Здесь уже можно использовать AI не только для генерации конфигурации, но и для troubleshooting.
Например:
Why is my application pod stuck in ImagePullBackOff?
I am getting a CrashLoopBackOff error on my frontend pod. What is happening there?
Lightspeed может анализировать проблему и проводить через диагностические шаги, помогая понять, куда смотреть дальше.
4. Разобраться с виртуализацией
Для OpenShift Virtualization можно задавать вопросы вроде:
Is there a storage vMotion equivalent?
How do I import a VMware virtual machine into OpenShift Virtualization?
Удобный вариант, чтобы разобраться с Kubernetes-based virtualization и сопоставить её с уже знакомыми подходами.
5. А теперь самое интересное — live-кластер
При включённом Cluster Interaction Lightspeed может получать актуальный контекст активного кластера через OpenShift API.
Например:
Show me all degraded pods running in the payment-processing namespace.
Are there any active security alerts or failed deployments on my cluster right now?
То есть вопрос можно сформулировать не только как: «Как сделать X в OpenShift? Но и как: «Что сейчас происходит с моим кластером?»
Сам сценарий AI-assisted troubleshooting для Kubernetes уже существует. Интерес Lightspeed — в его интеграции с OpenShift и доступе к контексту работающего кластера.
При этом Cluster Interaction сейчас имеет статус Technology Preview, поэтому воспринимать его как готовую замену привычным инструментам мониторинга и диагностики точно не стоит.
#DevOps #Kubernetes #OpenShift #AI
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤4👍4🔥3🤣1
В новой версии добавили 67 изменений: 16 функций перешли в Stable, 23 — в Beta, ещё 27 получили статус Alpha.
Среди основных изменений — переход Metrics API в Stable, обновления сетевых компонентов, поддержка Pod Certificates и Cluster Trust Bundles, а также изменения в kube-proxy и cgroup. Релиз также включает обновления и улучшения для безопасности, управления ресурсами и работы кластера.
Подробнее об изменениях Kubernetes рассказали в своем блоге.
git.kernel.org получает около 6 млн запросов в день, и около 98% из них — боты, которые массово запрашивают страницы отдельных коммитов, создавая постоянную нагрузку на серверы.
На пяти серверах 14–16 из 90 CPU-ядер постоянно заняты обработкой этих запросов, в результате администраторы начали отключать ресурсоёмкие операции, ограничивать анонимный доступ и сокращать количество доступных для обхода ссылок.
Детали читайте в статье.
Сделка была закрыта 31 августа. Команда DuckDB присоединяется к AWS, при этом проект продолжит развиваться под руководством своих основателей. AWS планирует использовать технологии DuckDB для развития своего аналитического стека.
Подробнее на OpenNET.
31 августа закончился период LTS для Debian 11 Bullseye. Для части пакетов и архитектур доступна Extended LTS от Freexian — она продлевает поддержку до 2031 года.
Подробнее на OpenNET.
Ранее мы писали о голосовании Debian по правилам использования генеративного AI. Теперь голосование завершено: проект выбрал вариант Responsible Generative AI Use.
Подробности читайте в статье.
#новостной_дайджест #devopsfm #kubernetes #debian
Please open Telegram to view this post
VIEW IN TELEGRAM
1❤5👍5🔥4
В эфире DevOps FM – срединедельный дайджест новостей!
⏺ В Forgejo обнаружили критическую уязвимость с RCE и CVSS 9.9.
CVE-2026-89094 позволяет выполнить произвольный код при обработке специально подготовленного шаблонного репозитория. Проблема затрагивает версии Forgejo до 16.0.4.
Если Forgejo используется во внутренней Git-инфраструктуре, стоит проверить версию и обновиться.
Подробнее в статье OpenNET.
⏺ Вышел Cilium 1.20 с новыми возможностями для сетей Kubernetes.
Обновили Gateway API до версии 1.6, добавили ExternalAuth, TCPRoute и UDPRoute, а также поддержку IPv6 в AWS ENI IPAM.
Появилась возможность перейти от общего пула IP-адресов к нескольким пулам без пересоздания кластера и смены IP-адресов.
Больше об изменениях читайте в блоге CNCF.
⏺ Исследователи показали способ подмены идентичности рабочей нагрузки в SPIFFE/SPIRE.
Получив root на узле, атакующий может подменить данные cgroup, которые агент SPIRE использует для определения рабочей нагрузки, и получить криптографический идентификатор другой нагрузки.
Способ атаки пока не наблюдали в реальных атаках, но он показывает проблему модели доверия при компрометации узла.
Подробнее — в исследовании Unit 42.
⏺ AWS не смог восстановить часть инфраструктуры после масштабного повреждения.
Масштаб повреждений оказался больше расчётного сценария отказа, поэтому часть ресурсов в Бахрейне и ОАЭ восстановить не удалось.
Часть клиентов перенесла нагрузки в другие регионы. Ещё один пример того, что резервирование между зонами доступности не защищает от сценариев, затрагивающих физическую инфраструктуру региона.
Детали читайте в Reuters.
#новостной_дайджест #devopsfm #kubernetes #security #cilium #aws
CVE-2026-89094 позволяет выполнить произвольный код при обработке специально подготовленного шаблонного репозитория. Проблема затрагивает версии Forgejo до 16.0.4.
Если Forgejo используется во внутренней Git-инфраструктуре, стоит проверить версию и обновиться.
Подробнее в статье OpenNET.
Обновили Gateway API до версии 1.6, добавили ExternalAuth, TCPRoute и UDPRoute, а также поддержку IPv6 в AWS ENI IPAM.
Появилась возможность перейти от общего пула IP-адресов к нескольким пулам без пересоздания кластера и смены IP-адресов.
Больше об изменениях читайте в блоге CNCF.
Получив root на узле, атакующий может подменить данные cgroup, которые агент SPIRE использует для определения рабочей нагрузки, и получить криптографический идентификатор другой нагрузки.
Способ атаки пока не наблюдали в реальных атаках, но он показывает проблему модели доверия при компрометации узла.
Подробнее — в исследовании Unit 42.
Масштаб повреждений оказался больше расчётного сценария отказа, поэтому часть ресурсов в Бахрейне и ОАЭ восстановить не удалось.
Часть клиентов перенесла нагрузки в другие регионы. Ещё один пример того, что резервирование между зонами доступности не защищает от сценариев, затрагивающих физическую инфраструктуру региона.
Детали читайте в Reuters.
#новостной_дайджест #devopsfm #kubernetes #security #cilium #aws
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥5❤4👍2
Бодрый DevOps! В эту пятницу разбираем свежие материалы команды Kubernetes о v1.37 Garhwal. Выбрали несколько изменений, о которых стоит почитать перед обновлением кластера.
HPA теперь может полностью остановить приложение, если нагрузки нет. Пригодится для обработчиков очередей и фоновых задач.
Разбор масштабирования до нуля.
Memory QoS перешёл в Beta. Kubernetes получает более точный контроль за потреблением памяти контейнерами.
Как работает новый механизм.
Компоненты ноды теперь можно запускать от непривилегированного пользователя. Ещё один шаг к уменьшению привилегий в кластере.
Разбор rootless-режима.
DRA получил новые возможности для более гибкого распределения ресурсов — особенно актуально для кластеров с GPU.
Подробнее о DRA.
📚Самое время открыть вкладки, налить кофе и разобраться, что из нового действительно пригодится вашему кластеру.
А если хочется погрузиться глубже — держите полный обзор изменений Kubernetes 1.37.
Желаем всем хороших выходных и спокойных дежурств!🛡
#девопс #kubernetes #пятничное_чтиво
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5❤3🔥3
Новостной дайджест от DevOps FM!
Делимся свежими новостями и важными изменениями в мире DevOps и инфраструктуры за прошедшую неделю.⌨️
⏺ В KVM нашли уязвимость, позволяющую гостевой системе получить доступ к памяти хоста.
CVE-2026-89775 затрагивает ARM64-системы с включённой вложенной виртуализацией. При определённых условиях гостевая система может читать и записывать память ядра хоста.
Проблема появилась в Linux 6.16 и исправлена в версиях 6.18.51 и 7.2.5. Для дистрибутивов стоит проверить доступность исправлений.
Подробнее — в материале OpenNET.
⏺ GitHub усилил защиту GitHub Actions.
GitHub сделал доступным новый механизм контроля запуска workflow. Теперь можно задавать правила, определяющие, кто и какие события может использовать для запуска workflow на уровне организации и репозитория.
Отдельные ограничения появились для pull_request_target: при неправильной настройке он может привести к выполнению недоверенного кода с доступом к секретам репозитория.
Читайте подробности в блоге GitHub.
⏺ GitHub переводит ubuntu-latest на Ubuntu 26.04.
С 19 октября по 19 ноября GitHub начнёт поэтапно переводить ubuntu-latest с Ubuntu 24.04 на 26.04.
Для CI это означает изменение окружения без изменений в самих workflow: обновятся версии системных пакетов и предустановленных инструментов.
Если используется ubuntu-latest, GitHub рекомендует заранее проверить сборки на Ubuntu 26.04 или зафиксировать ubuntu-24.04.
Детали узнавайте в статье на GitHub.
⏺ В Kubernetes 1.37 добавили отслеживание неиспользуемых PVC.
PersistentVolumeClaimUnusedSinceTime перешла в статус Beta и включена по умолчанию.
Теперь Kubernetes может помечать PVC как Unused, если его не использует ни один работающий Pod, и фиксировать время перехода в это состояние.
Это позволит находить давно неиспользуемые PVC и использовать эту информацию для последующей очистки.
Подробности — в блоге Kubernetes.
#новостной_дайджест #devopsfm #kubernetes #github #linux
Делимся свежими новостями и важными изменениями в мире DevOps и инфраструктуры за прошедшую неделю.
CVE-2026-89775 затрагивает ARM64-системы с включённой вложенной виртуализацией. При определённых условиях гостевая система может читать и записывать память ядра хоста.
Проблема появилась в Linux 6.16 и исправлена в версиях 6.18.51 и 7.2.5. Для дистрибутивов стоит проверить доступность исправлений.
Подробнее — в материале OpenNET.
GitHub сделал доступным новый механизм контроля запуска workflow. Теперь можно задавать правила, определяющие, кто и какие события может использовать для запуска workflow на уровне организации и репозитория.
Отдельные ограничения появились для pull_request_target: при неправильной настройке он может привести к выполнению недоверенного кода с доступом к секретам репозитория.
Читайте подробности в блоге GitHub.
С 19 октября по 19 ноября GitHub начнёт поэтапно переводить ubuntu-latest с Ubuntu 24.04 на 26.04.
Для CI это означает изменение окружения без изменений в самих workflow: обновятся версии системных пакетов и предустановленных инструментов.
Если используется ubuntu-latest, GitHub рекомендует заранее проверить сборки на Ubuntu 26.04 или зафиксировать ubuntu-24.04.
Детали узнавайте в статье на GitHub.
PersistentVolumeClaimUnusedSinceTime перешла в статус Beta и включена по умолчанию.
Теперь Kubernetes может помечать PVC как Unused, если его не использует ни один работающий Pod, и фиксировать время перехода в это состояние.
Это позволит находить давно неиспользуемые PVC и использовать эту информацию для последующей очистки.
Подробности — в блоге Kubernetes.
#новостной_дайджест #devopsfm #kubernetes #github #linux
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥8👍6❤4
Почему Kubernetes API server может съесть память на обычном LIST 👀
Получить список объектов через Kubernetes API кажется безобидной операцией. Но в большом кластере один такой запрос может вернуть тысячи объектов и заметно увеличить пиковое потребление памяти.
Где возникает проблема?
API server разбивает большие ответы на страницы, но размер страницы ограничен количеством объектов, а не объёмом данных. Поэтому несколько крупных объектов вполне могут превратить одну страницу в большой объём памяти.
При чтении из etcd такая страница сначала собирается целиком, а затем передаётся API server для обработки:
В результате один и тот же объём данных на короткое время находится в памяти сразу с двух сторон. Если несколько больших запросов выполняются одновременно, API server может упереться в лимит памяти.
Что меняет RangeStream?
В Kubernetes 1.37 etcd RangeStream получил статус Beta. Вместо целой страницы данные передаются небольшими частями: API server обрабатывает их по мере поступления и освобождает память перед следующей частью.
Большой запрос всё равно остаётся большой операцией, но теперь его размер меньше влияет на пиковое потребление памяти.
Что это даёт на практике?
Особенно полезно помнить об этом при расследовании ситуаций, когда API server внезапно начинает потреблять много памяти. Если память растёт рывками, а явного изменения нагрузки нет, причиной может быть не количество запросов, а размер возвращаемых данных.
Например, оператор регулярно получает список крупного пользовательского ресурса, а несколько таких запросов одновременно создают высокий пик памяти.
В таком случае стоит посмотреть, кто выполняет большие запросы, сколько объектов возвращается и насколько велики сами объекты.
Использование
🌐 Подробно о проблеме и механике RangeStream — в разборе Kubernetes.
#kubernetes #devops #et
Получить список объектов через Kubernetes API кажется безобидной операцией. Но в большом кластере один такой запрос может вернуть тысячи объектов и заметно увеличить пиковое потребление памяти.
Где возникает проблема?
API server разбивает большие ответы на страницы, но размер страницы ограничен количеством объектов, а не объёмом данных. Поэтому несколько крупных объектов вполне могут превратить одну страницу в большой объём памяти.
При чтении из etcd такая страница сначала собирается целиком, а затем передаётся API server для обработки:
etcd → API server → декодирование → клиентВ результате один и тот же объём данных на короткое время находится в памяти сразу с двух сторон. Если несколько больших запросов выполняются одновременно, API server может упереться в лимит памяти.
Что меняет RangeStream?
В Kubernetes 1.37 etcd RangeStream получил статус Beta. Вместо целой страницы данные передаются небольшими частями: API server обрабатывает их по мере поступления и освобождает память перед следующей частью.
Большой запрос всё равно остаётся большой операцией, но теперь его размер меньше влияет на пиковое потребление памяти.
Что это даёт на практике?
Особенно полезно помнить об этом при расследовании ситуаций, когда API server внезапно начинает потреблять много памяти. Если память растёт рывками, а явного изменения нагрузки нет, причиной может быть не количество запросов, а размер возвращаемых данных.
Например, оператор регулярно получает список крупного пользовательского ресурса, а несколько таких запросов одновременно создают высокий пик памяти.
В таком случае стоит посмотреть, кто выполняет большие запросы, сколько объектов возвращается и насколько велики сами объекты.
Использование
RangeStream можно проверить по метрике:etcd_request_duration_seconds_count{operation="listStream"}#kubernetes #devops #et
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍8🔥4❤3
🎙 Что послушать на выходных: Kubernetes становится слишком сложным?
Пятница — отличный повод немного отвлечься от рабочих задач и послушать что-нибудь интересное.
В этот раз предлагаем включить свежий выпуск «Kubernetes: слишком сложно?» от DevOps Дефлопе.
В выпуске обсуждают, как Kubernetes прошёл путь от первых развертываний до eBPF, сложных сетевых решений и внутренних платформ. А ещё — зачем скрывать инфраструктурную сложность от разработчиков и сможет ли искусственный интеллект взять на себя часть работы с Kubernetes.
В гостях Александр Качмашев, техлид внутреннего облака в «Точке», и Александр Поломодов, эксперт по архитектуре и ИИ в разработке.
Получился разговор не только про Kubernetes, но и про то, куда движется инфраструктура и каким будет DevOps в будущем.
🎧 Выпуск «Kubernetes: слишком сложно?» послушать можно здесь.
Желаем приятного прослушивания и выходных без инцидентов! А тем, кто дежурит 🛡 — спокойных смен 🙌🏼
#пятничная_подборка #подкаст #devops #kubernetes #platformengineering #ai
Пятница — отличный повод немного отвлечься от рабочих задач и послушать что-нибудь интересное.
В этот раз предлагаем включить свежий выпуск «Kubernetes: слишком сложно?» от DevOps Дефлопе.
В выпуске обсуждают, как Kubernetes прошёл путь от первых развертываний до eBPF, сложных сетевых решений и внутренних платформ. А ещё — зачем скрывать инфраструктурную сложность от разработчиков и сможет ли искусственный интеллект взять на себя часть работы с Kubernetes.
В гостях Александр Качмашев, техлид внутреннего облака в «Точке», и Александр Поломодов, эксперт по архитектуре и ИИ в разработке.
Получился разговор не только про Kubernetes, но и про то, куда движется инфраструктура и каким будет DevOps в будущем.
🎧 Выпуск «Kubernetes: слишком сложно?» послушать можно здесь.
Желаем приятного прослушивания и выходных без инцидентов! А тем, кто дежурит 🛡 — спокойных смен 🙌🏼
#пятничная_подборка #подкаст #devops #kubernetes #platformengineering #ai
1🔥5👍4❤3
В эфире DevOps FM – срединедельный дайджест новостей 🔔
⏺ GitHub Actions пережил серьёзный сбой из-за проблем с сетевой связностью.
5 октября GitHub Actions и Hosted Runners несколько часов работали с перебоями. В пике 47% рабочих процессов завершались ошибкой, а 71,9% заданий не запускались в течение пяти минут.
Причиной стал сетевой сбой между инфраструктурой GitHub и облачными сервисами баз данных и хранения. Self-hosted runners не пострадали.
Узнать подробности можно в статусе GitHub.
⏺ Azure столкнулся со сбоем сетевой инфраструктуры сразу в нескольких регионах.
С 30 сентября по 1 октября проблемы затронули ExpressRoute Gateway, VPN Gateway, Azure Firewall, Application Gateway/WAF и Azure VMware Solution. Часть клиентов столкнулась с деградацией или потерей сетевой связности.
Microsoft связывает сбой с изменением в сервисе управления шлюзами, которое вызвало повышенную нагрузку одновременно с плановым обслуживанием ОС.
Читайте детали в жунале Microsoft.
⏺ Kubernetes-инфраструктура Dell оказалась уязвима сразу по нескольким направлениям.
В Container Storage Modules обнаружили две уязвимости с CVSS 10.0. Без аутентификации они позволяют получить административный доступ к подключённым системам хранения.
Отдельная уязвимость в CSM Operator позволяет получить root на узлах Kubernetes. Dell рекомендует обновить CSM до версии 1.18.0 или новее.
Подробнее — в бюллетене Dell.
⏺ В GitLab AI Gateway нашли способ превратить конфигурацию AI-агента в RCE.
CVE-2026-90970 позволяет пользователю с доступом к Duo Agent Platform выйти за пределы изоляции шаблонов и выполнить команды на AI Gateway.
Уязвимость исправлена в версиях 19.2.4, 19.3.2 и 19.4.1.
Узнать больше можно в GitLab Docs.
⏺ Istio готовится к очередному отключению старых источников артефактов.
13 октября Istio временно отключит старые источники артефактов в Google Cloud. Это очередной тест перед окончательным выводом этой инфраструктуры из эксплуатации в декабре.
Если в CI/CD используются
Подробнее — в блоге Istio.
#новостной_дайджест #devops #kubernetes #github #azure #gitlab #istio
5 октября GitHub Actions и Hosted Runners несколько часов работали с перебоями. В пике 47% рабочих процессов завершались ошибкой, а 71,9% заданий не запускались в течение пяти минут.
Причиной стал сетевой сбой между инфраструктурой GitHub и облачными сервисами баз данных и хранения. Self-hosted runners не пострадали.
Узнать подробности можно в статусе GitHub.
С 30 сентября по 1 октября проблемы затронули ExpressRoute Gateway, VPN Gateway, Azure Firewall, Application Gateway/WAF и Azure VMware Solution. Часть клиентов столкнулась с деградацией или потерей сетевой связности.
Microsoft связывает сбой с изменением в сервисе управления шлюзами, которое вызвало повышенную нагрузку одновременно с плановым обслуживанием ОС.
Читайте детали в жунале Microsoft.
В Container Storage Modules обнаружили две уязвимости с CVSS 10.0. Без аутентификации они позволяют получить административный доступ к подключённым системам хранения.
Отдельная уязвимость в CSM Operator позволяет получить root на узлах Kubernetes. Dell рекомендует обновить CSM до версии 1.18.0 или новее.
Подробнее — в бюллетене Dell.
CVE-2026-90970 позволяет пользователю с доступом к Duo Agent Platform выйти за пределы изоляции шаблонов и выполнить команды на AI Gateway.
Уязвимость исправлена в версиях 19.2.4, 19.3.2 и 19.4.1.
Узнать больше можно в GitLab Docs.
13 октября Istio временно отключит старые источники артефактов в Google Cloud. Это очередной тест перед окончательным выводом этой инфраструктуры из эксплуатации в декабре.
Если в CI/CD используются
gcr.io/istio-release, registry.istio.io или старый источник Helm-чартов, их стоит заменить заранее.Подробнее — в блоге Istio.
#новостной_дайджест #devops #kubernetes #github #azure #gitlab #istio
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍4❤3🔥2
AI Platform Engineering: как найти узкое место и не переплачивать за GPU
Представим ситуацию: AI-сервис тормозит под нагрузкой. Растёт время ответа, пользователи жалуются. Команда добавляет GPU-реплики, но задержка не снижается, а расходы растут.
Проблема может быть не в GPU. Узким местом способны оказаться CPU, подготовка данных, очереди запросов или видеопамять.
Эту тему раскрывают два материала CNCF: почему AI-инфраструктуре нужны согласованно работающие CPU и GPU и что нужно Kubernetes-платформе для работы с AI-нагрузками.
Что проверить до масштабирования?
⏺ GPU загружен слабо, задержка растёт? Проверьте загрузку CPU, ограничения процессорного времени контейнеров, подготовку и передачу данных, ожидание в очередях. Сопоставьте эти показатели с задержками на разных этапах обработки запроса.
⏺ GPU загружен сильно, очередь растёт? Сравните пропускную способность и задержку p95/p99 при разной нагрузке и размерах пакета запросов. Проверьте, не ограничивают ли производительность вычисления или видеопамять.
⏺ Новые реплики не помогают? Проверьте, получают ли они доступ к GPU, хватает ли ресурсов узлов Kubernetes и действительно ли растёт общая пропускная способность, а не только число реплик.
⏺ Задержка нестабильна? Сопоставьте длину очередей, загрузку CPU и GPU, потребление памяти и время обработки на разных этапах. Определите, при какой нагрузке начинает расти задержка.
Проверяйте гипотезы нагрузочными тестами: одна метрика редко объясняет проблему целиком. Оценивайте задержку, пропускную способность и стоимость обработки запросов.
❔ А вы сталкивались с ситуацией, когда масштабирование не помогло? Что оказалось узким местом?
#devops #kubernetes #platformengineering
Представим ситуацию: AI-сервис тормозит под нагрузкой. Растёт время ответа, пользователи жалуются. Команда добавляет GPU-реплики, но задержка не снижается, а расходы растут.
Проблема может быть не в GPU. Узким местом способны оказаться CPU, подготовка данных, очереди запросов или видеопамять.
Эту тему раскрывают два материала CNCF: почему AI-инфраструктуре нужны согласованно работающие CPU и GPU и что нужно Kubernetes-платформе для работы с AI-нагрузками.
Что проверить до масштабирования?
Проверяйте гипотезы нагрузочными тестами: одна метрика редко объясняет проблему целиком. Оценивайте задержку, пропускную способность и стоимость обработки запросов.
#devops #kubernetes #platformengineering
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍5🔥4❤2
🎙Что послушать на выходных: можно ли жить без NVIDIA?
Наступила пятница, время немного отвлечься от задач и узнать, что нового в мире технологий.
В этот раз предлагаем включить свежий выпуск Kubernetes Community Podcast — «Можно ли жить без NVIDIA: китайские видеокарты в проде».
В центре разговора китайские GPU-ускорители, запуск DeepSeek и эксплуатация AI-нагрузок. Участники также разбираются, готов ли Kubernetes к работе с такими решениями и можно ли построить инфраструктуру без привычных производителей железа
Гость подкаста Руслан Гайнанов, руководитель направления инфраструктуры для ML в IT-холдинге Т1.
🎧️️ Послушать можно здесь.
Желаем хороших выходных и поменьше неожиданных алертов!🛡
#пятничная_подборка #подкаст #devops #kubernetes
Наступила пятница, время немного отвлечься от задач и узнать, что нового в мире технологий.
В этот раз предлагаем включить свежий выпуск Kubernetes Community Podcast — «Можно ли жить без NVIDIA: китайские видеокарты в проде».
В центре разговора китайские GPU-ускорители, запуск DeepSeek и эксплуатация AI-нагрузок. Участники также разбираются, готов ли Kubernetes к работе с такими решениями и можно ли построить инфраструктуру без привычных производителей железа
Гость подкаста Руслан Гайнанов, руководитель направления инфраструктуры для ML в IT-холдинге Т1.
🎧️️ Послушать можно здесь.
Желаем хороших выходных и поменьше неожиданных алертов!
#пятничная_подборка #подкаст #devops #kubernetes
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5❤4🔥3
Всем DevOps! В конце недели подготовили для вас кейс прямиком из производственной среды.
После нескольких месяцев стабильной работы Kubernetes-кластер начинает деградировать:
kubectl выполняет команды по 10–15 секунд, контроллеры медленно обрабатывают изменения, а новые Deployment надолго зависают в статусе Progressing.При этом:
CPU control plane — около 30%.
Memory — 55%.
Дисковый
await — в пределах нормы.Raft leader не теряется.
Но метрики etcd показывают:
etcd_disk_wal_fsync_duration_seconds:
p99 = 4ms
etcd_disk_backend_commit_duration_seconds:
p99 = 350ms
etcd_mvcc_db_total_size_in_bytes:
8 GB
etcd_mvcc_db_total_size_in_use_in_bytes:
2.1 GB
👨💻 Что происходит с etcd? Почему WAL записывается быстро, диск не выглядит перегруженным, но операции с backend занимают сотни миллисекунд?
Делитесь своими версиями в опросе, а после выходных вернёмся с подробным разбором инцидента
#devops #kubernetes #разборинцидента
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍6❤3🔥1🤯1
В прошлом посте мы предложили разобраться, почему управляющий контур Kubernetes начал работать медленно, хотя загрузка процессора, использование памяти и состояние дисковой подсистемы не показывали явных проблем.
Спасибо всем, кто принял участие в опросе! Правильный ответ — фрагментация базы данных etcd и отсутствие дефрагментации.
Но остальные варианты тоже описывают реальные причины деградации Kubernetes. Разберём, почему в нашем случае они не подходят.
etcd использует BoltDB для хранения данных. В процессе работы Kubernetes постоянно изменяет состояние объектов, а etcd хранит их версии с помощью механизма MVCC.
Когда старые версии данных больше не нужны, запускается компактизация — удаление устаревших версий и освобождение страниц базы данных.
Но компактизация не уменьшает физический размер файла. Для этого необходима отдельная операция — дефрагментация.
В нашем кейсе:
Общий размер базы — 8 GB.
Фактически используемое пространство — 2.1 GB.
Разница указывает на значительный объём свободных страниц внутри базы.
Почему тормозит Kubernetes?
Метрики показывают:
WAL fsync p99 — 4 ms.
Backend commit p99 — 350 ms.
Загрузка процессора — около 30%.
Лидер Raft-кластера стабилен.
WAL записывается быстро, но операции с базой данных занимают сотни миллисекунд. В сочетании с разницей между общим и используемым размером DB это указывает на фрагментацию.
Проблемы с кворумом действительно могут задерживать операции записи. Но в нашем сценарии лидер стабилен, а признаков потери кворума нет.
Активные запросы на отслеживание изменений могут увеличивать нагрузку на etcd. Но сами по себе они не объясняют разницу между общим и используемым размером базы.
В этом случае росло бы значение
etcd_disk_wal_fsync_duration_seconds. Но p99 составляет всего 4 ms, поэтому эта версия не соответствует наблюдаемым метрикам.1. Проверить настройки и регулярность компактизации.
2. Сделать резервную копию etcd.
3. Выполнить дефрагментацию участников кластера поочерёдно, контролируя сохранение кворума.
4. Проверить размер базы и динамику времени выполнения операций записи.
Пример команды:
etcdctl --endpoints=$ENDPOINT defragВажно, что дефрагментация это ресурсоёмкая операция. Выполняйте её поочерёдно на участниках кластера, контролируя сохранение кворума.
Вывод: компактизация освобождает место внутри базы, а дефрагментация уменьшает её физический размер. Обе операции важны для поддержания производительности etcd.
А вы сталкивались с фрагментацией etcd в промышленных кластерах? Делитесь опытом в комментариях!
#kubernetes #etcd #devops #разбор_инцидента
Please open Telegram to view this post
VIEW IN TELEGRAM
1🔥11👍6❤4
Компания подтвердила проблему с сетевым оборудованием. К 15:15 по московскому времени 17 ноября работа сервисов была восстановлена.
Подробнее — в материале vc.ru.
Режим уже признан устаревшим, поэтому пользователям рекомендуют заранее перейти на nftables или iptables.
Детали можно узнать в блоге Kubernetes.
В AlmaLinux 10.3 обновили Podman до версии 6: Netavark стал единственным сетевым механизмом,
slirp4netns заменили на pasta, а поддержка cgroups v1 прекращена. Эти изменения стоит учитывать при обновлении серверов. Больше об изменениях в статье AlmaLinux.
Downdetector также фиксировал всплеск жалоб на работу «Ростелекома». Причины неполадок пока не установлены, официальных комментариев не поступало.
Подробнее — в материале 3DNews.
#новостной_дайджест #devopsfm #kubernetes #almalinux
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍5❤4🔥4