Мониторим ИТ
8.6K subscribers
394 photos
2 files
1.77K links
Канал о наблюдаемости (Observability): логи, трейсы, метрики.

Реклама: @gals_ad_bot
Вопросы: @antoniusfirst

@usr_bin_linux — Linux

@zabbix_ru — Zabbix

@elasticstack_ru — ElasticSearch/OpenSearch
Download Telegram
Чем вы отправляете запросы к API систем мониторинга?

При работе с Zabbix, Grafana, OpenSearch, Elasticsearch и другими инструментами наблюдаемости частенько появляется необходимость делать запросы к API: проверять методы, собирать коллекции запросов, работать с токенами и потом передавать коллегам готовые примеры.

Когда-то для этих задач я использовал Postman, но со временем отказался от него и перешёл на Bruno. Самый огромный плюс в том, что в последний не нужно постоянно логиниться. Ну, и теперь коллекции хранятся локально в обычных текстовых файлах, нормально версионируются, например, через Git и не требуют обязательной привязки к облачному аккаунту.

Увидел на Хабре статью, где автор описывает аналогичный инструмент, который он сделал сам (ну, или может почти сам). Kurlo, написан на Go. Я пока не пробовал, но планирую затестить в ближайшее время.

В нём:

🚀 коллекции хранятся в YAML и могут находиться в Git-репозитории

🚀 секреты вынесены в зашифрованное локальное хранилище

🚀 поддерживаются скрипты и тесты в синтаксисе Postman

🚀 есть HTTP, GraphQL, WebSocket, gRPC, SSE и MCP

🚀 доступны локальные моки, запуск коллекций по CSV и JSON

🚀 можно собирать нагрузочные сценарии для k6

🚀 предусмотрены CLI для CI/CD и встроенный AI-агент


👉 Postman, Insomnia, Bruno и Kurlo: сравнение API-клиентов в статье на Хабре

Репыч Kurlo на Guthub

Расскажите в комментах чем вы пользуетесь для выполнения запросов к API своих инструментов мониторинга: Postman, Bruno, Insomnia, curl, HTTP Client в IDE или чем-то другим? Интересно собрать опыт сообщества.

📱 Telegram | 📲 MAX
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8👍6⚡2
Мониторим ИТ
Завтра проведу вебинар «Что нового в Zabbix 8.0» Приходите, расскажу, что там нового появилось. 🎙 Ведущий я (Антон Касимов) 📅 Дата: 13 ноября 2026 🕐 Время: 10:00 (мск) 🌐 Формат: онлайн 👉 Регистрация P.S. Запись вебинара будет позже на Ютуб-канале Галс…
Уже через час начнется вебинар «Что нового в Zabbix 8.0».

Приходите, чтобы узнать о новых возможностях знакомого инструмента для мониторинга!

👉 Регистрация

P.S. Запись вебинара будет позже на Ютуб-канале Галс Софтвэр. Не забудьте подписаться, чтобы ее увидеть.
🔥9⚡2👍2
sniffnet

Легковесная утилитка для мониторинга (прослушивания трафика).

Репыч на Гитхабе

📱 Telegram | 📲 MAX
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥7⚡2👍2
Pinterest переводит мониторинг производительности на открытый gProfiler от Intel

Вместе с Intel команда Pinterest доработала открытый инструмент непрерывного профилирования gProfiler. Теперь он автоматически обнаруживает процессы, запускает подходящие профилировщики и формирует единые графики без изменения исходного кода приложений. В общем, 4 столп наблюдаемости.

Агенты потребляют менее 1% CPU в режиме ожидания, профилирование можно включать удалённо через API, а результаты сохраняются в S3 и индексируются в ClickHouse для последующего анализа.

Читать статью

📱 Telegram | 📲 MAX
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5⚡2👍2🤔2
Запись вчерашнего вебинара «Что нового в Zabbix 8.0» уже выложил Youtube-канал.

Смотреть →→→

P.S. Не забудьте подписаться❗️
🔥6👍3⚡2
Что происходит с логом после отправки в VictoriaLogs?

Новая статья из серии о внутреннем устройстве VictoriaLogs прослеживает полный путь одной строки: от HTTP-запроса до передачи подготовленной пачки в слой хранения.

Автор начинает с простейшего append-only хранилища и показывает, почему подход «просто записывать JSON в файл» быстро упирается в полное сканирование, дорогой парсинг и невозможность эффективно удалять старые данные.

Также в статье разобраны три условия сброса буфера, ограничения для входящих строк и причина, по которой только что отправленный лог может появиться в поиске с задержкой около одной–двух секунд.

Материал для тех, кто хочет понимать не только синтаксис LogsQL, но и архитектурные решения, благодаря которым VictoriaLogs обрабатывает большие потоки логов с небольшими затратами ресурсов.

👉 Как строка лога попадает в VictoriaLogs

📱 Telegram | 📲 MAX
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6❤2👍2
Выпиливают batch processor в OpenTelemetry Collector

Batch процессор в OpenTelemetry Collector был и есть обязательный элемент пайплайнов: он сокращал количество запросов к бэкенду и помогал эффективнее передавать телеметрию. Вот даже в статье на Хабре (https://habr.com/ru/articles/1082872/) об этом процессоре писал.

Новость о его выводе из эксплуатации я встретил несколько тревожно, но в итоге решение о выпиливании оказалось логичным: в одном месте убыло в другом прибыло.

По итогу батчинг переносится на уровень exporter и объединяется с sending_queue. Выглядит это дело логично, т.к. требования к размеру запросов, параллелизму и ограничениям пейлоада обычно зависят от конкретного бэкенда.

Если батчинг нужен именно на уровне pipeline, для таких сценариев уже имеется новый процессор queue_batch.

Включение батчинга по умолчанию на уровне экспортера запланировано с Collector v0.171.0, (релиз в феврале 2027) а удаление старого batch processor — с v0.177.0 (релиз в мае 2027). Поэтому миграцию лучше сильно не откладывать.

Разбор миграции в блоге OpenTelemetry

📱 Telegram | 📲 MAX
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3👍3🔥3⚡1
OpenTelemetry не обязательно должен заменять Prometheus

Интересный практический кейс: команда сохранила 214 существующих правил алертинга, дашборды и PromQL-запросы, но добавила распределённую трассировку в 31 Java-сервис — без изменений в коде приложений.

Для этого использовали OpenTelemetry Operator и автоматическую инъекцию Java Agent в Kubernetes. Метрики продолжил собирать Prometheus, а спаны через OTel Collector отправлялись в Tempo.

Связующим звеном стали exemplars (о которых на канале уже был пост): теперь с точки на графике Grafana можно сразу перейти к трейсу конкретного запроса.

В статье есть важный момент: при первом развёртывании Java Agent начал дополнительно экспортировать метрики, из-за чего количество временных рядов выросло с 480 тысяч до 1,1 миллиона. Проблему решили явным разделением ответственности: Prometheus отвечает за метрики, а OpenTelemetry — за трейсы. trace_id при этом связывает оба сигнала в Grafana.

По данным авторов, после внедрения поиск причины последних шести проблем с задержками занимал менее 15 минут вместо примерно часа.

Неплохой пример эволюционного внедрения наблюдаемости без дорогостоящей замены того, что уже работает.

👉 We Added OpenTelemetry Zero-Code Instrumentation Without Replacing Prometheus (материал на английском языке да еще и на medium.com)

📱 Telegram | 📲 MAX
Please open Telegram to view this post
VIEW IN TELEGRAM
❤5👍4⚡2🤔1
Запись вебинара по Pandora FMS

Уж не знаю, помните вы или нет, но 30 сентября мы проводили вебинар, где поговорили в представителем вендора о возможностях коммерческой платформы для мониторинга Pandora FMS. Можно посмотреть в записи.

Смотреть →→→

Напомню, что Pandora FMS умеет в:

🚀 мониторинг сетевой инфраструктуры и оборудования;

🚀 мониторинг серверов, приложений и баы данных;

🚀 мониторинг SCADA-систем и промышленной инфраструктуры;

🚀 сбор логов и работу с событиями;

🚀 виртуализацию и облачные среды;

🚀 инвентаризацию IT-инфраструктуры и интеграцию с CMDB;

🚀 встроенный Service Desk и управление заявками;

🚀 оповещения, отчёты и панели мониторинга;

🚀 автоматизацию и интеграции через API;

🚀 распределённый мониторинг и масштабирование;

🚀 возможности Pandora FMS для комплексного мониторинга IT-инфраструктуры.

А еще Pandora FMS хорошо встаёт вместо PRTG, WhatsUp Gold, Solarwinds и других подобных систем.

Подробнее на сайте →→→

📱 Telegram | 📲 MAX
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6⚡2👍2
Grafana готовит самое заметное визуальное обновление со времён Grafana 7

По мере развития платформы в интерфейсе накопились разные варианты компонентов, визуальных подсказок и сценариев взаимодействия. Теперь команда Grafana постепенно приводит их к единой системе.

Первая часть обновления появилась в Grafana 13.3 и включает:

🚀 новые светлую и тёмную темы с обновлёнными цветовыми палитрами и улучшенной доступностью

🚀 единообразное поведение карточек, панелей, модальных окон и других компонентов

🚀 обновлённые шрифты, границы и тени для более понятной иерархии элементов

🚀 уменьшение визуального шума и более заметное разделение основной и вспомогательной информации

Это именно визуальное обновление, а не полная переработка Grafana. Навигация остаётся прежней, а несовместимых изменений для плагинов не заявлено.

Новый интерфейс пока находится в режиме публичного предварительного просмотра и доступен как в Grafana Cloud, так и в Grafana OSS. В self-managed-инсталляции его можно включить через feature toggle:
[feature_toggles]
grafana.visualDesignRefresh = true

Если обновлённый дизайн не понравится, пока что можно вернуться к прежнему оформлению.

👉 Посмотреть, как меняется интерфейс Grafana в блоге Grafana

📱 Telegram | 📲 MAX
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4❤3👍3
Что нового в Zabbix 8.0 (ультимативный гайд)

Опубликовал большую статью на Хабре с разбором нововведений в новой версии Zabbix.

Читать →→→

Это примерно то же, что было на вебинаре, но в текстовом формате.

P.S. Если вы хотите быстро освоить практическую применимость всех нововведений, приходите на тренинги, где я обо всем подробно расскажу.

📱 Telegram | 📲 MAX
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8❤5👍4
Как настроить мониторинг для 500+ узлов: опыт Percona

В статье разбирают опыт Percona по переработке мониторинга для 500+ узлов.

Старый дашборд PMM на базе Grafana перегружал VictoriaMetrics запросами, медленно открывался и заставлял инженеров искать проблемы среди огромного количества панелей.

Авторы рассказывают, как превратили его в понятную точку входа для расследования инцидентов:

🚀 сосредоточились на задержках, трафике, ошибках и насыщении

🚀 применили подходы RED и USE

🚀 отделили общую оценку состояния от детальной диагностики

🚀 добавили обнаружение аномалий и переход от проблемного статуса к конкретному узлу

🚀 предусмотрели фильтрацию инфраструктуры по окружениям

Читать на Хабре

📱 Telegram | 📲 MAX
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8⚡2👍2
От мониторинга к наблюдаемости: разбираемся с VictoriaTraces

(перевод оригинальной статьи)

В статье пишут как построить работу с трейсами на базе OpenTelemetry и VictoriaTraces — нового компонента экосистемы VictoriaMetrics для хранения и анализа распределённых трейсов.

Вы узнаете:

🚀 чем observability отличается от традиционного мониторинга

🚀 как устроены traces, spans, trace_id и parent_id

🚀 какую роль играют OpenTelemetry SDK, Collector и протокол OTLP

🚀 как развернуть VictoriaTraces в Kubernetes с помощью Helm

🚀 как подключить автоматическую инструментацию приложения

🚀 как просматривать трассировки в Grafana

🚀 как связать метрики, логи и трейсы

🚀 как с помощью VMAlert и recording rules превращать данные трассировок в метрики для дашбордов и оповещений

Автор также показывает конфигурацию VictoriaTraces, отправку тестового трейса через OTLP, инструментацию FastAPI и построение метрик по длительности запросов.

VictoriaTraces: трейсинг, наблюдаемость и OpenTelemetry (перевод)

VictoriaTraces: Tracing, Observability, and OpenTelemetry (оригинал)

📱 Telegram | 📲 MAX
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥6👍3⚡2
Когда домашняя инфраструктура становится маленьким продакшеном

Пара серверов, десятки контейнеров, базы данных и личные сервисы — и вот проверять всё вручную через SSH уже неудобно. К тому же кратковременный сбой легко пропустить: к моменту подключения контейнер перезапустился, а следы проблемы остались только в логах.

Автор статьи пишет как он собирает полноценную систему наблюдения для VPS и домашнего сервера:

🚀 Prometheus — сбор и хранение метрик

🚀 Node Exporter — состояние серверов

🚀 cAdvisor — потребление ресурсов контейнерами

🚀 Blackbox Exporter — доступность сервисов и контроль TLS-сертификатов

🚀 Grafana Alloy и Loki — централизованный сбор Docker-логов

🚀 Grafana — единая точка анализа метрик и журналов

🚀 Alertmanager — группировка событий и отправка уведомлений в Telegram

В статье есть архитектурная схема (вот она, выше), примеры Docker Compose, конфигурации Prometheus и Alloy, правила алертинга и мониторинг резервного копирования.

Читать на Хабре

📱 Telegram | 📲 MAX
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9⚡3❤3
Активные юзеры Zabbix, вам сюда

Если у вас стоит Zabbix и вы хоть раз мечтали о готовых отчетах, аудите действий и мониторинге сервисов, есть новость.

У системы «Пульт» - форка Zabbix – появилась community-версия. Разработчики сохранили совместимость с ядром, но докрутили сверху собственные модули:

• Go API* — быстрые интеграции и работа под высокой нагрузкой.
• RSM* — контроль состояния сервисов, SLA и зависимостей между компонентами.
• Report Server — отчёты в PDF и XLSX.
• Session Manager — управление сессиями и аудит действий пользователей.
• SIEM — отправка событий аудита во внешние системы ИБ.

И все это раздают бесплатно. Ограничения несущественные: Community рассчитана на 500 объектов и 3 прокси. HA и вендорской техподдержки тоже нет.

Но для тестовых стендов, пилотов или небольшого прода — вполне себе вариант. Можно развернуть, поковыряться в новых модулях и посмотреть, насколько всё это хозяйство вам подходит. А если где-то застряли с настройкой — спросить совета в чате сообщества.

Дистрибутив получаем на сайте или в боте.

*Модули Go API и RSM появятся в ближайшем релизе 2.4 до конца 2026 года.
👎14👍6🔥5❤1
Ваш под Kubernetes постоянно завершается OOMKilled. Вот как SRE на самом деле разбираются в причинах (перевод статьи)

kubectl top помогает найти контейнер с растущим потреблением памяти, но почти ничего не говорит о причине. А если приложение работает в distroless-образе без shell и диагностических утилит, привычное расследование становится ещё интереснее.

В статье показано как диагностировать утечки памяти в Kubernetes:

🚀 подключение ephemeral container к работающему Pod через kubectl debug

🚀 доступ к пространству процессов основного контейнера

🚀 поиск подозрительного процесса с помощью top

🚀 анализ RSS, Dirty memory и анонимных областей через pmap

🚀 сравнение снимков памяти, чтобы подтвердить её устойчивый рост

🚀 корректный учёт разделяемой памяти с помощью smem

🚀 поиск места выделения памяти через eBPF и memleak.py

🚀 переход к профилировщикам конкретного языка: pprof, jcmd, heap dump или V8 Heap Snapshot

🚀 проверка фактического потребления памяти на уровне cgroups

Главная мысль: перезапуск Pod устраняет симптом, а не утечку. Для поиска причины приходится спуститься ниже уровня Kubernetes и посмотреть, что происходит с памятью процесса на уровне Linux.

Ваш под Kubernetes постоянно завершается OOMKilled. Вот как SRE на самом деле разбираются в причинах (перевод)

Your Kubernetes Pod Keeps Getting OOMKilled. Here’s How SREs Actually Debug It (оригинал статьи на medium.com)

📱 Telegram | 📲 MAX
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9👍4⚡2❤1
Проведу вебинар по Complex Event Processing (CEP) в Zabbix 8.0

Когда в инфраструктуре происходит один сбой, Zabbix может создать десятки связанных проблем. Оператор получает каскад уведомлений и вынужден вручную выяснять, какое событие стало причиной, а какие оказались его последствиями.

Пост о принципах работы CEP в канале Zabbix Recipes →→→ (подписка на канал категорически приветствуется)

В Zabbix 8.0 для решения этой задачи появился механизм Complex Event Processing. CEP обрабатывает поток событий по правилам, объединяет их во временные окна и позволяет автоматически выделять причины и симптомы, подавлять повторы и находить сложные последовательности событий.

На вебинаре разберёмся:

🚀 чем CEP отличается от зависимостей триггеров и классической корреляции событий

🚀 как отбирать события по важности, хостам, группам и тегам

🚀 как работают длительность, ёмкость и группировка временных окон

🚀 пять режимов обработки событий: None, Simple multiple, Simple once, Cause and symptoms grouping и Pattern match

🚀 какие операции можно выполнять при появлении, добавлении и вытеснении события, закрытии окна или обнаружении шаблона

🚀 как использовать JavaScript для поиска последовательностей через Pattern match

🚀 как применять CEP для дедупликации алертов, группировки каскадных отказов и формирования единого инцидента

📅 24 ноября 2026 года
⏰ 10:00 МСК
🌐 Онлайн

Зарегистрироваться на вебинар

📱 Telegram | 📲 MAX
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5⚡2👍2
«NetBird: Zero Trust-сеть. Как мы ушли от OpenVPN/IPsec» — доклад на конференции GetNet 2026

27 ноября с 11:00 — открытая онлайн - конференция

🎤 Сергей Клепинин расскажет, как перейти от классических VPN к защищённой распределённой сети на базе NetBird, WireGuard и Zero Trust.

Вместо привычных VPN-туннелей — P2P Mesh, интеллектуальный обход NAT, централизованное управление доступом и безопасное объединение облачной инфраструктуры с on-premise без публичных IP.

О чём поговорим в докладе:

— Почему классические VPN не всегда справляются: задержки, NAT и избыточный доступ
— Zero Trust и P2P Mesh: как работают WireGuard, NAT Traversal и микросегментация
— Архитектура NetBird: Management, Signal, Relay, Docker/Kubernetes и интеграция с SSO
— Практические сценарии: объединение облаков и on-premise, безопасный доступ инженеров к сервисам
— Автоматизация и безопасность: API, Access Policies и управление подключением узлов
— Производительность Mesh-сети: сравнение latency и throughput с помощью iPerf3, преимущества и ограничения подхода

Разберём архитектуру, реальные сценарии внедрения и выясним, в каких случаях Mesh-сеть может стать полноценной альтернативой классическому VPN.

🔗Подробнее о конференции
🔥7👍2❤1
Метрики показывают, что приложение потребляет слишком много CPU или памяти. Но какая именно функция в этом виновата?

Для ответа на такой вопрос нужен continuous profiling. Grafana Labs у себя в блоге рассказала о новых возможностях Pyroscope — open source-системы для непрерывного профилирования приложений.

Главные обновления:

🚀 профилирование памяти в Python — можно увидеть не только рост потребления, но и конкретные участки кода, которые выделили остающуюся в памяти область

🚀 профилирование памяти Rust-приложений через jemalloc

🚀 поддержка .NET-приложений в Windows, включая .NET Framework под IIS — пока в статусе public preview

🚀 команды gcx profiles, позволяющие инженерам и AI-агентам запрашивать данные Pyroscope

🚀 поиск сервисов, потребляющих больше всего ресурсов

🚀 exemplars для перехода от агрегированного графика к профилю конкретного процесса, Pod или временного интервала

🚀 экспорт профилей в формат pprof для анализа внешними инструментами

🚀 представление Call Tree, в котором путь до ресурсоёмкой функции отображается как раскрываемое дерево вызовов

А еще у них есть интеграция с AI-агентами. Теперь агент может не только читать исходный код и предполагать причину замедления, но и обращаться к реальным профилям, находить наиболее дорогие функции и анализировать конкретные всплески потребления ресурсов.

Статья для тех, кто хочет дополнить метрики, логи и трассировки четвёртым сигналом наблюдаемости — профилями приложений.

What’s new in Pyroscope: profile more of your workflows, troubleshoot with AI agents в блоге Grafana

📱 Telegram | 📲 MAX
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5⚡2👍2
VictoriaTraces: метрики и алерты на основе спанов трассировок

Автор статьи рассказывает как строить на основе спанов полноценные метрики и оповещения.

В практических примерах показано, как с помощью VictoriaTraces, VMAlert и VMRule получить:

🚀 частоту HTTP-ответов 5xx с группировкой по сервису, namespace, маршруту и коду ответа

🚀 p95 времени обработки HTTP-запросов

🚀 частоту ошибок при обращении приложения к AWS API

🚀 p95 продолжительности запросов к PostgreSQL в AWS RDS

🚀 отдельные правила и уровни критичности для dev, staging и production

🚀 прямые ссылки из уведомления в Grafana на связанные трассировки

Отдельно разбираются атрибуты OpenTelemetry: service.name, http.route, http.status_code, span.kind, Kubernetes namespace и Pod, продолжительность операции и статус span. Именно этот контекст позволяет перейти от сообщения об увеличенной задержки к конкретному сервису, маршруту, запросу или внешней операции.

Есть и важное ограничение: recording rules периодически выполняют запросы к VictoriaTraces и на большой нагрузке могут создавать заметное потребление ресурсов.

А для крупных систем автор рекомендует рассмотреть spanmetrics connector в OpenTelemetry Collector. Но для небольших проектов или инфраструктуры без полноценного OTel-конвейера подход вполне рабочий.

VictoriaTraces: recording rules, метрики и алерты на основе спанов трейсов (перевод статьи)

VictoriaTraces: Recording Rules, Metrics, and Alerts from Trace Spans (оригинал)

📱 Telegram | 📲 MAX
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥4❤3👍2