Уязвимости в популярных ML-фреймворках угрожают безопасности организаций

Специалисты JFrog обнаружили серию критических брешей в известных системах машинного обучения.

В MLflow найдена опасность XSS-атак через Jupyter Notebooks (CVE-2024-27132).

Фреймворк H2O подвержен рискам небезопасной десериализации при загрузке внешних моделей (CVE-2024-6960).

PyTorch содержит уязвимость обхода каталогов в TorchScript.

В MLeap выявлена проблема с загрузкой zip-архивов (CVE-2023-5245).

Даже Safetensors может быть скомпрометирован через загрузку вредоносного кода на облачные площадки.

Всего исследователи выявили 22 проблемы безопасности в клиентских компонентах ML-платформ.

Доверяй, но проверяй, в общем как всегда.

#MLflow #PyTorch #SecurityVulnerabilities
———
@tsingular

MLflow 3.9.0: среда тестирования моделей, промптов и агентов

Вдруг обнаружил, что до сих пор не рассказывал про MLflow. А зря, - он давно перестал быть просто «инструментом для оценки LLM» и превратился в критически важную часть инфраструктуры для тех, кто строит агентские системы.

С выходом версии 3.9.0 MLflow замахнулся на поляну операционной среды для эры агентов.

⚙️ Что изменилось и почему это важно для бизнеса:

1. Deep Agent Tracing (Трассировка). Главная проблема агентов — их непредсказуемость. MLflow теперь позволяет пошагово «размотать» цепочку рассуждений (Reasoning). Если агент решил подделать логи или обойти правила безопасности (как в недавних скандальных бенчмарках), вы увидите это в деталях. Без такой наблюдаемости (Observability) выпускать агентов в продакшн, - наивно.

2. Промпты как код. В новой версии управление промптами встроено в жизненный цикл разработки. Это позволяет версионировать их, тестировать и контролировать так же жестко, как код. Это база для корпоративного контроля.

3. Автоматизация оценки (Eval 2.0). Мы уходим от субъективного «вроде отвечает нормально» к автоматическим метрикам на галлюцинации, точность и безопасность прямо внутри пайплайна.

🚀 Стратегический итог:
Эра «дикого ИИ» на коленке заканчивается. Если вы строите архитектуру на базе автономных агентов (особенно с использованием протоколов типа MCP), вам нужен инструмент аудита и мониторинга.

DSники знают про него давно именно со стороны скоринга нейронок, а вот промпты, агентов, рассуждения и пайплайны в него добавили сравнительно недавно.

Лайфхак, - если не хотите поднимать сами, - поручите агенту.
Он сам поднимет и подключится.

Качать тут: MLFlow

#MLflow #MLOps
------
@tsingular

MLflow 3.10.0: Мульти-воркспейсы и трекинг LLM-костов

MLflow продолжает укреплять позиции главного хаба для тех, кто строит LLM-системы в проде. В версии 3.10.0 акцент сделан на полноценный контроль бюджетов и мульти-агентских сессий.

⚡ Организации и мульти-воркспейсы:
Теперь трекинг-сервер поддерживает логическую изоляцию. Эксперименты, модели и промпты можно группировать по воркспейсам. Для кровавого энтерпрайза это киллер-фича: один сервер на всю компанию, но у каждой команды свой закрытый контур.

💰 LLM Trace Cost Tracking:
Скрытые расходы на токены теперь как на ладони. MLflow автоматически извлекает данные о модели из spans и считает стоимость вызовов прямо в UI трейсов.

🎯 Multi-turn Evaluation:
Оценка диалогов перешла на уровень сессий. Появилась симуляция разговоров — можно прогнать новую версию агента через «допрос» виртуальным пользователем, не тратя время на ручное тестирование (LLM-as-judge встроен).

📈 Бизнес-эффект:
Прозрачность и масштаб. Инструмент превращается из «блокнота дата-сайентиста» в финансовый и управленческий дашборд для CISO и CIO. Зная точную стоимость каждого запроса, проще обосновывать ROI и выбирать правильные модели.

Если кто еще не в курсе,- MLflow это такой автотюнер для ИИ экосистемы.
Раньше только для моделей было, а теперь там и промпты и агенты (т.е. можно навыки тюнить через него по метрикам) и ИИ как оценщик и даже свой роутер моделей встроенный с биллингом, т.е. LiteLLM, например , уже не нужен.

#MLflow #GenAI #FinOps #MLOps #LLM
------
@tsingular

О, а навыки-то оказывается у MLflow уже есть

Просто их не видно на главной, - совсем свежие.

Изучаем, добавляем!
https://github.com/mlflow/skills


Спасибо, подписчикам за наводку :)

#mlflow #skills
———
@tsingular

в догонку отчёт Pre-Mortem агента Кляйна.

там дальше еще 3 страницы с деталями локального конфига, поэтому тут не публикую.
Просто как иллюстрация работы техники.

#premortem #openclaw #mlflow
———
@tsingular

и по итогу, новости все-таки хорошие.

Краб сам докрутил скиллы, переписав их с учётом оценки рисков от Кляйна (агента премортем)
Тесты пройдены.

Новые скиллы работают.

#MLFlow #openclaw #premortem
———
@tsingular

Перевод: надежность ИИ-агентских систем,- от промптов к управлению

Переход к автономным агентам требует повышения требований к качеству ответов на всей траектории принятия решений.

Наткнулся на интересный гайд и решил перевести для вас.
В нем разобрано:

• Версионирование: почему промпты и логика агента должны жить в реестре (MLflow Registry), а не в коде.

• Матрица оценки: как измерять надежность без «золотого стандарта» (Reference-Free) и когда важен контроль каждого шага.

• Мониторинг рассуждений: как HITL (человек в контуре) и анализ трасс помогают избежать галлюцинаций в продакшене.

• Проблема дрейфа: что делать, когда база знаний RAG меняется быстрее, чем мы успеваем её тестировать.

Агенты — это не только про интеллект и инструменты, но и про прослеживаемость.

📖 Читать полностью:
— На tsingular.ru
— На Nukonechno.ru

#агенты #MLflow #обучение
───
@tsingular

MLflow 3.11.0rc1,- персональный AI Gateway

После серии скандалов с LiteLLM, которые за последний год 2 раза умудрились поймать уязвимости, которые поставили под угрозу всю ИИ экосистему, разработчики MLFlow выпилили их из своего фреймворка и написали свой встроенный гейт.

Теперь MLflow помогает не только в оценке и мониторинге моделей, промптов, навыков агентов, но и в биллинге, отслеживании расходов токенов по моделям и по собственно гейтованию доступов по разным провайдерам.

Т.е. по сути еще и оценку скорости работы провайдеров можно на нем держать.

Полезный комбайн, обновляемся.

#MLFlow #gate
———
@tsingular

MLflow и OpenClaw: гайд по наблюдаемости

MLflow выпустил официальный гайд по трейсингу OpenClaw-агентов. Проблема знакомая: агент автономно решает, какие инструменты дергать, в каком порядке и стоит ли спавнить саб-агентов. Когда всё работает — непонятно почему. Когда ломается — непонятно где.

🔍 Что видно в трейсе: Каждый запуск агента — иерархическое дерево спаунов. LLM-вызовы с полным промптом и ответом, инструментальные вызовы с параметрами и результатами, саб-агенты со своими вложенными шагами.
Токены, тайминги, ошибки — всё под контролем.
ReAct-цикл агента разворачивается в пошаговую хронологию.

🏠 Local-first: MLflow полностью self-hosted, Linux Foundation. Трейсы лежат на вашей машине, ни байта не уходит наружу. Для персонального агента с доступом к почте, календарю и файлам это обязательное требование.

🛡 AI Gateway: Проксирует LLM-вызовы, хранит API-ключи в одном месте (зашифрованные), и даёт глобальный бюджетный лимит по всем провайдерам. Бесконечный retry-loop саб-агента больше не сожрёт бюджет незаметно.

📊 Dashboard + Auto Eval: Дашборд показывает частоту ошибок, популярность инструментов, тренды токенов. Automatic evaluation подсвечивает проблемные паттерны без ручного анализа.

🔄 Цикл самоулучшения: Человеческий фидбек (thumbs down на трейс, заметка по сессии) превращается в датасет. Агент через MLflow CLI/скиллы может читать свои трейсы, видеть негативный фидбек и корректировать скилл-определения. Наблюдение → аннотация → обучение на собственной истории.

⚙️ Установка:



openclaw plugins install @mlflow/mlflow-openclaw

uvx mlflow server --port 5000

openclaw mlflow configure. 

Трейсинг автоматический, навыки и конфиг агента менять не нужно.

💼 Зачем бизнесу: Агенты без наблюдаемости — это самолёт без приборной панели. MLflow Tracing даёт тот минимум телеметрии, при котором агент превращается из хайпа в инженерную систему. Трейсы → фидбек → датасет → оценка → итерация. Классический ML-цикл, только на уровне агента.

Для Гермесика бы еще выпустили

#MLflow #OpenClaw #трейсинг #наблюдаемость #агенты #LLM
───
@tsingular

Omnigent теперь можно отслеживать в MLflow

Проблема знакомая каждому кто всерьёз работает с AI-агентами: планируешь в Cursor, пишешь код в Claude Code, тесты гоняешь через Pi, ревью делаешь в Codex.

Каждый инструмент пишет свои логи в своём формате. Собрать общую картину происходящего практически невозможно, - и большинство команд просто забивают на observability.

Omnigent решает ровно эту проблему. Он унифицирует интерфейс между разными агентскими средами: Claude Code пишет код, Codex ревьюит, Pi тестирует — и всё это через один API.
Проект набрал уже более 6 000 звёзд на GitHub меньше чем за месяц, и вот теперь получил интеграцию с MLflow Tracing.

📋 Как работает:
• Ставится одной командой: uv tool install omnigent mlflow
• Пять переменных окружения — и всё готово. omnigent run поднимает сервер, все вызовы автоматически попадают в MLflow в виде структурированных трейсов
• В MLflow видно полную картину: какой агент что сделал, какие инструменты вызвал, с какими аргументами, сколько токенов и времени потратил
• Трейсы стандартизированы на OpenTelemetry — не надо ничего допиливать

💡 Штука в том что это не просто дашборд ради дашборда.
Когда все агентские вызовы лежат в одном месте, появляются вещи которые раньше были невозможны.
Вышла новая дешёвая опенсорс модель — запускаешь before-vs-after анализ на трейсах и видишь на каких именно шагах она справляется а на каких нет.
Меняешь MCP-провайдера — A/B-тест покажет какой из них даёт лучший результат за те же деньги.
Видишь что 30% тул-коллов на конкретном harness избыточны — режешь и экономишь токены.

От «я скопировал промпт из Codex в Claude Code» до «у меня сквозная трассировка всех агентов в MLflow» — ровно один pip install.

#Omnigent #MLflow #агенты #observability #OpenSource
------
@tsingular

MLflow 3.17: быстрые Jev-судьи, права на отдельные трейсы и аналитика без ожидания

7 октября вышел MLflow 3.17.0. Главная тема релиза: специализированные модели-судьи вместо больших LLM для частых проверок и управление доступом на уровне отдельных ресурсов.

🤖 Jev-судьи от TypeSafe: для проверок «да/нет» и конечных категорий теперь работает model="typesafe:/jev-latest" прямо в mlflow.genai.evaluate(). Jev возвращает структурное решение, MLflow записывает его как оценку, а распределение вероятностей сохраняется в метаданных: близкие вердикты видно при разборе результатов. Через AI Gateway ключ лежит на сервере, работают бюджеты и фолбэк на OpenRouter при лимитах провайдера.

⚙️ Трейсинг решений: mlflow.typesafe.autolog() трейсит вызовы System One: состояние, вопрос, структурный ответ, латентность и токены. Каждое решение агента видно вместе с вероятностью, без копания в сыром ответе.

🔒 Права на подресурсы: RBAC теперь покрывает runs, traces, оценки, логированные модели, review queues и версии моделей, промптов, скореров и MCP-серверов. Появился явный DENY: ревьюер читает эксперимент, но трейсы к нему не видит. Wildcard-гранты ограничены доступом к родительскому контейнеру.

📊 Быстрые дашборды трейсов: опциональные ежедневные SQL-сводки (MLFLOW_SQL_TRACE_ROLLUPS_ENABLED=true) разгружают аналитику по счётчикам, латентности, токенам и стоимости. Свежие данные идут по сырым запросам, история берётся из сводок.

⚠️ При апгрейде: SQL-серверам требуется mlflow db upgrade с остановленными писателями и бэкапом. Смешанные версии в rolling-режиме не поддерживаются, читайте гайд по миграции.

💼 Зачем бизнесу: оценка агентов на больших датасетах дорожает с каждым judge-вызовом, и перенос рутинных проверок «да/нет» на специализированные модели срезает счёт заметно. Права на уровне трейсов открывают MLflow командам, где внешним ревьюерам нельзя показывать данные пользователей. У меня MLflow крутится на домашнем сервере с ранами decision-lab: контейнер ждёт обновления, любопытно посмотреть на Jev в деле против gpt-судьи.

#MLflow #MLOps #оценка #трейсинг #агенты
———
@tsingular