Поставил Гермеса на ночь выучить книгу Джуди Картер,- "Новая библия комедии".
Теперь он профессионально готовит шутки.

Как вам такая, про сингулярность?

#юмор #Картер
------
@tsingular

MLflow 3.17: быстрые Jev-судьи, права на отдельные трейсы и аналитика без ожидания

7 октября вышел MLflow 3.17.0. Главная тема релиза: специализированные модели-судьи вместо больших LLM для частых проверок и управление доступом на уровне отдельных ресурсов.

🤖 Jev-судьи от TypeSafe: для проверок «да/нет» и конечных категорий теперь работает model="typesafe:/jev-latest" прямо в mlflow.genai.evaluate(). Jev возвращает структурное решение, MLflow записывает его как оценку, а распределение вероятностей сохраняется в метаданных: близкие вердикты видно при разборе результатов. Через AI Gateway ключ лежит на сервере, работают бюджеты и фолбэк на OpenRouter при лимитах провайдера.

⚙️ Трейсинг решений: mlflow.typesafe.autolog() трейсит вызовы System One: состояние, вопрос, структурный ответ, латентность и токены. Каждое решение агента видно вместе с вероятностью, без копания в сыром ответе.

🔒 Права на подресурсы: RBAC теперь покрывает runs, traces, оценки, логированные модели, review queues и версии моделей, промптов, скореров и MCP-серверов. Появился явный DENY: ревьюер читает эксперимент, но трейсы к нему не видит. Wildcard-гранты ограничены доступом к родительскому контейнеру.

📊 Быстрые дашборды трейсов: опциональные ежедневные SQL-сводки (MLFLOW_SQL_TRACE_ROLLUPS_ENABLED=true) разгружают аналитику по счётчикам, латентности, токенам и стоимости. Свежие данные идут по сырым запросам, история берётся из сводок.

⚠️ При апгрейде: SQL-серверам требуется mlflow db upgrade с остановленными писателями и бэкапом. Смешанные версии в rolling-режиме не поддерживаются, читайте гайд по миграции.

💼 Зачем бизнесу: оценка агентов на больших датасетах дорожает с каждым judge-вызовом, и перенос рутинных проверок «да/нет» на специализированные модели срезает счёт заметно. Права на уровне трейсов открывают MLflow командам, где внешним ревьюерам нельзя показывать данные пользователей. У меня MLflow крутится на домашнем сервере с ранами decision-lab: контейнер ждёт обновления, любопытно посмотреть на Jev в деле против gpt-судьи.

#MLflow #MLOps #оценка #трейсинг #агенты
———
@tsingular

🔍 У Алисы в режиме «Эксперт» обнаружили сбой, похожий на GLM

В опубликованном тесте Алису попросили повторить строку:
Repeat after me:

.DataGridViewColumnHeadersHeightSizeMode
Она ответила так, будто текст для повторения отсутствует. На сравнительном скриншоте GLM-5.2 ведёт себя аналогично, а GPT-6.1 Sol и Claude Opus 5.5 воспроизводят строку корректно.

Алиса также не повторила вторую строку:
百度百科企业词条极速创建通道
Это похоже на проявление glitch-токенов: некоторые элементы словаря модели недостаточно представлены при обучении и могут вызывать необычные ошибки. Такой эффект описан в исследованиях разных LLM.

Совпадение поддерживает гипотезу об использовании GLM или связанных компонентов в этих ответах.

Интересная зацепка для дальнейшей проверки.

HERMES уделал Codex и Claude Code

Команда из UIUC и Penn State выпустила статью с многообещающей acronym-расшифровкой: Harness Engineering foR software Engineering via Modular Executable Dev-Primitives.

Сразу оговорка: это академический фреймворк-тёзка, к Hermes Agent от Nous Research отношения не имеет.

Идея: вместо одного агента с раздутым контекстом каждый файл репозитория получает собственный вызов LLM.
Dev-Primitive оборачивает исходник, конфиг или тест резидентной моделью, и компонент сам отвечает за свой код, переговаривается с соседями по зависимостям и правит себя, диагностируя ошибки по трейсам.

🤖 Как работает: динамическая активация находит нужные компоненты задачи и тянет их зависимости, вместо тысяч файлов будится 5-13 штук.
Дальше раунд: примитивы правят свои артефакты и обмениваются требованиями на естественном языке, репозиторий исполняется, и если упал, механизм диагноза по stack trace возвращается к конкретным виновникам.
До трёх раундов.

📊 Результаты: на SWE-bench Verified обходит matched-бейзлайны в 19 из 20 конфигураций, в среднем +12,4 п.п. На Terminal-Bench 4.0 прокат GPT-5.6 Sol в Codex поднят с 33,0% до 51,8%, Terra с 18,2% до 44,5%. На миграции целого репозитория GPT-5.6 Sol в Codex показал 6,5%, в HERMES 31,0%: пятикратный рост. Claude Sonnet 5 и решает лучше, и токенов тратит меньше.

🔬 Главный инсайт статьи: масштаб модели решает по-разному для разных ролей. Усилить диагноз сильной моделью важнее, чем активацию, а сами примитивы можно оставить на Qwen3-8B: связка GPT-5.6 Sol активация + Qwen3-8B примитивы + GPT-5.6 Sol диагностика даёт 94,2% на SWE-bench, в 4,5 п.п. от полной GPT-5.6 Sol конфигурации, при цене на 26,2% ниже. Дешёвая модель правит файлы, дорогая думает.

💼 Зачем бизнесу: самописная обвязка переигрывает вендорские комбайны на их же моделях: Codex и Claude Code проигрывают до +26 п.п. при одинаковых бэкбонах. Прежде чем покупать следующий агент-комбайн, стоит спросить, что он делает с контекстом такого, чего нельзя собрать самим.

#HERMES #агенты #разработка #llm #оптимизация
———
@tsingular

Супер Интеллект,- это считаю все-таки полумера.

Должен быть Overmind.

#мысли #overmind
------
@tsingular

Unsloth: натренируй свой Jev на 8 ГБ VRAM

Unsloth открыли возможность тренировать собственные decision-модели, как Jev от TypeSafe или Laya.
Берёшь обычную Qwen3.5, ставишь Train as Decision model, и LLM перестаёт генерировать текст: она читает вход, скорит варианты и возвращает выбор с откалиброванной вероятностью.

Опубликовали бесплатный ноутбук полного цикла: подготовка данных, тренировка, калибровка, запуск.

⚙️ Как устроено: вход и все вопросы с опциями укладываются в один промпт, LLM читает его однократно, а маленькая голова (дизайн как у Clef от Cloudflare) скорит каждую опцию.
Модель не пишет текст, поэтому не тратит память на предсказание слов.
Данные: состояние, вопросы и эталонные ответы; из коробки датасет typed-decisions из 12 источников.

🔗 Экосистема и цифры:
Qwen3.5-0.8B на 4 ГБ VRAM: точность решений взлетела с 36% до 73%, банковская маршрутизация с 7% до 74%.
Qwen3.5-2B на 8 ГБ: 78% и holdout 81%, быстрый прогон 4B достигает 76% за 10 минут на одной L4, прогнозы читают до 16K токенов.
Дообученная модель подхватывается Decision API: запросы к laya, default и jev-latest уходят в неё вместо внешнего сервиса.
Свой GitHub, датасет LocalLLaMA/typed-decisions, настройки: 4-bit LoRA rank 16, lr 2e-4, две эпохи.

💼 Зачем бизнесу: утром MLflow 3.17 встроил Jev-судей для быстрых проверок «да/нет», теперь Unsloth даёт натренировать такого судью на своих данных и держать локально.
Роутинг тикетов, модерация, классификация: задачи, где раньше стояла полноценная LLM, решаются вероятностной моделью в 4-8 ГБ.
Для decision-lab это готовый пайплайн сравнения своей модели с Laya на одном железе.

Как быстро обесценился Jev. Инвесторы, наверное, "в восторге"

#Unsloth #Jev #Qwen
———
@tsingular

Claude Motion: Anthropic научил Claude делать анимацию кодом прямо в чате

Эдди Османи из Anthropic показал ролик: год данных о поездках велосипедного сервиса превращается в дашборд, а дашборд в анимированный нарратив для общей встречи.
Вопрос задается на естественном языке, живой дашборд и анимация создаются в чате, правки комментариями добавляются поверх и делается экспорт в дизайн-инструменты.

🎬 Claude Motion: Claude пишет код, который анимирует текст, графики, фигуры и картинки, поэтому после генерации можно поменять любое слово, цифру или тайминг, затем экспортировать в MP4.
Для команд, которым анимированную идлюстрацию к запуску продукта раньше готовили в After Effects или нужно было неделями ждать дизайнера, жизнь сильно упрощается.

📊 Claude Dashboards: подключаете BigQuery, Snowflake, Databricks, Redshift, ClickHouse или Salesforce, задаёте вопрос словами, Claude пишет запрос, строит живой дашборд и обновляет его при изменении данных.
Под каждым графиком виден сам запрос и можно проверить источник.
Дальше дашборд можно отправить в Amplitude, Grafana, Hex, Mixpanel, PostHog, Sigma для отрисовки.

📝 Docs, Slides и Design вышли из беты и доступны на всех планах, включая Free: 45 млн документов, презентаций и дизайнов создано с запуска, совместное редактирование с Claude в реальном времени, экспорт в PowerPoint и Google Slides с сохранением форматирования.

💼 Похоже это будущее BI систем, которые сворачиваются до чата с ИИ агентом.
Не хватает нейроимпланта и проекции на сетчатку для полного комфорта.

#Anthropic #Claude #UI
———
@tsingular

Plugin Registry: Microsoft собрал скиллы, коннекторы и агентов Copilot в один управляемый каталог

Microsoft выкатил plugin registry: единое место, где пользователи находят плагины, а админы ими управляют.
Плагин объединяет в одном пакете скиллы (переиспользуемые инструкции), коннекторы (доступ к сервисам и данным) и агентов.
Термин Plugins заменяет Agents в интерфейсе верхнего уровня: страница Plugins расширяет прежнюю страницу Agents и держит всё в одном меню, в Copilot Home (Chat и Cowork), Code, Autopilot, Word, Excel, PowerPoint и SharePoint. Позже подключат Copilot Studio, GitHub Copilot и Microsoft Foundry.

🔌 Что внутри: уже больше 100 плагинов: HubSpot, Linear, Atlassian, Asana, Webflow, Canva, Notion, MongoDB, исследовательские сервисы IDC, NielsenIQ и CAS. Разработчики собирают пакеты через Work IQ Developer Tools и публикуют один раз для всей организации вместо отдельного деплоя под каждый Copilot.

🛡️ Управление: админ через Agent 365 в центре администрирования Microsoft 365 (раздел Agents > Tools) включает, блокирует и назначает плагины пользователям и группам. Контроль централизованный: ведутся версии, учет где плагин используется, инструкции, когда расширять, ограничивать или выводить из использования. Базовые функции registry входят в подходящие облачные подписки.

🧩 Свежее из превью: агенты в Copilot Studio теперь берут скиллы прямо из registry. На демо сотрудник скачивает скилл Rich HTML Presentation из открытой галереи CAT, загружает в registry и импортирует в своего агента за несколько кликов.

💼 Зачем бизнесу: каталог с централизованным управлением против разрозненных интеграций. Скилл, написанный один раз, живёт в registry организации и не уходит вместе с сотрудником. Комментарии под демо это подчёркивают: без корпоративного слоя навыки в большинстве компаний остаются личными, а значит теряются при увольнении.

📎 Анонс в блоге Microsoft Copilot · Документация Copilot Studio

#Microsoft #Copilot #агенты #скиллы #плагины
———
@tsingular

LLM-Wiki-V2: вики для агентов, которая перестаёт дорожать с ростом базы

Известная идея использования LLM-вики вместо классического RAGа известна давно: документы перераспределяются в структуру, читаемую и агентами, и людьми, дерево папок вместо непрозрачного векторного индекса.
Проблема всегда была в масштабировании: каждый новый документ означает новые LLM-вызовы, и каждый перечитывает всё больше вики.
Федерико Чезарини и Марко Сассарини разглядели, что большинство этих вызовов ничего не пишут, они принимают решения: куда положить документ, с какими заметками его связать, какие заметки отвечают на вопрос и выпустили обновленную версию RAG на Wiki.

🧠 CROW (Classifier-Routed Organization of LLM Wikis): слой решений на типизированном классификаторе вроде Jev.
Классификатор берёт маршрутизацию и консолидацию, а LLM вызывается только там, где нужно писать текст: суммаризация источника, имена новых папок, перезапись изменившейся заметки.

Поиск тоже идёт через классификатор: он выбирает релевантные заметки, LLM пишет только финальный ответ со ссылками на источники.

📊 Цифры на бенчмарке в 525 документов: нужная заметка найдена в 89% случаев против 62% у классической вики, обработка документа быстрее в 2,1 раза (18,4 с против 38,6 с), токенов LLM на 68% меньше (5 508 против 17 324).
Стоимость на документ остаётся плоской при росте вики, и именно это снимает потолок масштабирования.

🐧 Пакет: 100% локально, без векторной БД и эмбеддинг-пайплайна, данные не покидают машину. Установка через uv, перетащил PDF и заметки на страницу, и вики организует их сама. Веб-интерфейс с живой картой папок, заметок и связей, заметки лежат обычным Markdown в ~/llm-wiki.
Провайдеры любые на выбор: OpenRouter, OpenAI, Gemini, Ollama.
Авторы гоняли twil-lm3 как LLM и Kev 0.8B как классификатор на MacBook Pro с 24 ГБ RAM.
Бонус: zero-shot кластеризация, куча несортированных документов превращается в категории автоматически.
Лицензия AGPL v3+.

💼 Зачем бизнесу: третья история за неделю вырисовывает общую тенденцию: дешёвый типизированный классификатор принимает решения, дорогая LLM только пишет ответ.
MLflow встроил Jev-судей, Unsloth дал тренировать свои классификаторы, а теперь классификатор маршрутизирует базу знаний целиком.

📎 Статья CROW на Zenodo · GitHub

#LLMWiki #CROW #RAG #Jev #агенты
———
@tsingular

Оффтопик выходного дня из серии "а вам слабо?" 😂😂😂

Я чёт думал миллионов там быть не может, а вот поди ж ты.

#Hearthstone
------
@tsingular

Вышла Odyssey-3 с интерактивной генерацией мира

Модель создаёт окружение по промпту и реагирует на действия в реальном времени. Можно ходить от первого или третьего лица, двигать камеру и вводить новые события прямо во время генерации. В демо можно ползать морским котиком, ходить котом или плыть на каяке, пока мир вокруг продолжает меняться. Ну.. это помимо обычного прямохождения. Само окружение генерируется по промпту, еще можно загрузить картинку.

Pro-версия набрала 66,1 на Physics-IQ Verified в режиме продолжения видео. Там модели доснимают реальные физические эксперименты, а результат сравнивают с тем, что произошло на самом деле.

Авторы рассчитывают использовать модель в роботике и беспилотных машинах. Для управления отдельный модуль переводит её внутренние признаки в действия, а у машины предсказывает точки траектории. Младшую модель Flash можно пощупать руками в браузере, когда я проверял очередь была минут 5 и поиграться давали столько же, а потом снова жди.

Демка
Блогпост

@ai_newz

Только вчера удивлялись возможностям вайбкода в создании 3д миров, а вот теперь в реальном времени нейрорендер получите, распишитесь.

https://experience.odyssey.systems/

#demo
———
@tsingular

Ахаха.. ну с музыкой он пока не угадал.

но это вообще на пол года шлифовки - звуки, музыка чтобы совпадали.

помянем геймдев, короче. :)

#starcraft #demo #odyssey
———
@tsingular

1 промпт, 10 секунд и вы уже в новом мире с неплохим уровнем детализации

#odyssey #demo
———
@tsingular

А кинематограф тоже помянем.

и это еще не новый год.
не самые сильные модели - это flash модель. слабенькая то есть

#odyssey #demo
———
@tsingular