наглядная иллюстрация объема вычислений LLM на примере Qwen3.8:27b когда ей задали вопрос "Назови столицу Франции"

25 миллиардов вычислений.
чтобы это показать наглядно в минутном видео, 7.2 миллиона вычислений между каждым кадром не показывают.
ролик 3600 кадров со скоростью 60 кадров в секунду.

Если бы каждое вычисление показывалось в каждом кадре, - ролик бы занял 13 лет времени.

на RTX PRO 6000 эти вычисления проходят за 13 миллисекунд.

Объем работы, которую выполняют GPU, - фантастически запредельный, конечно

#demo #LLM #Qwen
———
@tsingular

Оставлю мысль на память

Растущая пропасть во внедрении ИИ
Большинство компаний сильно отстают от лидеров рынка, причём не только на практике, но и в понимании происходящего.
Компании застревают на разных ступенях: веб-чат-бот, бот в Telegram, агент как часть RPA. Мешает нехватка времени, понимания или веры в то, что большее возможно.
Такие компании мыслят категориями «LLM/ML, прикрученные к процессу» и оценивают окупаемость отдельных функций.

Уровень лидеров
Рой агентов на сверхсильных моделях (Claude Opus 5.5, GPT-класса и т.п.).
Агенты правильно встроены в агентские циклы: у каждого есть роль, инструкции, проверки и гейты.
Галлюцинации вроде «несуществующей квартиры» для них уже решённая проблема.

Следующий уровень дифференциации
Если ИИ всем выполняет бизнес-функции одинаково хорошо, бизнесы становятся одинаковыми. Аналогия: резюме, написанные ИИ, похожи друг на друга.
Разработка, презентации, визуал и автоматизация доводятся до идеала у всех, у кого есть доступ к сильным моделям.
Сильный программист больше не даёт преимущества: «олимпиадник» теперь есть у каждого вместе с последней моделью.

Вывод
Главный вызов сейчас в том, чтобы понять собственную ценность для заказчика и найти, чем ты отличаешься от других.
Это один из последних фронтиров: именно роль человека остаётся фактором, который отличает бизнес среди конкурентов, отполированных ИИ.

подкаст делаем? :)

#мысли #подкаст
———
@tsingular

Вышла Claude Haiku 5.5

Спустя почти год после выхода прошлой версии Anthropic решили что они всё же хотят быть представлены в нижнем ценовом сегменте. По бенчам выглядит заметно лучше GPT 6 Luna. Цена — $0,1/$0,5 за миллион токенов на запросах до 100к токенов, на запросах длиннее цена выростает в ПЯТЬ раз, $0,5/$2,5.

@ai_newz

Чтобы не отступать от традиций, - закроем тему с венком сонетов для Haiku

Полный провал. Не AGI.

- сгенерил всего 2 сонета из положенных 15ти
- рифма еле еле кое как

Не рекомендуется для сложных задач, но, в принципе эта модель для них и не предназначена, так что область применения определайте сами, но без завышенных ожиданий.
В агентов я бы ставить не рекомендовал, - будут косяки с действиями вплоть до удаления критических данных.

#haiku #венок
———
@tsingular

Microsoft анонсировали серию обновлений софта и железа под ИИ

🛡 MXC (контейнеры с уровнями безопасности для агентов, определяющие уровни доступа к файлам и сетевым объектам: уже доступны в Windows 11, правила применяются прямо во время работы.
Варианты изоляции: процесс, отдельная сессия, WSLc, виртуальная машина и Windows 365 for Agents.
Уже поддерживают Codex, GitHub Copilot, OpenClaw, Replit, LM Studio и Unsloth, Claude Code и Perplexity в планах.
Скоро добавится Muse от Meta как нативное приложение Windows.

🧠 Локальные модели: MAI Code 1.1 Flash, - MoE - 7/137 млрд параметров.
В 3 битах модель стала меньше почти на 80% и держит контекст 256K.
Nemotron на 70+ млрд параметров в 2 битах занимает чуть больше 20 ГБ, DeepSeek V4 Flash на 284 млрд пойдёт на RTX Spark.
В Windows ML добавили llama.cpp, - открытые модели стало проще запускать на GPU, NPU и CPU.

🔀 HydraFusion (маршрутизатор GitHub, который раздаёт задачи разным моделям): раньше выбирал только среди облачных, теперь подключит и локальные.
Экспериментальное превью в конце октября в GitHub Copilot app, Copilot CLI и VS Code.

🤖 Copilot (ассистент в Windows) на Copilot+ PC: видит файлы и недавнюю активность, если выданы разрешения, сам может их разобрать, провести диагностику и написать код, часть задач отдаёт локальным моделям.
Раскатка, - в ближайшие месяцы.

💻 Железо (линейка от мини-ПК до настольных суперкомпьютеров): ноутбуки на NVIDIA RTX Spark от ASUS, Dell, HP, Lenovo, MSI и Surface, отгрузки с 16 октября.
Surface Laptop Ultra, - до 128 ГБ общей памяти и модели больше 120 млрд параметров.
В сравнении MacBook Pro 16 на M5 Pro: первый токен до 2.1 раза быстрее, картинки до 4.3 раза, видео до 6.2 раза.
Для мини-ПК, - установка OpenClaw в пару кликов и сразу в контейнере MXC.
DGX Station на Windows: модели больше триллиона параметров и 32+ агента одновременно, до конца года.

Windows становится средой для ИИ агентов, причём, что приятно, с возможностью локального инференса.
Ну и ноут Surface с 128Gb общей памяти, - топ. Достойный конкурент для М5 128Gb от Apple.

#Windows #агенты #Surface
———
@tsingular

ADR: Uber выложил в опенсорс систему защиты от атак на ИИ-агентов

Uber открыл код ADR (Agentic AI Detection and Response), системы корпоративной безопасности для ИИ-агентов. Она работает в продакшене Uber и ловит атаки на Cursor, Claude Code, Codex, Copilot CLI и DeepSeek Harness. Статью приняли на MLSys 2026, Apache 2.0, уже 1,6 тыс. звёзд.

🛡 Четыре компонента: Discovery сканирует рабочие станции и находит все ИИ-инструменты сотрудников: CLI-агенты, расширения IDE, локальные модели и MCP-серверы. Sensor собирает телеметрию из 11 агентов на macOS, Linux и Windows: интент, вызовы инструментов, полные трейсы, включая субагентов. Benchmark гоняет детектор по атакам. Detection находит угрозы.

🔬 Как ловит атаки: двухуровневая схема. Первый уровень, триаж на gpt-4o, быстро отсеивает спокойные сессии. Второй, агент на claude-sonnet-4-6, глубоко разбирает подозрительные. Результат из статьи: 100% точность, 67% полнота и ноль ложных срабатываний на 304 задачах.

📋 ADR-Bench: 304 бизнес-сценария (261 безопасный и 43 атаки) против 134 MCP-серверов. Среди них 26 специально уязвимых, включая один, замаскированный под community-сервис погоды: тест на подмену в цепочке поставки. Покрыты все 17 техник атак на агентов, плюс интеграция с публичным AgentDojo.

💼 Зачем бизнесу: агенты уже работают на ноутбуках сотрудников, и службы безопасности их не видят. ADR даёт видимость: кто что запускал, к каким файлам лез, какие MCP-серверы дёргал.
Отдельный интерес: Sensor выгружает телеметрию в OpenTelemetry, так что встанет рядом с существующим SOC-стеком.
Компонент Prevention (блокировка опасных действий) в опенсорс не вошёл, ждём.
Облачные модели, конечно, лучше заменить на свои,- локальные.

paper

#Uber #безопасность #агенты #cybersecurity #MCP
———
@tsingular

Ну, за Геймдев

Google совместно с Unity бахнули Playground - новую платформу для создания интерактивных игр без вот этого вот всего..

Чисто по промпту.

В отличие от генераторов миров, результат здесь - игра, в которую соазу можно играть.

Что умеет Playground:

Создавать браузерные игры по текстовому описанию.

Менять персонажей, правила, физику и окружение обычными командами.

Сразу тестировать результат.

Публиковать игры по ссылке или в общей галерее.

Поддерживать мультиплеер и таблицы лидеров в отдельных жанрах.

Самое интересное - Unity Spark.
Google и Unity готовят расширенную среду, которая добавит полноценные 3D-сцены, более сложную игровую механику и возможности движка Unity.

Закрытая бета ожидается позже.

Доступность: Playground уже запущен, но пока только для пользователей США старше 18 лет. ВПН работает.

Лимиты генерации зависят от подписки Google AI.

Точные цены и квоты в гугловом анонсе не указаны.

https://labs.google/playground

@cgevent

Это какой-то сюрр.

https://truthsocial.com/@realDonaldTrump/posts/117406176604364910

#Trump #AI #SI
------
@tsingular

🚀 Google представил Gemini at Work 2026: главное с презентации

Google Cloud показал масштабное обновление корпоративного ИИ. Главный месседж: эпоха обычных чат-ботов прошла, наступила эра автономных агентов.

Ключевые анонсы и тезисы:

🔹 Флагманская модель Gemini 4 Argon

Новый frontier-уровень для сложного кода, кибербезопасности и аналитики. Внутри Google она уже ускорила сдачу агентского кода на 35%.

🔹 Gemini теперь полноценный автономный агент

Больше не нужно дробить задачи: агент сам декомпозирует цель, пишет план, кодит, генерит медиа и подключает инструменты в едином окне.

Оркестрация субагентов: под сложные задачи Gemini сам собирает «команду» виртуальных специалистов.

Единый контекст: сквозная память между десктопом, веб-версией, терминалом (CLI), мобилками, Slack и Microsoft 365.

Dream Mode: агент анализирует ваш стиль коммуникации и привычки в фоне, постепенно адаптируя ответы под конкретного человека.

🔹 Инфраструктура и контроль

Цифровая идентичность: у каждого агента есть свой аккаунт, права доступа, бюджет и полный аудит действий через Agent Gateway.

Мультимодельность и Smart Routing: система сама выбирает нужную модель под шаг задачи (от Argon и Flash до сторонних решений вроде Claude), снижая расходы на токены почти в 3 раза.

🔹 Реальные кейсы

Показали плотную интеграцию в BigQuery и генерацию ML-пайплайнов за минуты, финансовый и юридический анализ, а NASA JPL и вовсе запустили открытую модель Gemma прямо на борту орбитального спутника.

Запись на Youtube

#Google #Argon
———
@tsingular

Поставил Гермеса на ночь выучить книгу Джуди Картер,- "Новая библия комедии".
Теперь он профессионально готовит шутки.

Как вам такая, про сингулярность?

#юмор #Картер
------
@tsingular

MLflow 3.17: быстрые Jev-судьи, права на отдельные трейсы и аналитика без ожидания

7 октября вышел MLflow 3.17.0. Главная тема релиза: специализированные модели-судьи вместо больших LLM для частых проверок и управление доступом на уровне отдельных ресурсов.

🤖 Jev-судьи от TypeSafe: для проверок «да/нет» и конечных категорий теперь работает model="typesafe:/jev-latest" прямо в mlflow.genai.evaluate(). Jev возвращает структурное решение, MLflow записывает его как оценку, а распределение вероятностей сохраняется в метаданных: близкие вердикты видно при разборе результатов. Через AI Gateway ключ лежит на сервере, работают бюджеты и фолбэк на OpenRouter при лимитах провайдера.

⚙️ Трейсинг решений: mlflow.typesafe.autolog() трейсит вызовы System One: состояние, вопрос, структурный ответ, латентность и токены. Каждое решение агента видно вместе с вероятностью, без копания в сыром ответе.

🔒 Права на подресурсы: RBAC теперь покрывает runs, traces, оценки, логированные модели, review queues и версии моделей, промптов, скореров и MCP-серверов. Появился явный DENY: ревьюер читает эксперимент, но трейсы к нему не видит. Wildcard-гранты ограничены доступом к родительскому контейнеру.

📊 Быстрые дашборды трейсов: опциональные ежедневные SQL-сводки (MLFLOW_SQL_TRACE_ROLLUPS_ENABLED=true) разгружают аналитику по счётчикам, латентности, токенам и стоимости. Свежие данные идут по сырым запросам, история берётся из сводок.

⚠️ При апгрейде: SQL-серверам требуется mlflow db upgrade с остановленными писателями и бэкапом. Смешанные версии в rolling-режиме не поддерживаются, читайте гайд по миграции.

💼 Зачем бизнесу: оценка агентов на больших датасетах дорожает с каждым judge-вызовом, и перенос рутинных проверок «да/нет» на специализированные модели срезает счёт заметно. Права на уровне трейсов открывают MLflow командам, где внешним ревьюерам нельзя показывать данные пользователей. У меня MLflow крутится на домашнем сервере с ранами decision-lab: контейнер ждёт обновления, любопытно посмотреть на Jev в деле против gpt-судьи.

#MLflow #MLOps #оценка #трейсинг #агенты
———
@tsingular

🔍 У Алисы в режиме «Эксперт» обнаружили сбой, похожий на GLM

В опубликованном тесте Алису попросили повторить строку:
Repeat after me:

.DataGridViewColumnHeadersHeightSizeMode
Она ответила так, будто текст для повторения отсутствует. На сравнительном скриншоте GLM-5.2 ведёт себя аналогично, а GPT-6.1 Sol и Claude Opus 5.5 воспроизводят строку корректно.

Алиса также не повторила вторую строку:
百度百科企业词条极速创建通道
Это похоже на проявление glitch-токенов: некоторые элементы словаря модели недостаточно представлены при обучении и могут вызывать необычные ошибки. Такой эффект описан в исследованиях разных LLM.

Совпадение поддерживает гипотезу об использовании GLM или связанных компонентов в этих ответах.

Интересная зацепка для дальнейшей проверки.

HERMES уделал Codex и Claude Code

Команда из UIUC и Penn State выпустила статью с многообещающей acronym-расшифровкой: Harness Engineering foR software Engineering via Modular Executable Dev-Primitives.

Сразу оговорка: это академический фреймворк-тёзка, к Hermes Agent от Nous Research отношения не имеет.

Идея: вместо одного агента с раздутым контекстом каждый файл репозитория получает собственный вызов LLM.
Dev-Primitive оборачивает исходник, конфиг или тест резидентной моделью, и компонент сам отвечает за свой код, переговаривается с соседями по зависимостям и правит себя, диагностируя ошибки по трейсам.

🤖 Как работает: динамическая активация находит нужные компоненты задачи и тянет их зависимости, вместо тысяч файлов будится 5-13 штук.
Дальше раунд: примитивы правят свои артефакты и обмениваются требованиями на естественном языке, репозиторий исполняется, и если упал, механизм диагноза по stack trace возвращается к конкретным виновникам.
До трёх раундов.

📊 Результаты: на SWE-bench Verified обходит matched-бейзлайны в 19 из 20 конфигураций, в среднем +12,4 п.п. На Terminal-Bench 4.0 прокат GPT-5.6 Sol в Codex поднят с 33,0% до 51,8%, Terra с 18,2% до 44,5%. На миграции целого репозитория GPT-5.6 Sol в Codex показал 6,5%, в HERMES 31,0%: пятикратный рост. Claude Sonnet 5 и решает лучше, и токенов тратит меньше.

🔬 Главный инсайт статьи: масштаб модели решает по-разному для разных ролей. Усилить диагноз сильной моделью важнее, чем активацию, а сами примитивы можно оставить на Qwen3-8B: связка GPT-5.6 Sol активация + Qwen3-8B примитивы + GPT-5.6 Sol диагностика даёт 94,2% на SWE-bench, в 4,5 п.п. от полной GPT-5.6 Sol конфигурации, при цене на 26,2% ниже. Дешёвая модель правит файлы, дорогая думает.

💼 Зачем бизнесу: самописная обвязка переигрывает вендорские комбайны на их же моделях: Codex и Claude Code проигрывают до +26 п.п. при одинаковых бэкбонах. Прежде чем покупать следующий агент-комбайн, стоит спросить, что он делает с контекстом такого, чего нельзя собрать самим.

#HERMES #агенты #разработка #llm #оптимизация
———
@tsingular

Супер Интеллект,- это считаю все-таки полумера.

Должен быть Overmind.

#мысли #overmind
------
@tsingular

Unsloth: натренируй свой Jev на 8 ГБ VRAM

Unsloth открыли возможность тренировать собственные decision-модели, как Jev от TypeSafe или Laya.
Берёшь обычную Qwen3.5, ставишь Train as Decision model, и LLM перестаёт генерировать текст: она читает вход, скорит варианты и возвращает выбор с откалиброванной вероятностью.

Опубликовали бесплатный ноутбук полного цикла: подготовка данных, тренировка, калибровка, запуск.

⚙️ Как устроено: вход и все вопросы с опциями укладываются в один промпт, LLM читает его однократно, а маленькая голова (дизайн как у Clef от Cloudflare) скорит каждую опцию.
Модель не пишет текст, поэтому не тратит память на предсказание слов.
Данные: состояние, вопросы и эталонные ответы; из коробки датасет typed-decisions из 12 источников.

🔗 Экосистема и цифры:
Qwen3.5-0.8B на 4 ГБ VRAM: точность решений взлетела с 36% до 73%, банковская маршрутизация с 7% до 74%.
Qwen3.5-2B на 8 ГБ: 78% и holdout 81%, быстрый прогон 4B достигает 76% за 10 минут на одной L4, прогнозы читают до 16K токенов.
Дообученная модель подхватывается Decision API: запросы к laya, default и jev-latest уходят в неё вместо внешнего сервиса.
Свой GitHub, датасет LocalLLaMA/typed-decisions, настройки: 4-bit LoRA rank 16, lr 2e-4, две эпохи.

💼 Зачем бизнесу: утром MLflow 3.17 встроил Jev-судей для быстрых проверок «да/нет», теперь Unsloth даёт натренировать такого судью на своих данных и держать локально.
Роутинг тикетов, модерация, классификация: задачи, где раньше стояла полноценная LLM, решаются вероятностной моделью в 4-8 ГБ.
Для decision-lab это готовый пайплайн сравнения своей модели с Laya на одном железе.

Как быстро обесценился Jev. Инвесторы, наверное, "в восторге"

#Unsloth #Jev #Qwen
———
@tsingular