Forwarded from Ivan Oseledets’ Channel
Первый день ПМЭФ подходит к концу. Выпустили сегодня первую версию модели из нашего семейства Optimal Cognitive Core, OCC-RAG. Это компактная SLM для Q&A по контексту. Модель доступна в 2 размерах: 0.6B и 1.7B. Несмотря на маленькое число параметров обе уверенно отвечают на сложные multi-hop вопросы, рассуждают пошагово и корректно, отказываются отвечать, когда контекста недостаточно.
Как мы этого добились?
1. Сложные синтетические данные.
Открытые QA-датасеты, как правило, маленькие и не таргетируют задачу faithfulness. Модели учатся отвечать, но не всегда следовать контексту. Поэтому мы построили собственный пайплайн генерации данных: с помощью метода Wikontic (https://t.me/Ivan_Oseledets/283) извлекаем граф знаний из текстов и генерируем вопросы по путям в этом графе. Получаются по-настоящему сложные multi-hop задачи, где нужно объединить факты из нескольких источников, например: «В каком городе родился режиссёр фильма, получившего Оскар в год рождения Леонардо ДиКаприо?». Дополнительно пайплайн умеет генерировать вопросы, на которые в контексте нет ответа, чтобы отдельно учить модель отказываться.
В итоге наш метод позволяет генерировать данные из любых неструктурированных документов в почти неограниченном количестве!
2. Mid-training
В качестве базы взяли Qwen3-0.6B-Base и Qwen3-1.7B-Base и провели масштабный mid-training на пороядка 8 млрд токенов. Мы также дополнили данные специальным форматом рассуждения, который цитирует источники прямо в ответе. Это дополнительно повышает faithfulness.
Прогнали OCC-RAG на HotpotQA, MuSiQue и TAT-QA. Добавили ConFiQA, один из самых сложных бенчмарков на faithfulness, где модель должна следовать контексту, даже если он противоречит общеизвестным фактам.
Итого:
Качество на уровне моделей в 2–6 раз больше по размеру; на ConFiQA обходят даже Qwen3-32B; заметно лучше следуют контексту и реже подменяют его внутренними знаниями; среди специализированных малых QA-моделей (например, Pleias-RAG) показывают лучший результат.
Репорт на HuggingFace Daily Papers: https://huggingface.co/papers/2606.00683
Отмечу, что работа по согласованности, четкости и скорости в команде — эпичная. Продолжаем работать над улучшенной версией для tool-calling и Agentic RAG задач.
Ждите обновлений!
P.S. Не успел выйти с форума, уже увидел новости у ТАСС, РГ, в телеграм, Forbes, Код Дурова, много где. Радует, когда наши медиа следят за повесткой, реагируя не только на «что-то новое от Гугла».
Кстати, про значимость малых моделей сегодня как раз хорошо написал Андрей Себрант из Яндекса. Почитайте — https://www.forbes.ru/mneniya/562028-maly-da-udaly-pocemu-vazny-ii-modeli-kotorye-sovsem-ne-na-sluhu
Как мы этого добились?
1. Сложные синтетические данные.
Открытые QA-датасеты, как правило, маленькие и не таргетируют задачу faithfulness. Модели учатся отвечать, но не всегда следовать контексту. Поэтому мы построили собственный пайплайн генерации данных: с помощью метода Wikontic (https://t.me/Ivan_Oseledets/283) извлекаем граф знаний из текстов и генерируем вопросы по путям в этом графе. Получаются по-настоящему сложные multi-hop задачи, где нужно объединить факты из нескольких источников, например: «В каком городе родился режиссёр фильма, получившего Оскар в год рождения Леонардо ДиКаприо?». Дополнительно пайплайн умеет генерировать вопросы, на которые в контексте нет ответа, чтобы отдельно учить модель отказываться.
В итоге наш метод позволяет генерировать данные из любых неструктурированных документов в почти неограниченном количестве!
2. Mid-training
В качестве базы взяли Qwen3-0.6B-Base и Qwen3-1.7B-Base и провели масштабный mid-training на пороядка 8 млрд токенов. Мы также дополнили данные специальным форматом рассуждения, который цитирует источники прямо в ответе. Это дополнительно повышает faithfulness.
Прогнали OCC-RAG на HotpotQA, MuSiQue и TAT-QA. Добавили ConFiQA, один из самых сложных бенчмарков на faithfulness, где модель должна следовать контексту, даже если он противоречит общеизвестным фактам.
Итого:
Качество на уровне моделей в 2–6 раз больше по размеру; на ConFiQA обходят даже Qwen3-32B; заметно лучше следуют контексту и реже подменяют его внутренними знаниями; среди специализированных малых QA-моделей (например, Pleias-RAG) показывают лучший результат.
Репорт на HuggingFace Daily Papers: https://huggingface.co/papers/2606.00683
Отмечу, что работа по согласованности, четкости и скорости в команде — эпичная. Продолжаем работать над улучшенной версией для tool-calling и Agentic RAG задач.
Ждите обновлений!
P.S. Не успел выйти с форума, уже увидел новости у ТАСС, РГ, в телеграм, Forbes, Код Дурова, много где. Радует, когда наши медиа следят за повесткой, реагируя не только на «что-то новое от Гугла».
Кстати, про значимость малых моделей сегодня как раз хорошо написал Андрей Себрант из Яндекса. Почитайте — https://www.forbes.ru/mneniya/562028-maly-da-udaly-pocemu-vazny-ii-modeli-kotorye-sovsem-ne-na-sluhu
🔥9❤5 3🤯1
Forwarded from Грокс (Anton Nazaretsky)
Media is too big
VIEW IN TELEGRAM
Первый зампред Правления Сбера Александр Ведяхин дал интервью «России-24» на ПМЭФ и рассказал про GigaNetwork — платформу, где ИИ-агенты компаний могут сами искать контрагентов, проводить тендеры, договариваться об условиях, формировать документы и сопровождать коммерческие операции с банковскими гарантиями.
Это уже подход к сборке полноценного agent-to-agent рынка: один корпоративный ИИ выходит к другому корпоративному ИИ, они сверяют условия и доводят сделку до исполнения. С фиксацией в блокчейне, эскроу, проверками и всей взрослой обвязкой.
На форуме обещают показать первую в России реальную сделку между двумя ИИ-агентами.
И вот это, кстати, куда важнее обычных разговоров про количество параметров в модели. Бизнесу в целом не так важно, сколько там миллиардов параметров, если агент реально нашёл поставщика, выбил условия, оформил документы и не потерялся в корпоративном документообороте. Сэкономил время и деньги — значит, молодец.
Самое интересное здесь даже не сама сделка, а смена метрики. Раньше все мерились размером моделей, теперь более значимым будет то, сколько конкретный ИИ-агент смог заработать или сэкономить на своей сетке по сравнению с агентом конкурента.
Звучит немного киберпанково, но логика вполне земная. Если ИИ уже умеет не просто отвечать в чате, а реально действовать в бизнес-процессах, то будут сравнивать экономический результат. Кто дешевле закупил, быстрее договорился и меньше накосячил — тот и умнее.
Это уже подход к сборке полноценного agent-to-agent рынка: один корпоративный ИИ выходит к другому корпоративному ИИ, они сверяют условия и доводят сделку до исполнения. С фиксацией в блокчейне, эскроу, проверками и всей взрослой обвязкой.
На форуме обещают показать первую в России реальную сделку между двумя ИИ-агентами.
И вот это, кстати, куда важнее обычных разговоров про количество параметров в модели. Бизнесу в целом не так важно, сколько там миллиардов параметров, если агент реально нашёл поставщика, выбил условия, оформил документы и не потерялся в корпоративном документообороте. Сэкономил время и деньги — значит, молодец.
Самое интересное здесь даже не сама сделка, а смена метрики. Раньше все мерились размером моделей, теперь более значимым будет то, сколько конкретный ИИ-агент смог заработать или сэкономить на своей сетке по сравнению с агентом конкурента.
Звучит немного киберпанково, но логика вполне земная. Если ИИ уже умеет не просто отвечать в чате, а реально действовать в бизнес-процессах, то будут сравнивать экономический результат. Кто дешевле закупил, быстрее договорился и меньше накосячил — тот и умнее.
🔥17🗿7⚡5🆒2❤1😁1👨💻1
Media is too big
VIEW IN TELEGRAM
Гермес качает админ панель в вебе.
Задача,- сделать CLI настройку необязательной.
Запуск панели:
В принципе команду обновления можно ставить в крон уже.
Утром, в обед и вечером:
#Hermes
------
@tsingular
Задача,- сделать CLI настройку необязательной.
Запуск панели:
hermes dashboard
В принципе команду обновления можно ставить в крон уже.
Утром, в обед и вечером:
hermes update
#Hermes
------
@tsingular
🔥14⚡3❤2🏆2
Forwarded from TechSparks
Media is too big
VIEW IN TELEGRAM
Роботы Unitree снова танцуют на сцене, но на этот раз — на американской, на подтанцовке у 26-летнего китайца. Я знаю, что разработчики Physical AI такие шоу не очень любят: запрограммированные движения в очень простом и статичном окружении — это совсем не фронтир разработки.
Но тут, во-первых, интересно посмотреть, на что уже способна механическая часть — а еще интересней наблюдать за публикой и за жюри. Комментарий одной из членов жюри показателен:
Никакой тебе зловещей долины и никакого негатива, в отличие от типичной алармистской прессы. Китайцы умеют в пиар, что сказать:))
https://parade.com/tv/americas-got-talent-2026-unitree-dancing-robots
(Полный ролик здесь, достоин просмотра
https://youtu.be/y7ojRmPxqNg?si=SA4nDQ6NI8HJZKTz )
Но тут, во-первых, интересно посмотреть, на что уже способна механическая часть — а еще интересней наблюдать за публикой и за жюри. Комментарий одной из членов жюри показателен:
“I’ve never seen anything like this because usually the robots are very weird. These ones have rhythm. It was like watching people dance and you are amazing, the way you dance is spectacular.”
Никакой тебе зловещей долины и никакого негатива, в отличие от типичной алармистской прессы. Китайцы умеют в пиар, что сказать:))
https://parade.com/tv/americas-got-talent-2026-unitree-dancing-robots
(Полный ролик здесь, достоин просмотра
https://youtu.be/y7ojRmPxqNg?si=SA4nDQ6NI8HJZKTz )
🔥8👍6❤3⚡2👾2
Forwarded from Machinelearning
NVIDIA выкатили Nemotron 3 Ultra (550B-A55B) - свою самую сильную open-weight модель на сегодня, причём вместе с полной схемой обучения.
Главный фокус на эффективность инференса в реальных long-context agentic сценариях, где модель долго держит контекст, работает с инструментами и выполняет многошаговые задачи.
Открыли почти всё:
• base-модель
• post-trained версии
• reward checkpoints
• NVFP4-квантованные версии
• тренировочные данные
• рецепты обучения
Технически внутри тоже интересно:
• 550B параметров всего, 55B активных
• гибридная архитектура Mamba2 + Transformer
• примерно 4:1 в пользу Mamba относительно Attention
• претрейн в NVFP4 на 20T токенов
• LatentMoE-архитектура
• двухэтапный MOPD post-training
• нативная поддержка MTP
🤗BF16 checkpoint: https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16
🤗NVFP4 checkpoint: https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4
📜Technical Report: https://research.nvidia.com/labs/nemotron/files/NVIDIA-Nemotron-3-Ultra-Technical-Report.pdf
@ai_machinelearning_big_data
Главный фокус на эффективность инференса в реальных long-context agentic сценариях, где модель долго держит контекст, работает с инструментами и выполняет многошаговые задачи.
Открыли почти всё:
• base-модель
• post-trained версии
• reward checkpoints
• NVFP4-квантованные версии
• тренировочные данные
• рецепты обучения
Технически внутри тоже интересно:
• 550B параметров всего, 55B активных
• гибридная архитектура Mamba2 + Transformer
• примерно 4:1 в пользу Mamba относительно Attention
• претрейн в NVFP4 на 20T токенов
• LatentMoE-архитектура
• двухэтапный MOPD post-training
• нативная поддержка MTP
🤗BF16 checkpoint: https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16
🤗NVFP4 checkpoint: https://huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4
📜Technical Report: https://research.nvidia.com/labs/nemotron/files/NVIDIA-Nemotron-3-Ultra-Technical-Report.pdf
@ai_machinelearning_big_data
🔥13✍2⚡2👍1
Полный перевод книги на 700 страниц с английского на русский язык выглядит примерно так.
200млн токенов агентом
при этом там не просто перевод, а разметка, форматирование строк, сопоставление разрывов между страницами (так как это было 650 страниц сканов в исходнике, а не просто текст) в общем долгая работа агентов на 12 часов примерно.
В итоге 1200 страниц русского текста на выходе.
Дипсик это оценил около 5 баксов.
раньше такое бы наверное год переводилось переводчиком и стоило несколько тысяч $
в коллекцию примеров эффектов от ИИ
готовый навык выложил тут
#переводы #агенты #цена #deepseek #кейсы
———
@tsingular
200млн токенов агентом
при этом там не просто перевод, а разметка, форматирование строк, сопоставление разрывов между страницами (так как это было 650 страниц сканов в исходнике, а не просто текст) в общем долгая работа агентов на 12 часов примерно.
В итоге 1200 страниц русского текста на выходе.
Дипсик это оценил около 5 баксов.
раньше такое бы наверное год переводилось переводчиком и стоило несколько тысяч $
в коллекцию примеров эффектов от ИИ
готовый навык выложил тут
#переводы #агенты #цена #deepseek #кейсы
———
@tsingular
1✍26🔥18⚡5🤔2❤1👍1
Боты впервые превысили человеческий трафик в интернете
Произошёл исторический перелом: Cloudflare зафиксировал в трафике 57,5% ботов против 42,5% людей.
Прогноз Мэттью Принса был на конец 2027, но, похоже, мы его опережаем на 18 месяцев.
📋 Ключевые цифры:
• Agentic AI: рост с 1,7% до ~17% автоматизированного трафика за 2025 год
• AI-трафик рос в 8 раз быстрее человеческого (HUMAN Security, 2026)
• 40% всего интернет-трафика — вредоносные боты, рост атак AI-агентов ×12,5 год к году (Thales)
• Разница между легитимными и вредоносными агентами: 0,5 процентных пункта — бинарный подход «бот/не бот» больше не работает
💡 Причина — асимметрия запросов. Мэттью Принс (CEO Cloudflare, SXSW 2026): человек при выборе товара посещает ~5 сайтов. AI-агент для той же задачи — 5 000. Умножьте на миллионы пользователей.
Инфраструктурный сдвиг сопоставим с desktop-to-mobile, но происходит за месяцы, а не за десятилетие.
💼 Последствия для рынка:
• Рекламная модель (CPM/CPC) строилась на человеческом внимании. Боты эффект внимания к рекламе умножают на ноль
• Cloudflare: Pay Per Crawl, 416 млрд заблокированных AI-запросов, Markdown-for-Agents
• Новый слой: identity layer для машин — аутентификация, разрешения, rate-limiting
• Imperva: «Компании, продолжающие считать пользователей людьми, рискуют неверно интерпретировать собственные данные»
Когда технологическая сингулярность наступит, - вам никто не скажет, но будут знаки.
#Cloudflare #Forbes #интернет #боты #агенты
------
@tsingular
Произошёл исторический перелом: Cloudflare зафиксировал в трафике 57,5% ботов против 42,5% людей.
Прогноз Мэттью Принса был на конец 2027, но, похоже, мы его опережаем на 18 месяцев.
📋 Ключевые цифры:
• Agentic AI: рост с 1,7% до ~17% автоматизированного трафика за 2025 год
• AI-трафик рос в 8 раз быстрее человеческого (HUMAN Security, 2026)
• 40% всего интернет-трафика — вредоносные боты, рост атак AI-агентов ×12,5 год к году (Thales)
• Разница между легитимными и вредоносными агентами: 0,5 процентных пункта — бинарный подход «бот/не бот» больше не работает
💡 Причина — асимметрия запросов. Мэттью Принс (CEO Cloudflare, SXSW 2026): человек при выборе товара посещает ~5 сайтов. AI-агент для той же задачи — 5 000. Умножьте на миллионы пользователей.
Инфраструктурный сдвиг сопоставим с desktop-to-mobile, но происходит за месяцы, а не за десятилетие.
💼 Последствия для рынка:
• Рекламная модель (CPM/CPC) строилась на человеческом внимании. Боты эффект внимания к рекламе умножают на ноль
• Cloudflare: Pay Per Crawl, 416 млрд заблокированных AI-запросов, Markdown-for-Agents
• Новый слой: identity layer для машин — аутентификация, разрешения, rate-limiting
• Imperva: «Компании, продолжающие считать пользователей людьми, рискуют неверно интерпретировать собственные данные»
Когда технологическая сингулярность наступит, - вам никто не скажет, но будут знаки.
#Cloudflare #Forbes #интернет #боты #агенты
------
@tsingular
🤯8👾5⚡4🔥4😁1
Media is too big
VIEW IN TELEGRAM
Маск продолжает хоронить Голливуд
Вышел grok-imagine-video-1.5-preview-720p
занял 1 место на Видео Арене
Как в примере сегодня про перевод 1000 страничной книги Дипсиком, - что раньше это стоило тысячи $, а теперь - $5, так и с кино будет - раньше бюджеты фильмов были по $50 млн, а теперь представьте фильм у которого производство стоит дешевле, чем билет в кино?
#Grok #Imagine #нейрорендер
———
@tsingular
Вышел grok-imagine-video-1.5-preview-720p
занял 1 место на Видео Арене
Как в примере сегодня про перевод 1000 страничной книги Дипсиком, - что раньше это стоило тысячи $, а теперь - $5, так и с кино будет - раньше бюджеты фильмов были по $50 млн, а теперь представьте фильм у которого производство стоит дешевле, чем билет в кино?
#Grok #Imagine #нейрорендер
———
@tsingular
🔥32🤯8👍6❤3🤣3 3
Сложно было представить еще лет даже 10 назад, что такое возможно.
Беспроводной интернет в любой точке планеты, - хоть в горах, хоть в океане, - со скоростью оптики.
Как и автоперевод в твиттере,- это шаг к стиранию границ.
Понятно, что любую технологию можно использовать как во вред так и на благо, но с точки зрения именно технологического прогресса поражает.
#Маск #Starlink
------
@tsingular
Беспроводной интернет в любой точке планеты, - хоть в горах, хоть в океане, - со скоростью оптики.
Как и автоперевод в твиттере,- это шаг к стиранию границ.
Понятно, что любую технологию можно использовать как во вред так и на благо, но с точки зрения именно технологического прогресса поражает.
#Маск #Starlink
------
@tsingular
⚡44 15❤8 5🤯3🦄3❤🔥1👍1😁1🤣1
This media is not supported in your browser
VIEW IN TELEGRAM
Новый гуманоидный робот TienKung Omni от X-Humanoid любезно пройдет полосу препятствий за вами за вас.
Доброе утро, мои медлительные друзья.
#роботы #Китай
———
@tsingular
Доброе утро, мои медлительные друзья.
#роботы #Китай
———
@tsingular
🔥18😁8👾2👍1
Media is too big
VIEW IN TELEGRAM
Magenta RealTime 2: живая AI-модель музыки локально на MacBook
Google выложила музыкальную ИМБУ с приложением для Мака на базе открытой модели в 2.4B, которая реагирует в пределах за 200 мс (порог "реального времени" для человека).
Для сравнения: MRT1 требовала TPU и отвечала за ~3 секунды.
📋 MRT1 → MRT2: что изменилось:
• Железо: TPU/GPU → Apple Silicon локально (Base заработает на M3 Pro, Small 230M — даже на MacBook Air)
• Задержка: ~3 с → ~200 мс (×15)
• Размер кадра: 2 с → 40 мс
• Управление: текст+аудио → текст+аудио+MIDI
• Размер модели: 760M → 2.4B
💡 Ключевое архитектурное решение: переход от двухсекундных чанков к покадровой генерации. Модель автогрессирует на уровне отдельных фреймов (40 мс = 25 Гц) через decoder-only архитектуру с causal sliding window attention:
• Sliding Window Attention (SWA) — фиксированный размер KV-кэша, старые токены вытесняются
• Learnable attention sink embedding — предотвращает деградацию после вытеснения
• NoPE вместо RoPE — лучшая length generalization без positional embeddings
• SpectroStream codec — 48 кГц стерео → токены на 3 кбит/с (fₖ=25 Гц, d_c=12, |𝕍_c|=2¹⁰)
💼 Почему это прорыв: музыкальный AI до сих пор был офлайн-генерацией (Suno, Udio). MRT2 — первый open-source инструмент, который работает в реальном времени: нажал клавишу → модель ответила ансамблем.
Для разрабов есть Python-библиотека
Выкидываем гигабайты библиотек сэмплов, продаём акции Omnisphere и т.д.
📎 magenta.withgoogle.com/magenta-realtime-2 | GitHub | Hugging Face
#Google #Magenta #AI #музыка #opensource
------
@tsingular
Google выложила музыкальную ИМБУ с приложением для Мака на базе открытой модели в 2.4B, которая реагирует в пределах за 200 мс (порог "реального времени" для человека).
Для сравнения: MRT1 требовала TPU и отвечала за ~3 секунды.
📋 MRT1 → MRT2: что изменилось:
• Железо: TPU/GPU → Apple Silicon локально (Base заработает на M3 Pro, Small 230M — даже на MacBook Air)
• Задержка: ~3 с → ~200 мс (×15)
• Размер кадра: 2 с → 40 мс
• Управление: текст+аудио → текст+аудио+MIDI
• Размер модели: 760M → 2.4B
💡 Ключевое архитектурное решение: переход от двухсекундных чанков к покадровой генерации. Модель автогрессирует на уровне отдельных фреймов (40 мс = 25 Гц) через decoder-only архитектуру с causal sliding window attention:
• Sliding Window Attention (SWA) — фиксированный размер KV-кэша, старые токены вытесняются
• Learnable attention sink embedding — предотвращает деградацию после вытеснения
• NoPE вместо RoPE — лучшая length generalization без positional embeddings
• SpectroStream codec — 48 кГц стерео → токены на 3 кбит/с (fₖ=25 Гц, d_c=12, |𝕍_c|=2¹⁰)
💼 Почему это прорыв: музыкальный AI до сих пор был офлайн-генерацией (Suno, Udio). MRT2 — первый open-source инструмент, который работает в реальном времени: нажал клавишу → модель ответила ансамблем.
Для разрабов есть Python-библиотека
pip install magenta-rt, C++ inference на MLX, Hugging Face, AU-плагин для DAW.Выкидываем гигабайты библиотек сэмплов, продаём акции Omnisphere и т.д.
📎 magenta.withgoogle.com/magenta-realtime-2 | GitHub | Hugging Face
#Google #Magenta #AI #музыка #opensource
------
@tsingular
🔥8🤯5 3👍1
This media is not supported in your browser
VIEW IN TELEGRAM
А вот демка Гермеса, прикрученного к голосовым Elevenlabs через Twillo АТС.
Мы похожий пример показывали на Подмосковных вечерах клуба 4CIO год назад примерно с голосовым агентом на бесплатном Астериске и голосовом генераторе SaluteSpeech.
Где-то даже лежат исходники.
Так что если вам нужны голосовые ИИ агенты, - обращайтесь, - подскажу кто может помочь.
#агенты #Hermes #voice #Asterisk
———
@tsingular
Мы похожий пример показывали на Подмосковных вечерах клуба 4CIO год назад примерно с голосовым агентом на бесплатном Астериске и голосовом генераторе SaluteSpeech.
Где-то даже лежат исходники.
Так что если вам нужны голосовые ИИ агенты, - обращайтесь, - подскажу кто может помочь.
#агенты #Hermes #voice #Asterisk
———
@tsingular
✍9⚡4❤2🆒1 1 1