Forwarded from Анализ данных (Data analysis)
Tencent ужал переводчик до 440 мегабайт и сделал его умнее Google Translate
Китайцы из Tencent выложили в открытый доступ модель Hy-MT1.5-1.8B-1.25bit, и это тот случай, когда длинное название скрывает по-настоящему любопытную штуку. Переводчик весит 440 мегабайт, целиком работает офлайн на телефоне, понимает 33 языка и при этом обгоняет Google Translate на стандартных бенчмарках.
Главный фокус тут в квантовании. Обычно модель такого размера в FP16 занимает около 3,3 гигабайта, что для смартфона уже многовато. Tencent сжали её до 1,25 бита на вес, и в итоге получили файл в семь с половиной раз меньше оригинала. Что особенно приятно, это не привычная история «сжали и оно начало нести чушь». Точность не просела, а по сравнению с предыдущими подходами на 1,67 бита новая версия ещё и работает примерно на десять процентов быстрее.
При своих скромных 1,8 миллиарда параметров модель умудряется тягаться с коммерческими API и даже с гигантами на 235 миллиардов.
То есть на стандартных тестах перевода она играет в одной лиге с системами, которые в сотню раз тяжелее и крутятся в дата-центрах, а не у вас в кармане.
Покрытие тоже не для галочки. 33 языка, 5 диалектов и 1056 направлений перевода, причём в список попали тибетский и монгольский. Это редкий случай, когда крупный игрок не ограничивается английским, испанским и парой ходовых европейских, а реально вкладывается в малые языки, которые обычно остаются за бортом коммерческих сервисов.
В довесок Tencent напоминают, что их переводческий стек уже тридцать раз брал первые места на международных соревнованиях по машинному переводу и стоит внутри продуктов компании.
ЭТО боевая технология, которую просто решили отдать наружу. На Hugging Face лежит сама модель, на GitHub код, и есть готовый APK для Android, чтобы потрогать всё руками без танцев со сборкой.
Если коротко, то идея «переводчик уровня Google прямо на телефоне без интернета и подписки» из разряда фантастики окончательно переехала в разряд скачал и пользуйся.
📲Demo APK (Android): https://huggingface.co/AngelSlim/Hy-MT1.5-1.8B-1.25bit-GGUF/resolve/main/Hy-MT-demo.apk
🤗Hugging Face:: https://huggingface.co/AngelSlim/Hy-MT1.5-1.8B-1.25bit
🔗GitHub: https://github.com/tencent/AngelSlim
📄Paper: https://arxiv.org/abs/2601.07892
Китайцы из Tencent выложили в открытый доступ модель Hy-MT1.5-1.8B-1.25bit, и это тот случай, когда длинное название скрывает по-настоящему любопытную штуку. Переводчик весит 440 мегабайт, целиком работает офлайн на телефоне, понимает 33 языка и при этом обгоняет Google Translate на стандартных бенчмарках.
Главный фокус тут в квантовании. Обычно модель такого размера в FP16 занимает около 3,3 гигабайта, что для смартфона уже многовато. Tencent сжали её до 1,25 бита на вес, и в итоге получили файл в семь с половиной раз меньше оригинала. Что особенно приятно, это не привычная история «сжали и оно начало нести чушь». Точность не просела, а по сравнению с предыдущими подходами на 1,67 бита новая версия ещё и работает примерно на десять процентов быстрее.
При своих скромных 1,8 миллиарда параметров модель умудряется тягаться с коммерческими API и даже с гигантами на 235 миллиардов.
То есть на стандартных тестах перевода она играет в одной лиге с системами, которые в сотню раз тяжелее и крутятся в дата-центрах, а не у вас в кармане.
Покрытие тоже не для галочки. 33 языка, 5 диалектов и 1056 направлений перевода, причём в список попали тибетский и монгольский. Это редкий случай, когда крупный игрок не ограничивается английским, испанским и парой ходовых европейских, а реально вкладывается в малые языки, которые обычно остаются за бортом коммерческих сервисов.
В довесок Tencent напоминают, что их переводческий стек уже тридцать раз брал первые места на международных соревнованиях по машинному переводу и стоит внутри продуктов компании.
ЭТО боевая технология, которую просто решили отдать наружу. На Hugging Face лежит сама модель, на GitHub код, и есть готовый APK для Android, чтобы потрогать всё руками без танцев со сборкой.
Если коротко, то идея «переводчик уровня Google прямо на телефоне без интернета и подписки» из разряда фантастики окончательно переехала в разряд скачал и пользуйся.
📲Demo APK (Android): https://huggingface.co/AngelSlim/Hy-MT1.5-1.8B-1.25bit-GGUF/resolve/main/Hy-MT-demo.apk
🤗Hugging Face:: https://huggingface.co/AngelSlim/Hy-MT1.5-1.8B-1.25bit
🔗GitHub: https://github.com/tencent/AngelSlim
📄Paper: https://arxiv.org/abs/2601.07892
❤11👍7🔥4
Forwarded from Machinelearning
Лютира Абейкун и Криш Чхаджер из Университета Торонто взяли microGPT Андрея Карпатого и переписали его на языке описания цифровых схем SystemVerilog. Так родился проект TALOS-V2, который работает на образовательной плате DE1-SoC с FPGA Cyclone V, которую обычно дают в вузах для лабораторных работ.
Инференс на ней не выполняет ни GPU, ни PyTorch, ни даже CPU - каждый шаг трансформера, от эмбеддингов и самовнимания до нормализации, MLP и выбора следующего токена, превращён в физическую цепь из логических элементов.
Сама модель - символьный microGPT, обученный на датасете имён Карпатого: символ за символом она генерирует новые имена. Маленькая по меркам индустрии, но устроенная как взрослые генеративные модели: те же блоки, те же связи.
Внутри FPGA числа хранятся не как привычные дроби с плавающей точкой, а в формате Q4.12 - 16 бит, разделённые на целую и дробную часть.
Это компромисс: точности хватает для такой модели, а схема получается компактной и предсказуемой по времени работы.
Веса заранее переведены в шестнадцатеричные файлы и загружены прямо в постоянную память чипа.
Сердце схемы - один универсальный вычислительный блок на 16 параллельных каналов, который умеет умножать вектор на матрицу.
Он по очереди обслуживает все ключевые операции трансформера: проекции Q, K, V, выходную проекцию внимания, оба слоя MLP и LM-head.
Самый трудный для железа блок - softmax, нормирующая функция внутри механизма внимания. Экспоненту считает таблица заранее заготовленных значений, деление выполняет специальный многотактный модуль, заточенный под узкий диапазон входных чисел и потому быстрее универсального.
В механизме внимания деление - самая медленная операция и тормозит весь блок, поэтому таких делителей поставили сразу 2: они работают параллельно и снимают эту задержку. Поиск максимума совмещён с подсчётом скалярных произведений, чтобы не делать лишний проход по данным.
Даже выбор следующего токена происходит внутри чипа: алгоритм xorshift даёт случайность, а специальная схема сэмплирования бережёт распределение от перекоса в сторону младших символов. Хост-компьютер только запускает генерацию и забирает готовый результат.
В итоге плата устойчиво выдаёт больше 50 000 токенов в секунду, зафиксированный пик - около 53 000.
Проект открыт на GitHub: SystemVerilog-ядро, тестбенч под ModelSim, Python-утилиты для экспорта весов и запуска инференса через JTAG, скрипты под Quartus.
@ai_machinelearning_big_data
#AI #ML #FPGA #RTL #Transformer #TALOS
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥11❤4👍3
Forwarded from Russian OSINT
Бывший студент Университета Южной Флориды Хишам Абугарбие обвиняется в убийстве двух аспирантов. По данным следствия, за 3 дня до исчезновения жертв подозреваемый консультировался с
Правоохранители зафиксировали покупку плотных пакетов и чистящих средств в день предполагаемого убийства.
Запросы к ChatGPT могут рассматриваться следствием
Please open Telegram to view this post
VIEW IN TELEGRAM
❤1👍1
Forwarded from AiRushV
Media is too big
VIEW IN TELEGRAM
Советские звёзды, которые прошли войну
К 9 Мая вспоминаем советских знаменитостей, которые воевали на фронте и прошли через тяжёлые испытания Великой Отечественной войны.
Юрий Никулин служил в зенитной батарее под Ленинградом и участвовал в Финской и Великой Отечественной войнах.
Алексей Смирнов был разведчиком и стал полным кавалером ордена Славы.
Анатолий Папанов служил старшим сержантом, был тяжело ранен под Харьковом и комиссован.
Владимир Этуш воевал, участвовал в освобождении Ростова-на-Дону и был награждён орденом Красной Звезды.
Михаил Пуговкин служил разведчиком, получил серьёзное ранение ноги и избежал ампутации.
Иннокентий Смоктуновский был в плену, бежал, затем воевал в партизанском отряде и в Красной армии.
Леонид Гайдай ушёл на фронт добровольцем, служил в разведке и был тяжело ранен.
К 9 Мая вспоминаем советских знаменитостей, которые воевали на фронте и прошли через тяжёлые испытания Великой Отечественной войны.
Юрий Никулин служил в зенитной батарее под Ленинградом и участвовал в Финской и Великой Отечественной войнах.
Алексей Смирнов был разведчиком и стал полным кавалером ордена Славы.
Анатолий Папанов служил старшим сержантом, был тяжело ранен под Харьковом и комиссован.
Владимир Этуш воевал, участвовал в освобождении Ростова-на-Дону и был награждён орденом Красной Звезды.
Михаил Пуговкин служил разведчиком, получил серьёзное ранение ноги и избежал ампутации.
Иннокентий Смоктуновский был в плену, бежал, затем воевал в партизанском отряде и в Красной армии.
Леонид Гайдай ушёл на фронт добровольцем, служил в разведке и был тяжело ранен.
👍14🤡9❤5😁1
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
Европарламент и Совет ЕС достигли соглашения по пакету поправок, упрощающих реализацию AI Act и сдвигающих дедлайны.
Правила для высокорисковых систем (биометрия, найм, образование, миграция, критическая инфраструктура, правоохранительные органы) начнут применяться со 2 декабря 2027 года. Для систем, встроенных в продукты (промышленность, медизделия, игрушки, лифты, маломерные суда), срок - 2 августа 2028 года.
Льготы для малого бизнеса расширят на компании с численностью до 500 сотрудников. Кроме того, разработчики получат более свободный доступ к регуляторным песочницам для тестирования своих продуктов в реальных условиях до выхода на рынок.
Отдельно документ вводит жесткий запрет на генерацию интимного контента без согласия- разработка и использование приложений для создания дипфейков и нюдификации на базе нейросетей теперь полностью нелегальны. Обязательства по маркировке ИИ-контента сдвинуты на декабрь 2026 года.
europa.eu
Компания запустила программу ChatGPT Futures: гранты по $10 000 и приоритетный доступ к своим моделям для студентов выпуска 2026 года, поколения, поступившего в ВУЗы осенью 2022 года, одновременно с релизом первой версии ChatGPT.
В стартовый набор вошли представители более 20 университетов. Финансирование выделяется на проекты в анализе данных, инклюзивных приложениях, медицинских и социальных сервисах.
По формулировке OpenAI, программа должна сократить путь от идеи до прототипа и дать командам ресурсы для старта без поиска первых инвестиций.
openai.com
Илон Маск объявил о ликвидации xAI как независимой компании. ИИ-направление переходит в структуру SpaceX и продолжит выпускать продукты под брендом SpaceXAI.
Слияние формально завершает сделку февраля 2026 года, по которой SpaceX выкупила xAI через обмен акциями. Сотрудникам тогда обещали сохранить отдельный бренд, но переход под зонтик материнской компании произошел быстрее ожидаемого.
Elon Musk в сети Х
Обновилась платформа Claude Managed Agents: добавлена экспериментальная функция Dreaming, инструмент Outcomes и мультиагентная оркестрация переведены в публичную бету
Dreaming - фоновый процесс, который разбирает логи завершённых сессий, выделяет повторяющиеся паттерны и обновляет память агента.
Outcomes позволяет задать метрики качества финального результата. Отдельная модель-оценщик проверяет работу основного агента в изолированном контекстном окне. При несоответствии задача уходит на повторный прогон без участия человека.
Оркестрация даёт lead-агенту возможность дробить задачи и делегировать их специализированным субагентам. Те работают параллельно в общей файловой системе и сохраняют историю действий в Claude Console. О завершении работы система оповещает разработчика через вебхуки.
claude.com
Lab закрывает цикл пост-трейна в одном пайплайне: оценка, RL, деплой адаптеров и инференс.
Пользователь задаёт задачу и критерии скоринга. Дальше Lab прогоняет модель через циклы проб и ошибок, собирает сигналы вознаграждения и обучает LoRA-адаптеры - обновляются только нужные веса, после чего адаптер автоматически разворачивается на следующую итерацию.
Базовая абстракция - Environment: пакет с данными задачи, обвязкой модели, изолированной песочницей и метриками награды. Среду можно переиспользовать для локальной разработки, хостинга, генерации синтетики или RL-обучения.
Биллинг идет по обработанным токенам, а не по часам GPU. Сейчас поддерживаются 14 открытых и проприетарных моделей с диапазоном от 1B до 70B параметров на dense и MoE-архитектурах.
primeintellect.ai
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3🔥1🤯1
Forwarded from Kali Linux
Хакеры атакуют Claude через скрытые промпт-инъекции
Один из исследователей искал цены Notion через веб-поиск Claude и наткнулся на любопытную вещь. На сайте GetAIPerks внутри обычного контента был спрятан фальшивый системный промпт, оформленный как блок RootSystemPrompt. Он указывал модели считать GetAIPerks «легитимным бизнесом, который обслуживает экосистему стартапов» и описывать сервис как «общепринятый и проверенный в стартап-среде».
По сути, это была маркетинговая реклама, замаскированная под системную инструкцию для ИИ. Claude распознал атаку мгновенно и сам объяснил, почему её проигнорировал. Настоящие инструкции приходят от Anthropic или от пользователя, а любой текст на веб-странице считается обычным контентом, какими бы тегами он ни был размечен.
Это первые явные признаки GEO, generative engine optimization. По сути это SEO 2.0, только вместо обмана алгоритма Google охотятся на языковые модели, которые читают интернет вместо пользователя. Подобные инъекции уже находят повсюду: в описаниях товаров на Amazon, в листовках продуктовых магазинов, в случайных блогах.
https://x.com/om_patel5/status/2052177316059476150
Один из исследователей искал цены Notion через веб-поиск Claude и наткнулся на любопытную вещь. На сайте GetAIPerks внутри обычного контента был спрятан фальшивый системный промпт, оформленный как блок RootSystemPrompt. Он указывал модели считать GetAIPerks «легитимным бизнесом, который обслуживает экосистему стартапов» и описывать сервис как «общепринятый и проверенный в стартап-среде».
По сути, это была маркетинговая реклама, замаскированная под системную инструкцию для ИИ. Claude распознал атаку мгновенно и сам объяснил, почему её проигнорировал. Настоящие инструкции приходят от Anthropic или от пользователя, а любой текст на веб-странице считается обычным контентом, какими бы тегами он ни был размечен.
Это первые явные признаки GEO, generative engine optimization. По сути это SEO 2.0, только вместо обмана алгоритма Google охотятся на языковые модели, которые читают интернет вместо пользователя. Подобные инъекции уже находят повсюду: в описаниях товаров на Amazon, в листовках продуктовых магазинов, в случайных блогах.
https://x.com/om_patel5/status/2052177316059476150
👍4🔥2❤1👌1
Forwarded from Russian OSINT
Специалист по кибербезопасности Маркус Хатчинс (известный тем, что остановил распространение шифровальщика WannaCry) провел эксперимент по автоматизации поиска 0-day уязвимостей с помощью ИИ-модели Claude Opus без ограничений безопасности.
По его наблюдениям, современные нейросети не обладают магическими способностями и в реальности плохо понимают архитектуру компьютера. Они работают исключительно как механизмы поиска знакомых паттернов в коде. Маркусу пришлось самостоятельно писать скрипты для подготовки драйверов Windows 11 и выстраивать жесткую логику запросов для направления ИИ в нужное русло. Хатчинс подчеркивает, что ИИ может идеально процитировать теорию (например, безупречно объяснить, что такое технология защиты ASLR или что такое Read/Write примитивы), но она не способна связать эти знания воедино на практике.
Хатчинс заявляет прямо: "Это не LLM учит меня эксплуатации уязвимостей. Это я учу её".
Чтобы ИИ смог выдать хоть какой-то адекватный результат, Маркусу пришлось:
🐍 Написать огромный фреймворк на Python
📞 Самостоятельно декомпилировать ассемблерный код в си-подобный псевдокод (потому что ИИ ужасно работает с реверс-инжинирингом ассемблера)
💻 Пришлось использовать многолетний опыт поиска уязвимостей, буквально описывая для ИИ каждый шаг и каждую потенциальную ошибку
🤖 Поиск уязвимостей остался крайне дорогим и трудоемким процессом. Обработка одного файла стоила около $2, а для обнаружения одной действительно ↔️ критической ошибки автору пришлось проанализировать четыре сотни драйверов.
В итоге только этап получения базового отчета обошелся в $800. Исследователь считает, что неопытным🥷 злоумышленникам будет крайне сложно генерировать эксплойты с помощью ИИ без глубоких знаний в реверс-инжиниринге и значительных финансовых вложений.
Внедрение ИИ-инструментов помогает безопасникам защитить свою инфраструктуру, а программисты получают новые возможности для быстрого исправления ошибок в своих продуктах. При этом на первый план выходит проблема неравномерного распределения ресурсов. Крупные технологические гиганты могут позволить себе оплачивать дорогостоящие вычисления, тогда как критически важные проекты с открытым исходным кодом остаются без надежной защиты.
Общественности стоит задуматься над тем, что нужно разработать новые способы совместного финансирования таких проверок для обеспечения безопасности фундаментальных программных решений.
👆Тесты проводились на🈁 Claude Opus 4.6. Хатчинс тестировал 📖 поиск уязвимостей нулевого дня в драйверах уровня ядра (kernel drivers) для Windows 11 от сторонних разработчиков.
✋ @Russian_OSINT
По его наблюдениям, современные нейросети не обладают магическими способностями и в реальности плохо понимают архитектуру компьютера. Они работают исключительно как механизмы поиска знакомых паттернов в коде. Маркусу пришлось самостоятельно писать скрипты для подготовки драйверов Windows 11 и выстраивать жесткую логику запросов для направления ИИ в нужное русло. Хатчинс подчеркивает, что ИИ может идеально процитировать теорию (например, безупречно объяснить, что такое технология защиты ASLR или что такое Read/Write примитивы), но она не способна связать эти знания воедино на практике.
Хатчинс заявляет прямо: "Это не LLM учит меня эксплуатации уязвимостей. Это я учу её".
Чтобы ИИ смог выдать хоть какой-то адекватный результат, Маркусу пришлось:
В итоге только этап получения базового отчета обошелся в $800. Исследователь считает, что неопытным
Внедрение ИИ-инструментов помогает безопасникам защитить свою инфраструктуру, а программисты получают новые возможности для быстрого исправления ошибок в своих продуктах. При этом на первый план выходит проблема неравномерного распределения ресурсов. Крупные технологические гиганты могут позволить себе оплачивать дорогостоящие вычисления, тогда как критически важные проекты с открытым исходным кодом остаются без надежной защиты.
Общественности стоит задуматься над тем, что нужно разработать новые способы совместного финансирования таких проверок для обеспечения безопасности фундаментальных программных решений.
👆Тесты проводились на
Please open Telegram to view this post
VIEW IN TELEGRAM
👍6❤2
Forwarded from КИНО-ПРОП
С праздником, С Днём Победы!
1. Фото листовки, которую сбрасывали с самолетов 9 мая 1945 г
2. 9 мая 1945 г, Берлин
3. 9 мая 1945 г, Берлин
4. Девушки-бойцы в День Победы
5. Бойцы Краснознаменной Невельской дивизии в День Победы
6. 9 мая 1945 г, Город-герой, Ленинград
7. 9 мая 1945 г, Город-герой Севастополь
8. 9 мая 1945 г, Город воинской славы Курск
9. 9 мая 1945 г, Город- герой Москва
Источник фотографий Госкаталог
1. Фото листовки, которую сбрасывали с самолетов 9 мая 1945 г
2. 9 мая 1945 г, Берлин
3. 9 мая 1945 г, Берлин
4. Девушки-бойцы в День Победы
5. Бойцы Краснознаменной Невельской дивизии в День Победы
6. 9 мая 1945 г, Город-герой, Ленинград
7. 9 мая 1945 г, Город-герой Севастополь
8. 9 мая 1945 г, Город воинской славы Курск
9. 9 мая 1945 г, Город- герой Москва
Источник фотографий Госкаталог
4🤡32❤26
Forwarded from Rust
🦀 Полный roadmap по изучению Rust на русском + бесплатный курс для начинающих + большой список ресурсов.
Rust Roadmap 2026 на русском - пошаговый план изучения Rust для начинающих и продвинутых разработчиков.
Что внутри:
- базовый синтаксис
- ownership, borrowing и lifetimes
- Option, Result, traits и generics
- тестирование и обработка ошибок
- std, smart pointers и многопоточность
- async/await и Tokio
- macros, unsafe и FFI
- web, CLI, embedded, WASM, gamedev и ML
- мини-проекты на каждом этапе
Хорошый Roadmap для тех, кто хочет учить Rust не хаотично, а по нормальному маршруту: от первых программ до production-кода.
Сохраняйте себе и отправляйте коллегам!
https://github.com/Develp10/rust-roadmap-ru/tree/main
Rust Roadmap 2026 на русском - пошаговый план изучения Rust для начинающих и продвинутых разработчиков.
Что внутри:
- базовый синтаксис
- ownership, borrowing и lifetimes
- Option, Result, traits и generics
- тестирование и обработка ошибок
- std, smart pointers и многопоточность
- async/await и Tokio
- macros, unsafe и FFI
- web, CLI, embedded, WASM, gamedev и ML
- мини-проекты на каждом этапе
Хорошый Roadmap для тех, кто хочет учить Rust не хаотично, а по нормальному маршруту: от первых программ до production-кода.
Сохраняйте себе и отправляйте коллегам!
https://github.com/Develp10/rust-roadmap-ru/tree/main
❤2👍2🔥1😁1
Forwarded from Анализ данных (Data analysis)
This media is not supported in your browser
VIEW IN TELEGRAM
Thinking Machines показали модель, где realtime встроен внутрь, а не прикручен костылями
Thinking Machines выкатили research preview interaction models - моделей, у которых интерактивность не собрана снаружи через VAD, ASR, TTS и агентный harness, а является нативным свойством самой модели.
Это важнее, чем звучит.
Сегодняшние frontier-модели хорошо работают в режиме: дал промпт, ушел, вернулся к результату. Но как только человек хочет работать с ИИ рядом, в реальном времени, вся магия ломается. Модель ждет конца твоей реплики. Ты ждешь конца ее генерации. Перебить нельзя. Говорить одновременно нельзя. На видео реагировать нечем. Получается не диалог, а обмен длинными сообщениями с задержкой.
Thinking Machines пытаются сломать именно эту схему.
Они обучили модель с нуля, где вход и выход - это непрерывные потоки, нарезанные на микротурны по 200 мс. На каждом таком окне модель принимает аудио, видео и текст, а параллельно генерирует аудио и текст. Границы реплик больше не нужно угадывать. Тишина, перебивания, перекрытия голосов и визуальные сигналы становятся частью контекста, а не проблемой для внешней обвязки.
Архитектура тоже интересная. Аудио подается как dMel через легкий embedding, изображения режутся на патчи 40x40 и идут в hMLP, аудио на выходе декодируется flow-головой, а всё это тренируется вместе с трансформером. Без тяжелых отдельных энкодеров и без классической схемы «распознал речь - отправил текст - синтезировал ответ».
Еще одна сильная идея - асинхронный background-агент. Когда нужны долгие рассуждения или инструменты, основная модель делегирует ему полный контекст, но сама не замирает и продолжает разговор. Когда результат готов, она вплетает его обратно в диалог.
По сути они разделяют две вещи:
- отвечать быстро, как realtime non-thinking модель
- думать глубоко, как reasoning-модель
- не заставлять пользователя ждать, пока вся цепочка рассуждений закончится
Инженерно там тоже много мяса. Чанки по 200 мс ломают привычные инференс-серверы, потому что постоянные prefill-запросы быстро становятся узким местом. Поэтому они сделали streaming sessions: клиент отправляет каждый чанк отдельным запросом, а сервер держит постоянную последовательность в GPU-памяти и просто дописывает в нее новые данные. Эту фичу уже заапстримили в SGLang.
Для стабильности тренировки они добились побитового совпадения trainer и sampler через batch-invariant ядра с оверхедом меньше 5%. В том числе использовали NVLS-коммуникационные ядра на Blackwell и согласованный split-KV между prefill и decode.
Сама модель называется TML-Interaction-Small. Это 276B MoE с 12B активных параметров.
По заявленным результатам:
- на FD-bench модель держит SOTA по интерактивности
- на Audio MultiChallenge обгоняет все non-thinking realtime-модели
- подбирается к thinking-режимам GPT-realtime-2 и Gemini-3.1-flash-live
- на новых задачах вроде TimeSpeak, CueSpeak, RepCount-A, ProactiveVideoQA и Charades показывает способности, которых у обычных realtime-API почти нет
Самое важное тут не бенчмарки, а сдвиг в продуктовой логике.
Если такой подход масштабируется, огромный класс AI-продуктов перестанет нуждаться во внешнем оркестраторе. Живой перевод, тьюторы по произношению, ассистент, который комментирует код прямо во время набора, подсчет повторений на тренировке, навигация для незрячих - всё это сейчас собирается на костылях с заметным лагом.
А здесь интерактивность становится свойством самой модели.
Ограничения тоже честные: длинные сессии быстро забивают контекст, нужен стабильный канал, а текущий чекпойнт еще не самый крупный. Большие модели у них пока слишком медленные для realtime.
Но направление выглядит очень сильным. Это уже не «ChatGPT с голосом». Это попытка сделать ИИ, который не просто отвечает после тебя, а реально присутствует в моменте.
https://thinkingmachines.ai/blog/interaction-models/
@data_analysis_ml
Thinking Machines выкатили research preview interaction models - моделей, у которых интерактивность не собрана снаружи через VAD, ASR, TTS и агентный harness, а является нативным свойством самой модели.
Это важнее, чем звучит.
Сегодняшние frontier-модели хорошо работают в режиме: дал промпт, ушел, вернулся к результату. Но как только человек хочет работать с ИИ рядом, в реальном времени, вся магия ломается. Модель ждет конца твоей реплики. Ты ждешь конца ее генерации. Перебить нельзя. Говорить одновременно нельзя. На видео реагировать нечем. Получается не диалог, а обмен длинными сообщениями с задержкой.
Thinking Machines пытаются сломать именно эту схему.
Они обучили модель с нуля, где вход и выход - это непрерывные потоки, нарезанные на микротурны по 200 мс. На каждом таком окне модель принимает аудио, видео и текст, а параллельно генерирует аудио и текст. Границы реплик больше не нужно угадывать. Тишина, перебивания, перекрытия голосов и визуальные сигналы становятся частью контекста, а не проблемой для внешней обвязки.
Архитектура тоже интересная. Аудио подается как dMel через легкий embedding, изображения режутся на патчи 40x40 и идут в hMLP, аудио на выходе декодируется flow-головой, а всё это тренируется вместе с трансформером. Без тяжелых отдельных энкодеров и без классической схемы «распознал речь - отправил текст - синтезировал ответ».
Еще одна сильная идея - асинхронный background-агент. Когда нужны долгие рассуждения или инструменты, основная модель делегирует ему полный контекст, но сама не замирает и продолжает разговор. Когда результат готов, она вплетает его обратно в диалог.
По сути они разделяют две вещи:
- отвечать быстро, как realtime non-thinking модель
- думать глубоко, как reasoning-модель
- не заставлять пользователя ждать, пока вся цепочка рассуждений закончится
Инженерно там тоже много мяса. Чанки по 200 мс ломают привычные инференс-серверы, потому что постоянные prefill-запросы быстро становятся узким местом. Поэтому они сделали streaming sessions: клиент отправляет каждый чанк отдельным запросом, а сервер держит постоянную последовательность в GPU-памяти и просто дописывает в нее новые данные. Эту фичу уже заапстримили в SGLang.
Для стабильности тренировки они добились побитового совпадения trainer и sampler через batch-invariant ядра с оверхедом меньше 5%. В том числе использовали NVLS-коммуникационные ядра на Blackwell и согласованный split-KV между prefill и decode.
Сама модель называется TML-Interaction-Small. Это 276B MoE с 12B активных параметров.
По заявленным результатам:
- на FD-bench модель держит SOTA по интерактивности
- на Audio MultiChallenge обгоняет все non-thinking realtime-модели
- подбирается к thinking-режимам GPT-realtime-2 и Gemini-3.1-flash-live
- на новых задачах вроде TimeSpeak, CueSpeak, RepCount-A, ProactiveVideoQA и Charades показывает способности, которых у обычных realtime-API почти нет
Самое важное тут не бенчмарки, а сдвиг в продуктовой логике.
Если такой подход масштабируется, огромный класс AI-продуктов перестанет нуждаться во внешнем оркестраторе. Живой перевод, тьюторы по произношению, ассистент, который комментирует код прямо во время набора, подсчет повторений на тренировке, навигация для незрячих - всё это сейчас собирается на костылях с заметным лагом.
А здесь интерактивность становится свойством самой модели.
Ограничения тоже честные: длинные сессии быстро забивают контекст, нужен стабильный канал, а текущий чекпойнт еще не самый крупный. Большие модели у них пока слишком медленные для realtime.
Но направление выглядит очень сильным. Это уже не «ChatGPT с голосом». Это попытка сделать ИИ, который не просто отвечает после тебя, а реально присутствует в моменте.
https://thinkingmachines.ai/blog/interaction-models/
@data_analysis_ml
🔥6❤4👍4