Forwarded from Машинное обучение digest
Подразделение Alibaba сообщила о выпуске Qwen-VLA - модели, которая способна управлять роботами разных типов без отдельной настройки под каждую платформу.
VLA-модели получают на вход изображение с камеры и текстовую команду, а на выходе выдают конкретные действия для робота.
Новинка построена на VL-основе Qwen3.5-4B и дополнена декодером действий на 1,15 млрд параметров.
Модель объединяет 3 типа задач: манипуляции (захват и перемещение предметов), навигацию и прогнозирование траекторий, а переключение между разными роботами требует лишь изменения текстовой инструкции.
Qwen-VLA не уступает специализированным системам, обученным под каждую отдельную задачу - GR00T (разработка NVIDIA) и π0.5 (Physical Intelligence).
На наборе тестов LIBERO Qwen-VLA показала 97,9%, на RoboTwin-Hard - 87,2%, а в экспериментах с двуруким роботом ALOHA средний процент успешных выполнений в знакомых условиях составил 83,6% и 76,9% в незнакомых.
Пока опубликован технический отчет и создан репозиторий проекта, о доступности самих моделей не сообщается.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8❤2🔥2
Forwarded from ODS Events
Доброе утро! ☀️
Представляем Вашему вниманию двадцать первый выпуск подкаста "Капитанский мостик". Ведущие подкаста Валентин Малых и Дмитрий Колодезев обсуждают последние новости в области технологий, политики и робототехники, включая ограничения на выезд, развитие роботов в Японии и Китае, а также новые законы о беспилотных системах в России.
Смотрите видео на каналах ⤵️
ODS VK Video
ODS YouTube
📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).
Представляем Вашему вниманию двадцать первый выпуск подкаста "Капитанский мостик". Ведущие подкаста Валентин Малых и Дмитрий Колодезев обсуждают последние новости в области технологий, политики и робототехники, включая ограничения на выезд, развитие роботов в Японии и Китае, а также новые законы о беспилотных системах в России.
Смотрите видео на каналах ⤵️
ODS VK Video
ODS YouTube
📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).
👍2🔥1
Forwarded from Machinelearning
Одна модель, чтобы работать в как агент, держать длинный контекст (1M) и понимать разные типы модальностей.
Бенчмарки
- 59.0% на SWE-Bench Pro
- 66.0% на Terminal Bench 2.1
- 34.8% на SWE-fficiency
- 28.8% на KernelBench Hard
- 74.2% на MCP Atlas
- контекст до 1M токенов за счёт MiniMax Sparse Attention
- нативная мультимодальность
Отдельно запустили MiniMax Code - среду для работы с кодом на базе новой модели.
По ценам: в первые 7 дней дают скидку 50% на стандартное использование с контекстом до 512K.
Разработчики выкладывают в open source модель, которая обходит и Opus, и GPT-5.5 на BrowseComp и SVG Bench.
При этом она ещё и лучше GPT-5.5 на SWE-Bench Pro, KernelBench Hard и BankerToolBench, а Opus обгоняет на OSWorld Verified.
API: http://platform.minimax.io
Тарифы по токенам: https://platform.minimax.io/subscribe/token-plan
MiniMax Code: http://code.minimax.io
@ai_machinelearning_big_data
#MiniMax #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5❤2🔥1😱1👀1
Forwarded from Анализ данных (Data analysis)
В рамках программы Codex for Open Source можно получить:
• 6 месяцев ChatGPT Pro
• доступ к Codex и GPT-5.5 Pro
• API-кредиты
• Codex Security
Заявка простая: нужно отправить ссылку на свой репозиторий и коротко объяснить, зачем проект важен и как Codex поможет его улучшить.
Больше шансов у тех, у кого есть:
• активный GitHub-профиль
• несколько публичных репозиториев
• звёзды на проектах
• нормальная история коммитов
Если у вас есть живой open-source проект, это один из самых простых способов получить ChatGPT Pro на полгода бесплатно.
https://openai.com/ru-RU/form/codex-for-oss/
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9👍4❤1
Forwarded from Machinelearning
Anthropic опубликовала аналитический материал, в котором утверждает, что системы искусственного интеллекта всё активнее участвуют в создании следующих поколений ИИ.
Материал подготовлен исследовательским подразделением Anthropic Institute. Его авторы - Марина Фаваро и сооснователь компании, глава отдела политики Джек Кларк.
Отрасль приближается к рекурсивному самоулучшению
Это состояние, когда ИИ способен самостоятельно проектировать и совершенствовать собственного преемника быстрее, чем к этому будут готовы правительства и институты.
При этом Anthropic оговаривается, что до полностью автономной разработки ещё далеко и что такой сценарий не является неизбежным, люди по-прежнему нужны. Они ставят цели, оценивают результаты и решают, какие направления важны.
На май 2026 года Claude написал более 80% кода, добавляемого в кодовую базу Anthropic.
До запуска Claude Code этот показатель измерялся единицами процентов.
Во втором квартале 2026 года типичный инженер вносил в проекты примерно в 8 раз больше кода в день, чем в 2024-м.
Время выполнения задач, которые модели способны надёжно решать без участия человека, удваивается примерно каждые 4 месяца.
В начале 2024 года Opus 3 справлялся с задачами длиной в несколько минут, годом позже Sonnet 3.7 примерно за полтора часа, а Opus 4.6 - до 12 часов.
На SWE-bench, проверяющем исправление реальных ошибок в коде, передовые модели за два года прошли путь от низких результатов до почти предельных.
Джек Кларк говорит, что компания хочет, чтобы законодатели и институты понимали, что может произойти дальше.
По его словам, цель Anthropic - "заранее обозначить концепцию и дать людям представление о том, что приближается".
Прогресс ИИ, по его оценке, скорее ускоряется, чем замедляется, и может принести значительные результаты в медицине и науке, но требует инструментов для проверки и подтверждения работы, выполненной ИИ.
Anthropic выступает за то, чтобы у мира оставалась возможность при необходимости замедлить или временно приостановить разработку передовых моделей, но понимает, что это потребует согласованных всех игроков индустрии в разных странах и механизмов взаимной проверки.
В ближайшие месяцы компания обсудит эти вопросы с законодателями, исследователями и другими участниками отрасли.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6👍2🔥1🤡1
Forwarded from ODS Events
Доброе утро! ☀️
Представляем Вашему вниманию двадцать второй выпуск подкаста "Капитанский мостик". Ведущие подкаста Валентин Малых и Дмитрий Колодезев обсуждают внедрение ИИ в программирование, влияние технологий на бизнес и общество, а также вопросы психического здоровья подростков с помощью чат-ботов.
Смотрите видео на каналах ⤵️
ODS VK Video
ODS YouTube
📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).
Представляем Вашему вниманию двадцать второй выпуск подкаста "Капитанский мостик". Ведущие подкаста Валентин Малых и Дмитрий Колодезев обсуждают внедрение ИИ в программирование, влияние технологий на бизнес и общество, а также вопросы психического здоровья подростков с помощью чат-ботов.
Смотрите видео на каналах ⤵️
ODS VK Video
ODS YouTube
📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).
❤2
Forwarded from Machinelearning
⚡️Релиз Claude Fable 5
Бенчмарки выглядят очень солидно, верим ?)
Молель уже доступна для пользователей.
https://www.anthropic.com/news/claude-fable-5-mythos-5
Бенчмарки выглядят очень солидно, верим ?)
Молель уже доступна для пользователей.
https://www.anthropic.com/news/claude-fable-5-mythos-5
👍5🤡4🤔1🤯1
Forwarded from 404 Driver Not Found
VoxelNeXt: Fully Sparse VoxelNet for 3D Object Detection and Tracking
Классические dense-подходы, применяемые поверх воксельных featuremap’ов требуют большого количества вычислений и пост-процессинга (например, NMS). Сегодня разберём статью о попытках оптимизировать это.
Авторы предлагают решать задачу 3D-детекции на лидарных точках в fully-sparse режиме. Для построения такого детектора используют классический spconv-based лидарный бэкбон. Но с улучшениями:
🔴 В изначальный FPN добавили больше featuremap’ов в низком разрешении с последующим апсэмплом. Это значительно увеличило размер эффективного рецептивного поля.
🔴 В конец лидарного бэкбона добавили пуллинг по высоте. Вычислений стало меньше, но метрики не изменились.
🔴 Добавили spatially voxel pruning, «размазывающий» только воксели с достаточно большими магнитудами.
🔴 Кандидатов в боксы отбирали не NMS, а sparse-max-пуллингом. С точки зрения метрик это оказалось почти эквивалентной заменой.
В статье много ablation’ов по всем предложенным изменениям. По результатам замеров на nuScenes, подход позволяет получить сравнимое с лидерами качество 3D-детекции при значительно лучшем latency.
Разбор подготовил❣️ Владимир Филипенко
404 driver not found
Классические dense-подходы, применяемые поверх воксельных featuremap’ов требуют большого количества вычислений и пост-процессинга (например, NMS). Сегодня разберём статью о попытках оптимизировать это.
Авторы предлагают решать задачу 3D-детекции на лидарных точках в fully-sparse режиме. Для построения такого детектора используют классический spconv-based лидарный бэкбон. Но с улучшениями:
В статье много ablation’ов по всем предложенным изменениям. По результатам замеров на nuScenes, подход позволяет получить сравнимое с лидерами качество 3D-детекции при значительно лучшем latency.
Разбор подготовил
404 driver not found
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
Forwarded from Voice stuff
Langswap становится Open Source!
Как я уже много раз говорил, мы публикуем исходный код нашего перевода видео, который используется на сайте langswap.app. В коде в какой-то момент было много know-hows, но последняя итерация была больше на упрощение и на ускорение пайплайна.
Сейчас под капотом там следующее:
Сначала мы разделяем аудио на речь и фоновые звуки здесь
https://github.com/langswap-app/langswap/blob/main/langswap/ml/speech_to_text_service/speech_to_text_manager.py
Фоновые звуки (музыку, шум) нам нужно оставить как есть.
Затем с помощью whisper распознаём всё что там есть.
https://github.com/langswap-app/langswap/blob/main/langswap/ml/speech_to_text_service/asr_vad_client.py
и уточняем границы распознанного с помощью VAD. Присваиваем сегментам спикера.
Потом просим Gemma-4-E2B перевести нам всё и считаем гласные. Если сильно уехали по длине, просим гемму переделать 1-2 раза.
https://github.com/langswap-app/langswap/blob/main/langswap/ml/translation_service/translator_llamacpp_client.py
Потом, с новыми текстами, синтезируем речь через OmniVoice, используя исходный аудио сегмент как референс.
https://github.com/langswap-app/langswap/blob/main/langswap/ml/text_to_speech_service/tts_omnivoice_client.py
В конце, заменяем аудиодорожку на видео и добавляем watermark что переведено с помощью langswapи какой-то матери
https://github.com/langswap-app/langswap/blob/main/langswap/ml/ffmpeg/__init__.py
В целом, это довольно простой, казалось бы, пайплайн, но как же долго и много это раз переизобреталось, вносились новые ТТС системы, изобретались способы контроля длины речи. В последней итерации, я удалил большую часть кода, чтобы вам было проще ориентироваться и контрибьютить.
https://github.com/langswap-app/langswap
Обязательно ставьте лайк на репе! Мне это очень важно.
Почитать про этот перевод на forbes:
https://www.forbes.ru/tekhnologii/554358-masinal-naa-ozvucka-v-cem-zaklucautsa-problemy-ii-dublaza
Спасибо что были подписаны всё это время!
Как я уже много раз говорил, мы публикуем исходный код нашего перевода видео, который используется на сайте langswap.app. В коде в какой-то момент было много know-hows, но последняя итерация была больше на упрощение и на ускорение пайплайна.
Сейчас под капотом там следующее:
Сначала мы разделяем аудио на речь и фоновые звуки здесь
https://github.com/langswap-app/langswap/blob/main/langswap/ml/speech_to_text_service/speech_to_text_manager.py
Фоновые звуки (музыку, шум) нам нужно оставить как есть.
Затем с помощью whisper распознаём всё что там есть.
https://github.com/langswap-app/langswap/blob/main/langswap/ml/speech_to_text_service/asr_vad_client.py
и уточняем границы распознанного с помощью VAD. Присваиваем сегментам спикера.
Потом просим Gemma-4-E2B перевести нам всё и считаем гласные. Если сильно уехали по длине, просим гемму переделать 1-2 раза.
https://github.com/langswap-app/langswap/blob/main/langswap/ml/translation_service/translator_llamacpp_client.py
Потом, с новыми текстами, синтезируем речь через OmniVoice, используя исходный аудио сегмент как референс.
https://github.com/langswap-app/langswap/blob/main/langswap/ml/text_to_speech_service/tts_omnivoice_client.py
В конце, заменяем аудиодорожку на видео и добавляем watermark что переведено с помощью langswap
https://github.com/langswap-app/langswap/blob/main/langswap/ml/ffmpeg/__init__.py
В целом, это довольно простой, казалось бы, пайплайн, но как же долго и много это раз переизобреталось, вносились новые ТТС системы, изобретались способы контроля длины речи. В последней итерации, я удалил большую часть кода, чтобы вам было проще ориентироваться и контрибьютить.
https://github.com/langswap-app/langswap
Обязательно ставьте лайк на репе! Мне это очень важно.
Почитать про этот перевод на forbes:
https://www.forbes.ru/tekhnologii/554358-masinal-naa-ozvucka-v-cem-zaklucautsa-problemy-ii-dublaza
Спасибо что были подписаны всё это время!
GitHub
langswap/langswap/ml/speech_to_text_service/speech_to_text_manager.py at main · langswap-app/langswap
Self-hosted AI video dubbing with ASR, translation, voice cloning, subtitles, and local GPU inference. - langswap-app/langswap
1❤6👍3
Forwarded from Machinelearning
Разработчики Kimi совместно с неназванными государственным банком и платёжной системой открыли предрегистрацию на Kimi Credit Card.
Вместо классического кэшбека держатели карты получат вычислительные квоты платформы Kimi. Баллы за покупки конвертируются в токены для оплаты работы агентов и доступа к платным функциям моделей.
В качестве дополнительных бонусов владельцам карты обещают приоритетный доступ к тестированию новых релизов и приглашения на закрытые мероприятия.
Запуск запланирован на июль 2026 года.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6🤣4👍2🔥1
Forwarded from ODS Events
Привет!
Представляем Вашему вниманию еженедельный выпуск подкаста "Капитанский мостик" 14.06.2026. Ведущие подкаста Валентин Малых и Дмитрий Колодезев обсуждают последние новости в области технологий, включая влияние США и Китая на развитие ИИ, регулирование и инвестиции в высокотехнологичные проекты, а также влияние глобальных долговых обязательств на мировой рынок.
Смотрите видео на каналах ⤵️
ODS VK Video
ODS YouTube
📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).
Представляем Вашему вниманию еженедельный выпуск подкаста "Капитанский мостик" 14.06.2026. Ведущие подкаста Валентин Малых и Дмитрий Колодезев обсуждают последние новости в области технологий, включая влияние США и Китая на развитие ИИ, регулирование и инвестиции в высокотехнологичные проекты, а также влияние глобальных долговых обязательств на мировой рынок.
Смотрите видео на каналах ⤵️
ODS VK Video
ODS YouTube
📩 Присылайте новости для обсуждения в канал "Дата-капитаны" в mattermost (авторизуйтесь через ODS.ai).
❤1
Forwarded from Speech Info
Reward-Driven Interaction: Enhancing Proactive Dialogue Agents through User Satisfaction Prediction
Разбираем статью об улучшении диалоговых агентов с помощью «проактивности». Речь о способности системы в нужный момент задать уточняющий вопрос, если она понимает, что пользователь, скорее всего, останется недоволен ответом.
Применяют обычный для голосового ассистента каскадный пайплайн: отдельный ASR, переформулировка запроса при необходимости, определение интента (намерения пользователя) и домена, формирование ответа-кандидата, TTS. Поверх этого работает диалог-менеджер, который решает, отдавать ответ сразу или сначала уточнить запрос. Для этого он пытается предсказать, будет ли пользователь недоволен на текущем шаге.
Модель диалог-менеджера состоит из трёх веток, чьи представления конкатенируются и подаются в MLP-голову предсказания недовольства.
Query-side. На вход: ASR-вывод, n-best гипотез и rewritten query. Для n-best гипотез считается attention pooling, чтобы собрать их в одно агрегированное представление. Эта ветка должна уловить расхождения между вариантами одного и того же запроса и тем самым помочь выявить возможные ASR-ошибки.
Response-side. На вход: финальный запрос, ответ-кандидат и связанные с ним признаки. Эта ветка моделирует, насколько согласованы между собой пользовательский запрос и тот результат, который система собирается вернуть.
Session-side. На вход: история взаимодействия и время отклика. Эта ветка извлекает признаки на уровне сессии — то есть паттерны, связанные с пользовательской неудовлетворенностью в ходе диалога.
Проблема в том, что такой диалог-менеджер часто ошибается в обе стороны. Если он не задаёт уточняющий вопрос, где это нужно, пользователь получает плохой ответ. Если задаёт лишний — начинает раздражать. Когда модель выкатили в прод и посмотрели на реальные сессии, оказалось, что она хуже всего работает именно там, где обучающий сигнал слабее всего:
1) На ошибках ASR — распознавание часто даёт странные или редкие формулировки, которых мало в обучении, и диалог-менеджер плохо на них обобщается;
2) Редкие домены — на частых сценариях система работает лучше, а в QA и других long-tail-случаях заметно проседает. Авторы связывают это с тем, что здесь используются слабые метки, извлечённые из последующего поведения пользователя, а редких кейсов мало, чтобы основной сигнал сам научил модель устойчивым представлениям.
Архитектуру авторы не меняют. Вместо этого усиливают обучение с помощью двух дополнительных задач.
Первая — contrastive self-supervised learning. Схема, близка к SimCSE: один и тот же запрос дважды пропускается через энкодер с разным dropout, после чего полученные представления сближаются как positive pair, а остальные примеры в батче используются как negatives. За счёт этого модель становится устойчивее к ASR-шуму, редким вариантам запроса и вообще лучше переносит «кривые» формулировки.
Вторая — классификация домена и интента. Для этого авторы берут сессионное представление, построенное по истории диалога, и учат отдельную голову предсказывать, к какому домену относится текущий запрос и какой у него интент. Эта задача нужна не сама по себе, а как дополнительный обучающий сигнал, заставляя модель лучше структурировать редкие сценарии и тем самым повышая качество в long-tail-доменах.
В итоге всё обучается совместно: основной лосс на предсказание недовольства и два вспомогательных лосса с весами. Отдельный претрейн не требуется.
Основной прирост возникает там, где у базовой модели были проблемы: в редких доменах и шумных запросах. В офлайне это особенно заметно в домене universal QA, где CLA растёт с 0,045 до 0,058. Онлайн-замер это подтверждает: в разборе тысячи сессий новая модель лучше выявляет ошибки ASR (38/119 против 30/119) и NLU (10/61 против 5/61).
По сути, статья показывает практичный ход: если основной обучающий сигнал шумный и плохо покрывает редкие случаи, можно не усложнять архитектуру, а добавить вспомогательные задачи, которые делают представления устойчивее к ASR-ошибкам и полезнее для long-tail-доменов.
Никита Боровко❣ Специально для Speech Info
Разбираем статью об улучшении диалоговых агентов с помощью «проактивности». Речь о способности системы в нужный момент задать уточняющий вопрос, если она понимает, что пользователь, скорее всего, останется недоволен ответом.
Применяют обычный для голосового ассистента каскадный пайплайн: отдельный ASR, переформулировка запроса при необходимости, определение интента (намерения пользователя) и домена, формирование ответа-кандидата, TTS. Поверх этого работает диалог-менеджер, который решает, отдавать ответ сразу или сначала уточнить запрос. Для этого он пытается предсказать, будет ли пользователь недоволен на текущем шаге.
Модель диалог-менеджера состоит из трёх веток, чьи представления конкатенируются и подаются в MLP-голову предсказания недовольства.
Query-side. На вход: ASR-вывод, n-best гипотез и rewritten query. Для n-best гипотез считается attention pooling, чтобы собрать их в одно агрегированное представление. Эта ветка должна уловить расхождения между вариантами одного и того же запроса и тем самым помочь выявить возможные ASR-ошибки.
Response-side. На вход: финальный запрос, ответ-кандидат и связанные с ним признаки. Эта ветка моделирует, насколько согласованы между собой пользовательский запрос и тот результат, который система собирается вернуть.
Session-side. На вход: история взаимодействия и время отклика. Эта ветка извлекает признаки на уровне сессии — то есть паттерны, связанные с пользовательской неудовлетворенностью в ходе диалога.
Проблема в том, что такой диалог-менеджер часто ошибается в обе стороны. Если он не задаёт уточняющий вопрос, где это нужно, пользователь получает плохой ответ. Если задаёт лишний — начинает раздражать. Когда модель выкатили в прод и посмотрели на реальные сессии, оказалось, что она хуже всего работает именно там, где обучающий сигнал слабее всего:
1) На ошибках ASR — распознавание часто даёт странные или редкие формулировки, которых мало в обучении, и диалог-менеджер плохо на них обобщается;
2) Редкие домены — на частых сценариях система работает лучше, а в QA и других long-tail-случаях заметно проседает. Авторы связывают это с тем, что здесь используются слабые метки, извлечённые из последующего поведения пользователя, а редких кейсов мало, чтобы основной сигнал сам научил модель устойчивым представлениям.
Архитектуру авторы не меняют. Вместо этого усиливают обучение с помощью двух дополнительных задач.
Первая — contrastive self-supervised learning. Схема, близка к SimCSE: один и тот же запрос дважды пропускается через энкодер с разным dropout, после чего полученные представления сближаются как positive pair, а остальные примеры в батче используются как negatives. За счёт этого модель становится устойчивее к ASR-шуму, редким вариантам запроса и вообще лучше переносит «кривые» формулировки.
Вторая — классификация домена и интента. Для этого авторы берут сессионное представление, построенное по истории диалога, и учат отдельную голову предсказывать, к какому домену относится текущий запрос и какой у него интент. Эта задача нужна не сама по себе, а как дополнительный обучающий сигнал, заставляя модель лучше структурировать редкие сценарии и тем самым повышая качество в long-tail-доменах.
В итоге всё обучается совместно: основной лосс на предсказание недовольства и два вспомогательных лосса с весами. Отдельный претрейн не требуется.
Основной прирост возникает там, где у базовой модели были проблемы: в редких доменах и шумных запросах. В офлайне это особенно заметно в домене universal QA, где CLA растёт с 0,045 до 0,058. Онлайн-замер это подтверждает: в разборе тысячи сессий новая модель лучше выявляет ошибки ASR (38/119 против 30/119) и NLU (10/61 против 5/61).
По сути, статья показывает практичный ход: если основной обучающий сигнал шумный и плохо покрывает редкие случаи, можно не усложнять архитектуру, а добавить вспомогательные задачи, которые делают представления устойчивее к ASR-ошибкам и полезнее для long-tail-доменов.
Никита Боровко
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6👍3