Seeduplex

Полнодуплексная модель LLM для голосового взаимодействия от ByteDance, бывшая Doubao Realtime Voice Model

Слушает в то время как сам говорит, это позволяет быстро реагировать на перебивание

Умный шумодав

Модель уже встроена в приложение Doubao

Попробовать вероятно можно на https://www.doubao.com/ - вход по китайскому телефону

#realtime #voicemode #alm #moble

Audio Flamingo Next

Новая версия модели от NVIDIA для работы с речью, звуками и музыкой - понимания и описания

— Поддержка файлов до 30 минут и 128 тыс. токенов.
— Анализ длинных записей с несколькими говорящими и шумами.
— Точные ответы с привязкой к временным меткам.
— Специализированные версии для ответов, описаний и рассуждений.

AF-Next-Captioner - описывающая модель
AF-Next-Instruct - универсальная инструктивная версия
AF-Next-Think - рассуждающая версия

Гитхаб
HF
Демо:
https://huggingface.co/spaces/nvidia/audio-flamingo-next
https://huggingface.co/spaces/nvidia/audio-flamingo-next-think
https://huggingface.co/spaces/nvidia/audio-flamingo-next-captioner

#cot #reasoning #alm #captioning #audio2text

Audio‑Omni

Фреймворк для работы с аудио: понимание, генерация и редактирование. Работает с речью, музыкой и общим звуком

Замороженную мультимодальную LLM использует для высокоуровневого рассуждения.

Может делать генерацию с учётом знаний, генерировать в контексте и управлять аудиогенерации на разных языках без обучения

Интересные возможности редактирования. Например замена слов в речи, замена музыкального инструмента в музыке

Качество звука в демовидео не впечатляет, в отличие от возможностей

Гитхаб
HF
Демо

#multimidal #alm #audio2text #text2audio #audioediting

Xiaomi MiMo V2.5

Модель от Xiaomi, младшая мультимодальная 310B-A15B поддерживает изображения, аудио и видео

старшая - 1.02T-A42B и 310B-A15B

Контекст миллион токенов у обеих

HF
Openrouter
Xiaomi MiMo telegram ‼️

#multimodal #vlm #alm #assistant

MOSS-Audio-8B-Thinking Demo

Демоспейс пониматора музыки

#asr #alm #music2text #captioning #STT

jina-embeddings-v5-omni

Мультимодальная модель, переводит текст, изображения, видео и аудио в одно векторное пространство для унифицированной работы с разнородными данными

• ищет по всем типам медиа одновременно
• поддерживает почти 100 языков
• работает с текстовыми, визуальными и аудиоданными
• сохраняет совместимость с jina-embeddings-v5-text (не требует переиндексации)

Модульная конструкция - можно активировать нужные модули (текст/изображения/аудио) по необходимости.

Nano: 1,04 млрд параметров, контекст 8 K
Small: 1,74 млрд параметров, контекст 32 K

HF
MS
Демо

Спасибо @Endorpheen

#multimodal #search #vlm #alm

xAI Voice Agent Builder

xAI представили платформу, где можно быстро собрать голосовых агентов под разные сценарии

• быстрая сборка голосовых агентов из модулей
• интеграция с внешними API и базами. Поддекржка Gmail, Google Calendar, Outlook, Notion и т д
• тонкая настройка голоса и интонаций
• 25+ языков, включая русский
• 80+ голосов на выбор
• Клонирование голоса
• На аккаунт бесплатно (!) дают номер телефона, с которого агент может звонить

#voicemode #agent #online #voicecloning #russian #voiceagent #alm

Audex

Унифицированная аудио-текстовая MoE-модель от NVIDIA для работы со звуком, речью и рассуждениями без потери текстовой интеллектуальности

• генерация речи и аудио
• распознавание речи, перевод, прочее speech-to-speech
• обработка речи и звуковых событий

30B параметров, 3B активных. Контекст до 1 млн токенов

Есть версия на 2B

#alm #speech2speech #tts #asr #text2audio #translation

GigaChat3.1-Audio-10B-A1.8B

Аудио LLM для работы с длинными записями (2 часа)

* Распознавание речи (ASR) - переводит аудио в текст
* Перевод - упомянуты русский и английский
* Ответы на вопросы по аудио (QA)
* Распознавание эмоций
* Временная привязка (temporal grounding). находит в какой части аудио происходит то или иное событие. заявлено 48.3 mIoU на задачах для записей до 2 часов

• 10B #MoE декодер, активно 1.8B параметров
• энкодер GigaAM

Демо

#alm #qa #asr #stt #translation #russian

AuK (Tencent Hunyuan)

Универсальная модель речи: генерация, редактирование, очистка и разделение

Все через указания естественным языком

- Клонирование голоса: текст + референс голоса
- Instruct TTS: голос по описанию без референса
- Редактирование содержимого: заменил/вставил/удалил слова, переписал слова в песне с сохранением мелодии
- Акустика: питч, скорость, громкость
- Паралингвистика: эмоция, тембр, убирает акцент, дыхание/смех/кашель, обычная речь - шепот
- Очистка и разделение: улучшение речи, разделение говорящих, извлечение вокала из микса, выделение цели по сказанному

- 1.5B, MIT
- AuK-Flash: 4 шага, в 4.5x быстрее

Русский не заявлен, но текстовый энкодер - мультиязыный Qwen2.5-Omni-3B, так что пробуйте

Гитхаб
HF
Демо
ComfyUI Спасибо @m_franz

#tts #voiceclonihng #voicedesign #alm #demix #audioseparation

Samsone от Samsung Labs

Три небольших аудиоязыковых модели для смартфонов: Samsone-99M, 134M и 356M. Принимают один или несколько аудиофрагментов с текстовым запросом, отвечают текстом. Презентация на Interspeech 2026 в Сиднее

• описывают звук, отвечают на вопросы о записи, сравнивают клипы
• понимают речь, музыку и звуки окружения
• несколько аудиофрагментов в любом месте запроса
• ответ только на английском строчными буквами - экономия на параметрах

• аудиоэнкодер Whisper-Tiny 9M + SmolLM2 на 135 или 360 млн
• клип усредняется до 50 аудиотокенов, разделитель SEP
• на Galaxy S25 Ultra: 125 токенов/сек у 99M, 87 у 134M, 39 у 356M
• обработка аудио 0.7-1.1 секунды

Авторы честно предупреждают: после дообучения модели теряют общие языковые навыки - это точечный инструмент, а не собеседник. Веса, код обучения и Android-приложение под Android 12+ открыты

Гитхаб
веса там же в релизах

#alm #mobile

MAX

Realtime-Venus

Мультимодалка, полный аудио дуплекс: модель слушает, пока говорит, видит аудио-видео контекст и параллельно делегирует задачи в фон, не прерывая диалог. Два чекпоинта по 9B на базе MiniCPM-o 4.5

• Omni - аудио-видео: непрерывно смотрит и слушает, сама решает, когда ответить
• Audio - голосовый диалог с речевым выводом
• асинхронная делегация - <delegate>-запросы в потоке, внешние задачи не блокируют разговор
• память длинных видео без дообучения
• различает перебивания, коррекции и редиректы

Вход: видео, аудио, текст. Выход: текст и речь. Языковая база - Qwen3-8B, контекст 40960 токенов

Гитхаб
HF
Heretic
Демо

#multimodal #duplex #realtime #dialog #vlm #alm

MOSS-Audio-4B-Instruct

Открытая модель понимания аудио. Понимает речь, музыку, звуки окружения, отвечает на вопросы об аудио и умеет рассуждать по шагам (chain-of-thought). Четыре варианта: 4B и 8B, Instruct и Thinking

• транскрипция речи с таймштами слов и предложений
• анализ говорящего: пол, возраст, акцент, эмоции
• описание сцены по фоновым звукам
• музыка: стиль, инструменты, эмоциональное развитие
• время-ориентированные вопросы - что произошло когда

• свой аудиоэнкодер 12.5 Гц + Qwen3 в качестве языковой базы
• DeepStack - фиче-инъекция от ранних слоев энкодера в LM
• тайм-маркеры вшиты в претрейн - модель учит хронологию

Гитхаб
HF

#alm

MAX

Youtu-Parsing-Omni

Компактная омнимодальная парсинг-модель от Tencent: один 5B трансформер превращает в структурированный JSON почти что угодно — документ, картинку, график, чертеж, аудио и видео.

• Парсинг документов: лейаут, текст, таблицы, формулы, порядок чтения
• Картинки, графики, блок-схемы, геометрические фигуры
• Аудио: ASR, спикеры, сцены, акустические события
• Видео: кадры, OCR+ASR, отчёт о клипе
• Один унифицированный JSON-конверт для семи семейств задач
• Распознавание химструктур (ChemOCR) и нот (PDMX)

• 5B параметров, один энкодер на все модальности
• #SOTA на OmniDocBench v1.6 (96.96)
• Лучшая опенсорс на OmniParsingBench (75.08), после Gemini-3-Pro
• vLLM-плагин для быстрого сервинга

github.com/TencentCloudADP/youtu-parsing
learn2play.fun

#omnimodal #multimodal #any2json #vlm #alm

MAX