Qwen Chat научился произносить свои ответы вслух — при помощи Qwen3-TTS

Работает и на мобилках

#voicemode #assistant

SHANKS: Simultaneous Hearing and Thinking for Spoken Language Models

В Microsoft придумали метод, позволяющий говорящим языковым моделям (SLMs) думать и анализировать информацию одновременно с прослушиванием речи пользователя.

— SHANKS делит речь пользователя на небольшие фрагменты и обрабатывает их по мере поступления.

— Модель анализирует уже услышанное и формирует внутренние рассуждения.

— Может прерывать пользователя, если замечает ошибку, например, при решении математических задач.

— В диалоге с инструментами выполняет запросы к API ещё до окончания реплики пользователя.

— Повышает точность прерывания пользователя на 37,1 % по сравнению с базовыми методами.

— Выполняет 56,9 % инструментальных запросов до того, как пользователь закончит говорить.

Кода нет

#voicemode #SLM #research

Audio Flamingo 3

аудиоязыковая модель от NVIDIA

Русский понимает. Собачий - навряд ли. Но делает вид что понимает.

Умеет:

— понимать необычные звуки;

— работать с длинными аудио (до 10 минут);

— вести многоходовые диалоги с несколькими аудиозаписями;

— генерировать шаги рассуждения;

— общаться голосом;

— обрабатывать речь, звуки и музыку с помощью единого энкодера.

В основе модели — энкодер Whisper large-v3 с Transformer-декодером

Гитхаб - кажется кода нет
HF
Демо

#alm #audio2text #voicemode

Sparrow-1

Tavus выпустил новую диалоговую рилтаймовую аудио-видео модель (Sparrow-0 тут)

Она создана для работы с видео, где важно, чтобы разговор выглядел естественно

— понимает, кто сейчас «владеет» разговором

— использует потоковое аудио и учитывает контекст, чтобы не было задержек

— обучается под каждого говорящего, подстраиваясь под его темп речи

— учитывает такие вещи, как «э-э», «м-м», незавершённые фразы и явные перебивания

— реагирует мгновенно, когда намерение говорящего понятно, и ждёт, если есть неопределённость

— показала 100% точность и полноту в тестах, не допускает перебиваний, а среднее время отклика составляет 55 мс

— уже доступна в продуктах Tavus, включая API и платформу Tavus

#assistant #voicemode #talkinghead #realtime

NVIDIA PersonaPlex: Natural Conversational AI With Any Role and Voice

Диалоговая разговорная аудиомодель с полным дуплексом

— может вести диалог, слушая и говоря одновременно

— создаёт естественные паузы, перебивает, использует междометия вроде «ага» или «оу», чтобы показать, что слушает

— подстраивается под заданную роль через текстовый промпт — может быть учителем, сотрудником банка, астронавтом и кем угодно

А построили ее... на базе Moshi Неужели у Нвидиа кончились свои идеи? Видать, потому опенсорс

Гитхаб
HF

Спасибо @m_franz

#voicemode #dialog

MiniCPM-o 4.5

Потоковая дуплексная аудио-видео мультимодалка. Что ???
Видео и аудио понимает, ответы и речь генерирует, но только на английском и китайском

Собрано из SigLip2, Whisper-medium, CosyVoice2 и Qwen3-8B - всего 9B параметров

Заявлено:

— обрабатывает видео и аудио в реальном времени, одновременно генерируя текст и речь, "не блокируя потоки данных"

— понимает и генерирует речь на английском и китайском, может клонировать голос и имитировать разные роли по короткому аудиообразцу

— справляется с OCR-задачами, разбирает документы и таблицы, работает с текстами на более чем 30 языках;

— может вести диалоги, имитируя разных персонажей, подстраиваясь под заданный стиль общения

— поддерживает разные режимы работы: простой чат, стриминг, дуплексный режим для одновременной обработки нескольких потоков данных

Но судя по демо, далеко не все так радужно, попробуйте сами

Гитхаб
HF
Стриминговое демо с вебкой
Демо
Cookbook

#streaming #dialog #voicemode #voicecloning #vlm #realtime

Phoenix-4: Real-Time Human Rendering with Emotional Intelligence

Tavus (авторы Sparrow-1) выкатили модель для real-time видео-звонков с ИИ-аватарами. Это уже не просто «говорящая голова», а полноценный цифровой двойник.

- Задержка <150 мс: Общение без пауз, как в живом Zoom.

- Эмоциональный интеллект: Аватар считывает контекст и меняет мимику на лету.

- Масштабируемость: Один человек может «присутствовать» на тысячах встреч одновременно

- работает в HD (1080p) с частотой 40 кадров в секунду, без потери качества и задержек; 3

- не просто анимирует речь, а создаёт непрерывное и естественное поведение во время всего разговора, включая паузы и слушание

Демо - нет ощущения что с человеком общаешься. во первых он отстает, во вторых ощущение как от ChatGPT: "я так хороший позитивный чувак я пытаюсь тебе угодить"

#assistant #voicemode #talkinghead #realtime #humanavatar #avatar

Krea Voice Mode

В Krea.ai прикрутили голосовой ввод? но кажется только на айпаде

Krea iOS

#voicemode #ios #mobile

Covo-Audio

Аудиоязыковая модель с 7B параметров.
Обрабатывает аудио и генерирует ответ в аудиоформате, всё в одной архитектуре

Работает с непрерывным аудио, не разбивая на кусочки.

Разделяет «интеллект» и голос: обучена на нескольких спикерах, поэтому может менять голос, не влияя на качество диалога.

Поддерживает двусторонний разговор с низкой задержкой

Базовые модели:

— Qwen2.5-7B (основа языковой модели)

— Whisper (аудиоэнкодер)

HF

#streaming #realtime #voicemode #ALM

Lovart Vectorize

Lovart запустил векторизатор картинок, на дизайнерском трассировщик

Простая конверсия PNG/JPG в SVG

Ну и не помню писал или нет, у них есть ИИ-ассистент с голосовым режимом

#image2svg #voicemode

Seeduplex

Полнодуплексная модель LLM для голосового взаимодействия от ByteDance, бывшая Doubao Realtime Voice Model

Слушает в то время как сам говорит, это позволяет быстро реагировать на перебивание

Умный шумодав

Модель уже встроена в приложение Doubao

Попробовать вероятно можно на https://www.doubao.com/ - вход по китайскому телефону

#realtime #voicemode #alm #moble

Interaction Models

Мультимодальная модель для голосовых ассистентов от Миры Мурати, обрабатывает аудио, видео и текст в реальном времени.
Ассистент слышит, видит и отвечает почти мгновенно - подойдёт для синхронного перевода или фитнес‑тренера с подсчётом упражнений.

276B MoE, 12B активных

Что умеет:
• перебивать пользователя
• говорить одновременно с собеседником
• реагировать на жесты и действия («посчитай отжимания», «скажи, когда подниму палец»)
• отслеживать интервалы времени («напоминай дышать каждые 4 секунды»)
• искать в интернете и запускать инструменты во время диалога


• задержка — 400 мс
• FD‑bench v1.5: 77,8 (GPT‑Realtime и Gemini‑Live — 46–54)
• лидирует на TimeSpeak, CueSpeak, RepCount, Charades (конкуренты — 0–1 %)
• куски по 200 мс, параллельные потоки

#voicemode #realtime #dialog #assistant

Audio-Interaction

Потоковая аудиомодель, которая слушает в реальном времени и сама решает, когда вступить в разговор. Объединяет транскрибацию, чат и проактивное вмешательство в одной системе.

• транскрибирует аудио на лету
• ведёт диалог
• самостоятельно определяет момент для ответа (через цикл perceive‑decide‑respond)
• работает в режиме всегда включённой модели

• обучающий датасет: StreamAudio‑2M (2,6 млн элементов)

huggingface.co/zhifeixie/AudioInteraction

github.com/xzf-thu/Audio-Interaction

#dialog #streaming #realtime #tts #stt #voicemode #interactive

xAI Voice Agent Builder

xAI представили платформу, где можно быстро собрать голосовых агентов под разные сценарии

• быстрая сборка голосовых агентов из модулей
• интеграция с внешними API и базами. Поддекржка Gmail, Google Calendar, Outlook, Notion и т д
• тонкая настройка голоса и интонаций
• 25+ языков, включая русский
• 80+ голосов на выбор
• Клонирование голоса
• На аккаунт бесплатно (!) дают номер телефона, с которого агент может звонить

#voicemode #agent #online #voicecloning #russian #voiceagent #alm

real-time voice AI

Hugging Face и Cerebras собрали пример опенсорсного голосового диалогового агента в рилтайме

• Gemma 4 VLM на Cerebras — быстрый инференс
• Parakeet (Nvidia) — распознавание речи
• Qwen3TTS (Alibaba) — синтез голоса
• задержка минимальна, отклик почти мгновенный

Работает в роботах Reachy Mini (свыше 9000 устройств)

Гитхаб
Демо

#realtime #dialog #voicemode #vlm #multimodal #interactive #tts #stt #duplex