real-time voice AI

Hugging Face и Cerebras собрали пример опенсорсного голосового диалогового агента в рилтайме

• Gemma 4 VLM на Cerebras — быстрый инференс
• Parakeet (Nvidia) — распознавание речи
• Qwen3TTS (Alibaba) — синтез голоса
• задержка минимальна, отклик почти мгновенный

Работает в роботах Reachy Mini (свыше 9000 устройств)

Гитхаб
Демо

#realtime #dialog #voicemode #vlm #multimodal #interactive #tts #stt #duplex

Nemotron VoiceChat

Полнодуплексная речевая модель 11B параметров от NVIDIA, первая открытая с вызовом инструментов. Живой разговорный поток без пауз

• естественное чередование реплик
• поддержка перебивания пользователем
• вызов инструментов в диалоге
• генерация речи с эмоциональной окраской
• поддержка мультимодальных сценариев взаимодействия
• файнтюн под разные стили голоса

Гитхаб
HF

#duplex #dialog #tts #toolcall

Realtime-Venus

Мультимодалка, полный аудио дуплекс: модель слушает, пока говорит, видит аудио-видео контекст и параллельно делегирует задачи в фон, не прерывая диалог. Два чекпоинта по 9B на базе MiniCPM-o 4.5

• Omni - аудио-видео: непрерывно смотрит и слушает, сама решает, когда ответить
• Audio - голосовый диалог с речевым выводом
• асинхронная делегация - <delegate>-запросы в потоке, внешние задачи не блокируют разговор
• память длинных видео без дообучения
• различает перебивания, коррекции и редиректы

Вход: видео, аудио, текст. Выход: текст и речь. Языковая база - Qwen3-8B, контекст 40960 токенов

Гитхаб
HF
Heretic
Демо

#multimodal #duplex #realtime #dialog #vlm #alm