Нейронавт | Нейросети в творчестве

0:56

Runway Characters

Платформа для создания виртуальных собеседников, которых можно добавить на сайт или в приложение с помощью API.

На вход картинка, голос, информационная база. На выходе ассистент-консультант с которым можно говорить в реальном времени

#avatar #assistant #realtime #dialog

Нейронавт в MAX

🔥4

1.7K views11:08

0:45

Media is too big

LPM 1.0

Видеогенератор диалоговых видео с персонажами в реальном времени

— генерирует видео с полнодуплексной беседой

— сохраняет идентичность персонажа при бесконечной генерации

— создаёт эмоциональные и вокальные выступления с точной синхронизацией губ и ритма тела

— совместима с аудио-в-аудио моделями вроде ChatGPT

— управляется мультимодально — через текст, аудио и изображения

— передаёт микровыражения и нюансы человеческого общения

Проект исследовательский, ни опенсорс, ни коммерческий релиз не запланированы

#research #dialog #realtime #characteranimation #av #lipsync

🤷‍♂6👍4❤2

2.01K views13:16

2:06

Realtime TTS‑2

Очередной рывок вперед от Inworld AI в работе с речью

Диалоговая рилтайм говорилка с пониманием (и имитацией) эмоций и клонированием голоса, №1 на арене

• анализирует тон, темп, высоту голоса и паузы в реальном времени
• подстраивает манеру речи под состояние пользователя и историю диалога
• контроль эмоций текстом ([whispering])
• переключение между 100+ языками в одном сеансе
• клонирует голос
• создает голос по описанию

Задержка 120-200 мс, не хранит данные

Попробовать - Если попросить на английском говорить по-русски, начинает говорить с акцентом. Попросишь говорить без акцента - справляется. Но когда сам начинаешь говорить по-русски, отвечает на испанском

Playground

#tts #dialog #voicecloning #voicedesign #russian

👍4❤1🔥1

1.96K views07:11

2:15

Interaction Models

Мультимодальная модель для голосовых ассистентов от Миры Мурати, обрабатывает аудио, видео и текст в реальном времени.
Ассистент слышит, видит и отвечает почти мгновенно - подойдёт для синхронного перевода или фитнес‑тренера с подсчётом упражнений.

276B MoE, 12B активных

Что умеет:
• перебивать пользователя
• говорить одновременно с собеседником
• реагировать на жесты и действия («посчитай отжимания», «скажи, когда подниму палец»)
• отслеживать интервалы времени («напоминай дышать каждые 4 секунды»)
• искать в интернете и запускать инструменты во время диалога

• задержка — 400 мс
• FD‑bench v1.5: 77,8 (GPT‑Realtime и Gemini‑Live — 46–54)
• лидирует на TimeSpeak, CueSpeak, RepCount, Charades (конкуренты — 0–1 %)
• куски по 200 мс, параллельные потоки

#voicemode #realtime #dialog #assistant

👍8😱1

1.8K viewsedited 15:18

MisoTTS 8B

Open‑source TTS‑модель от Miso Labs для генерации разговорной речи - быстрая, компактная, высокого качества.

• клонирует голос по 10‑секундному аудиосэмплу
• сохраняет идентичность голоса на протяжении всего разговора
• отвечает за 110 мс — работает почти в реальном времени

• базовая модель — Llama‑8B (в стиле Llama 3.2)
• аудиодекодер — Llama‑300M
• поддерживает только английский язык

https://github.com/MisoLabsAI/MisoTTS
https://huggingface.co/MisoLabs/MisoTTS
https://huggingface.co/spaces/multimodalart/MisoTTS

#tts #voicecloning #realtime #dialog

❤5👨‍💻2

1.68K views10:13

3:10

Audio-Interaction

Потоковая аудиомодель, которая слушает в реальном времени и сама решает, когда вступить в разговор. Объединяет транскрибацию, чат и проактивное вмешательство в одной системе.

• транскрибирует аудио на лету
• ведёт диалог
• самостоятельно определяет момент для ответа (через цикл perceive‑decide‑respond)
• работает в режиме всегда включённой модели

• обучающий датасет: StreamAudio‑2M (2,6 млн элементов)

huggingface.co/zhifeixie/AudioInteraction

github.com/xzf-thu/Audio-Interaction

#dialog #streaming #realtime #tts #stt #voicemode #interactive

👍7

1.89K views13:16

1:01

Higgs Audio v3 TTS

Диалоговая говорилка на 4 млрд параметров для общения в реальном времени.

• реагирует и держит диалог в риалтайме
• делает паузы, расставляет акценты
• меняет стиль, эмоции и скорость через inline‑теги без выхода из риалтайма
• поддерживает русский язык
• отлично передаёт паралингвистические сигналы: вздохи, смешки, интонации, интонирование вопросов
• работает на 100+ языках (WER/CER)
• показывает лучший результат по WER среди открытых и коммерческих систем

HF
Демо
Плейграунд
API
ComfyUI

#tts #dialog #russian #realtime

🔥18❤5👍3

1.82K views08:11

1:09

Seed Audio 1.0

Генерация аудио от ByteDance: музыка, речь, звуки

• синтез вокала и инструментов из промпта
• до трех референсов
• выстраивает диалоговую сцену по одному промпту

Fal - $0,075/мин

#text2audio #text2music #dialog #tts #sfx #referencing

👍7🤔2❤1

1.69K views09:25

0:34

real-time voice AI

Hugging Face и Cerebras собрали пример опенсорсного голосового диалогового агента в рилтайме

• Gemma 4 VLM на Cerebras — быстрый инференс
• Parakeet (Nvidia) — распознавание речи
• Qwen3TTS (Alibaba) — синтез голоса
• задержка минимальна, отклик почти мгновенный

Работает в роботах Reachy Mini (свыше 9000 устройств)

Гитхаб
Демо

#realtime #dialog #voicemode #vlm #multimodal #interactive #tts #stt #duplex

👍9🔥2

2.51K views09:13

GigaAM Multilingual

Мультилингвальная ASR-модель для языков СНГ

Лучше адаптируется к новым языкам, чем Whisper и Omnilingual. Подтверждено на грузинском и башкирском

• поддержка казахского, киргизского, узбекского, английского
• можно дообучать на другие языки

huggingface.co/ai-sage/GigaAM-Multilingual
github.com/salute-developers/GigaAM
———

GigaChat Audio

Аудио-нативная LLM на базе GigaAM Multilingual и GigaChat3.1‑10B‑A1.8B. Держит контекст до 2 часов

• поддерживает многошаговый голосовой диалог, классификацию, перевод, ASR
• привязка ко времени, суммаризация с таймкодами
• высокий результат на RuBQ‑Audio и Dusha

huggingface.co/ai-sage/GigaChat3.1-Audio-10B-A1.8B
———

Обновленный GigaChat-Max-Audio - на giga.chat и @gigachat_bot

@smartspeech_sber_bot - распознавание голосовых на 5 языках

#stt #transcribe #russian #dialog #asr #translation

🔥7👍2

1.94K views12:15

1:19

Nemotron VoiceChat

Полнодуплексная речевая модель 11B параметров от NVIDIA, первая открытая с вызовом инструментов. Живой разговорный поток без пауз

• естественное чередование реплик
• поддержка перебивания пользователем
• вызов инструментов в диалоге
• генерация речи с эмоциональной окраской
• поддержка мультимодальных сценариев взаимодействия
• файнтюн под разные стили голоса

Гитхаб
HF

#duplex #dialog #tts #toolcall

🔥13👍5❤1

2.08K views12:15

1:52

1:41

SeedRealtime

Полнодуплексная аудиовизуальная интерактивная модель от ByteDance, рилтайм

Фокус на естественное двустороннее общение.

• понимает звук и картинку одновременно
• ловит цель взаимодействия и намерения пользователя
• смотрит, слушает, говорит без задержек

весов нет, ссылки на демо, API нет

#duplex #dialog #realtime #interactive #multimodal #asr #tts

👍5🤯3

1.78K views16:20

2:11

MOSS-VL

Семейство открытых визуально-языковых моделей от OpenMOSS. Флагманская фишка - реалтайм-стриминг: модель смотрит на входящие кадры и отвечает параллельно, не дожидаясь конца видео

модель живёт в настоящем времени, а не смотрит запись постфактум. Вместо внешних планировщиков и опроса раз в секунду - три встроенных поведения: ответ в любой момент, проактивное молчание, своевременная коррекция.

• 11B параметров, контекст 256K
• Кванты FP8 и NF4

Гитхаб
HF
Демо

#vlm #realtime #fp8 #nf4 #dialog #interactive

VK | MAX

🔥5👍4

2.03K views10:15

1:39

Gander (Tencent Hunyuan + openbmb)

Агент который смотрит, слушает, говорит и работает одновременно, в реальном времени, в одной открытой модели. Пока Gander отвечает, он видит экран, слышит тебя, различает "ага, продолжай" и "стоп, дай сказать"
Может параллельно запускать долгие задачи. Apache 2.0

На базе MiniCPM-o 4.5

- Full-duplex
- Видит то, что ты видишь: экран, видео, камера. Может комментировать, отвечать на вопросы, реагировать на события
- Помнит о чем его просили

Гитхаб
HF

#agent #dialog #interactive

VK | MAX

👍16❤1

2.14K views17:21

1:25

1:11

1:17

Gemini 3.8 Live и 3.8 Live Extended Thinking (Google DeepMind)

Две рилтайм голосовые модели. Быстрая и умная. Обе видят экран, слышат голос, понимают паузы и перебивания.

3.8 Live — диалог, 97 языков с переключением на лету, зрение в реальном времени. Инструменты и API-вызовы выполняются в фоне пока разговор продолжается.

3.8 Live Extended Thinking — рассуждает и говорит одновременно. На сложных задачах произносит «дай-ка подумаю...» и постепенно озвучивает ход мыслей не замолкая.

#1 на Artificial Analysis Speech to Speech Quality Index (82.6)

SynthID водяной знак на все аудио.

Gemini API
AI Studio
Enterprise Platform

#dialog #voicemode #interactive #alm #vlm

👍13

1.53K views07:11

StepAudio 3

Новые модели от Степана

StepAudio 3 Realtime

Полнодуплексная аудио-языковая модель. Говорит и слушает одновременно, размышляет вслух не замолкая

китайский и английский

StepAudio 3 Music

Генерация песен: планирует структуру (куплеты, припев, бридж, аранжировку), создает 48-kHz стерео до 5м 30с

язык задается описанием песни

Помимо этого в семейство вошли говорилка с дизайном голоса Gen, TTS и ASR

китайский, английский, японский, корейский, французский, испанский

Voice Studio - пока только разговорная, музыка анонсирована

#musicediting #dialog #asr #tts #voicedesign

👍7❤2🥴2🤷‍♂1

1.75K views07:20

1:00

Gemini 3.8 TTS

Две модели синтеза речи. Flash TTS - для творческой режиссуры и дизайна персонажей, Flash-Lite - для больших объемов с упором на цену

• голос генерируется по текстовому описанию - характер, акцент, тембр
• больше 100 языков и диалектов
• 2000+ готовых голосов с региональными вариантами
• клонирование по 30-секундному сэмплу с проверкой согласия и SynthID
• режиссура по строкам - ремарки в сценарии обычным языком
• нативный диалог двух спикеров, смех, вздохи, перебивания
• голос стабилен на часах аудио

Клонирование недоступно в ЕС, Британии, Швейцарии, Индии, Иллинойсе и Техасе. Ремикс голоса - тембр, высота, темп, акцент - обещают вскоре

AI Studio

#tts #voicecloning #voicedesign #dialog

MAX

🔥5🤔4👍2

1.77K views08:11

Realtime-Venus

Мультимодалка, полный аудио дуплекс: модель слушает, пока говорит, видит аудио-видео контекст и параллельно делегирует задачи в фон, не прерывая диалог. Два чекпоинта по 9B на базе MiniCPM-o 4.5

• Omni - аудио-видео: непрерывно смотрит и слушает, сама решает, когда ответить
• Audio - голосовый диалог с речевым выводом
• асинхронная делегация - <delegate>-запросы в потоке, внешние задачи не блокируют разговор
• память длинных видео без дообучения
• различает перебивания, коррекции и редиректы

Вход: видео, аудио, текст. Выход: текст и речь. Языковая база - Qwen3-8B, контекст 40960 токенов

Гитхаб
HF
Heretic
Демо

#multimodal #duplex #realtime #dialog #vlm #alm

👍7🔥3

1.78K viewsedited 07:14

1:48