ElevenLabs запускает полноценную платформу разговорных AI-агентов

ElevenLabs трансформируется из сервиса клонирования голоса в комплексную платформу создания разговорных ботов.
Новая система поддерживает Gemini, GPT и Claude, интеграцию баз знаний через файлы и URL.
Предоставляет гибкие настройки: выбор языка, температуры ответов, лимитов токенов, параметров голоса.
SDK совместим с Python, Javascript, React и Swift, поддерживает WebSocket API.
Компания планирует привлечь финансирование с оценкой более $3 млрд, конкурируя с Vapi, Retell и OpenAI.

Теперь роботы смогут не только думать, но и разговаривать человеческими голосами. Колл-центры на выход! 🤖📞

#ElevenLabs #VoiceAI #ChatBots
-------
@tsingular

☏ Phonely: ИИ-агенты достигли 99% точности — клиенты не отличают их от людей

Партнёрство Phonely, Maitai и Groq решило главную проблему разговорных ИИ — странные паузы, которые мгновенно выдают машину.

Технические детали:
- Время ответа сократилось на 70%+ (с 661 до 176 мс)
- Точность выросла с 81.5% до 99.2% (лучше, чем GPT-4o на 4.5%)
- 70% звонящих не могут отличить ИИ от человека

Секрет успеха — "zero-latency LoRA hotswapping":
Groq научился мгновенно переключаться между специализированными моделями без потери производительности, а Maitai создал систему оркестрации, которая автоматически оптимизирует каждый запрос.

Бизнес-эффект:
- один из клиентов заменяет 350 операторов в этом месяце
- рост квалифицированных лидов на 32%
- развертывание за 1 день

Архитектура:
От универсальных моделей к специализированным системам: Groq's LPU чипы + Maitai's proxy-слой = мультимодельная архитектура с нулевой латентностью.

Посмотрите в окно - мы проезжаем эффект зловещей долины.
Скоро даже специалисты не смогут отличить подделку голоса, а уж обычные люди и подавно.

#Phonely #VoiceAI #Groq #CallCenter
———
@tsingular

🎙 Gemini Live API — голосовые агенты нового поколения

Google выкатил в общий доступ Gemini Live API на Vertex AI. Под капотом — Gemini 2.5 Flash Native Audio.

Что изменилось:
Классический пайплайн STT → LLM → TTS с его задержками и "роботичностью" заменяется единым WebSocket-соединением.

Модель нативно обрабатывает сырой аудиопоток — отсюда минимальные задержки.

Ключевые фичи:
Affective dialogue — распознаёт тон, эмоции, темп речи и адаптирует ответ
Proactive audio — умный интерактив: агент сам решает, когда отвечать, а когда молча слушать
Мультимодальность в реалтайме — голос + видео + текст одновременно
Tool use, - Function Calling и Google Search прямо в разговоре
Continuous memory,- контекст держится через всю сессию

Практические демо:
Бизнес-советник — слушает митинг, подсказывает данные молча (через модалки) или голосом
Саппорт-агент — видит что показывает клиент на камеру + считывает эмоции + делает рефанд
Игровой ассистент — смотрит стрим экрана, переключается между персонами (Wizard/Robot/Commander)

Для разработчиков:
Два стартер-темплейта — Vanilla JS (для понимания протокола) и React (для прода с AudioWorklets).
Интеграции с Daily, Twilio, LiveKit, Voximplant для телефонии/WebRTC.

По сути Google делает ставку на то, что голосовой интерфейс станет основным способом взаимодействия с AI-агентами и уже предоставляет инструменты для сборки таких систем.

#Gemini #VoiceAI #Google #агенты
———
@tsingular

ElevenLabs Skills: голосовые агенты в один клик

ElevenLabs выкатили готовую коллекцию Agent Skills для всех API: TTS, STT, звуковые эффекты и музыка. Полная совместимость с Claude Code, Cursor и другими.

🔊 Голосовые навыки — Text-to-Speech, Speech-to-Text с таймкодами
🎵 Звуки и музыка — Sound Effects, AI Music Generation
⚙️ SDK для всех — Python, JS/TS, cURL
📦 Установка — npx skills add elevenlabs/skills

Зачем бизнесу: голосовые агенты теперь настраиваются за минуты. Текст → голос → музыка → звук → агенты — без галлюцинаций в API-кодах.

Skill должны быть в каждой системе наравне с документацией.
По сути это и есть документация, только для ИИ агентов.

#ElevenLabs #voiceAI #агенты
------
@tsingular

OpenAI запустили GPT-Live — голосовой ИИ, который слушает и говорит одновременно

⚡️ OpenAI представили GPT-Live, новое поколение голосовых моделей, которое меняет саму архитектуру разговора с ИИ.

Вместо прежней схемы «ты сказал, пауза, я ответил» здесь полный дуплекс: модель непрерывно слушает и одновременно генерирует речь.

Она может вставить «ага» или «угу», пока вы говорите, сделать паузу, когда вы задумались, или, наоборот, перебить с уточняющим вопросом.

Результат: разговор, который впервые не ощущается как ожидание своей очереди.

🐙 Главный архитектурный ход: разделение труда. GPT-Live отвечает за непрерывное взаимодействие: интонации, паузы, живой ритм беседы.

А когда нужен поиск в интернете, сложное рассуждение или агентная задача, модель делегирует это GPT-5.5 в фоновом режиме и возвращает результат, не прерывая разговор.

По сути, вы общаетесь с одним собеседником, а за кулисами работает другой, более умный.

💡 Работает в двух вариантах, GPT-Live-1 и GPT-Live-1 mini, уже разворачиваются в ChatGPT сегодня.
Три уровня рассуждения: Instant для быстрых ответов, Medium и High для глубокого мышления.
Девять обновлённых голосов.

При разговоре модель показывает визуальные карточки: погоду, спорт, карты.
API обещают скоро.

Еженедельно голосом с ChatGPT уже общаются больше 150 миллионов человек.

#OpenAI #GPTLive #VoiceAI
------
@tsingular

NemotronLabs VoiceChat от NVIDIA: первый открытый full-duplex голосовой агент с вызовом инструментов

NVIDIA выкатила NemotronLabs VoiceChat — 11-миллиардную end-to-end модель для голосового общения, которая слушает и говорит одновременно.
Релиз от 3 августа, код и веса открыты.

⚡️ Архитектура: аудио на входе кодируется быстрым конформером, токены поступают в языковую основу Nemotron Nano V2 на 9B, которая предсказывает текст, а TTS-декодер превращает его в речь. Отдельный выходной канал генерирует вызовы инструментов.
Всё в одной модели. Никакой цепочки ASR → LLM → TTS.

💰 Это первая открытая full-duplex модель с поддержкой tool calling. При вызове инструмента агент произносит on-hold фразу («сейчас проверю»), инструмент отрабатывает в фоне, разговор не рвётся.
До сих пор такой функционал был только у проприетарных систем вроде GPT-4o Voice и Grok Voice Agent.

🔮 Open weights на OpenMDW 1.1 — исследовательская лицензия.
NVIDIA параллельно запустила ранний доступ к Nemotron 3 VoiceChat через NIM. Требования: 80 GB GPU, vLLM, интерактивный режим через WebSocket.
Контекст — до двух минут аудио, ~450 мс задержка на передачу реплики.

💡 Бенчмарки: №2 среди открытых full-duplex моделей на VoiceBench и FullDuplexBench 1.0. Лидер Парето-фронта «conversational dynamics / speech reasoning»: 77,8% conversational dynamics, 29,2% reasoning.
Ни одна другая открытая модель не попадает в топ-3 по обоим измерениям одновременно.
Но до лидеров, само-собой ему еще далеко: Grok Voice Agent набирает 92% reasoning против 29,2% у VoiceChat.

Известные проблемы: галлюцинации, деградация в тарабарщину через несколько реплик, самопродолжение без ввода пользователя, перебивание на полуслове.
NVIDIA позиционирует модель как исследовательскую, не для прода.

Как эксперимент интересно.

#VoiceAI #OpenSource #NVidia
———
@tsingular