StreamDiffusion генерит картинку за 10 миллисекунд

Пайплайн решение на StreamDiffusion для интерактивной генерации в реальном времени.

Открытый код и демо на cumulo-autumn/StreamDiffusion.

Генерация в реальном времени - просто добрый вечер.

Новая единица измерения скорости генерации картинок - к/с - котиков в секунду.
тут вот 100 к/с

#GitHub #StreamDiffusion #RealTime

Google Translate: живой перевод в любых наушниках

Google открыла живой перевод речи для любых наушников на Android — раньше фича работала только на Pixel Buds.

Поддержка 70+ языков, включая идиомы и сленг через Gemini.

Работает через приложение Translate в США, Мексике и Индии. На iOS появится в следующем году.

Добавили режим Practice — персонализированные уроки языка прямо в переводчике, как встроенный Duolingo.

Требует облачной обработки речи в реальном времени.

Кстати Гугл целую экосистему API для ИИ сервисов реального времени раскатали, - это, похоже, новый тренд следующего года будет.

#GoogleTranslate #Gemini #realtime
———
@tsingular

OpenAI обновила голосовые модели в Realtime API

OpenAI перестала относиться к голосу как к надстройке над текстом. Три новые модели в Realtime API: reasoning-голос, переводчик на 70 языков и стриминговый Whisper. Контекстное окно выросло вчетверо.

🤖 GPT-Realtime-2,- голос с reasoning: Первая голосовая модель GPT-5 линейки.
Пять уровней глубины рассуждений: от minimal до xhigh.
Добавлены короткие фразы вроде «сейчас проверю», чтобы слушатель понимал, что агент работает.
Параллельный вызов инструментов с озвучкой действий («проверяю ваш календарь»).
Озвучивание ошибок: «не могу сейчас помочь» вместо молчания.
Контекст вырос с 32K до 128K.

Заявлен +15.2% на BigBench Audio и +13.8% на Audio MultiChallenge относительно Realtime-1.5.
Zillow: +26 процентных пунктов к success rate на сложных звонках (95% vs 69%).

🔗 Translate и Whisper,- два спецмодели: GPT-Realtime-Translate: 70+ языков на вход, 13 на выход, в реальном времени.
BolnaAI: -12.5% WER против конкурентов на хинди, тамиле и телугу.
GPT-Realtime-Whisper: стриминговый speech-to-text, транскрибирует на лету.
Задачи: живые субтитры, автозаметки, голосовые агенты, которые слышат непрерывно.

💼 Зачем бизнесу: Три паттерна voice-AI,- которые раньше собирали руками: voice-to-action (голос → инструменты → результат), systems-to-voice (контекст → голосовая подсказка), voice-to-voice (разговор через языки и задачи).
Realtime-2 приносит в голос ту же рассудительность, что o1/o3 в тексте,- а стоимость снизили с $5/$20 до $4/$16 за миллион токенов.
Голос перестает быть дорогим экспериментом и становится первоклассной нормой.

#OpenAI #Realtime #voice #agents
------
@tsingular