🌟 Zyphra опубликовала компактную TTS-модель

ZONOS3-Mini синтезирует речь и клонирует голос по образцу, рассчитана на использование в реальном времени на телефонах, ноутбуках и браузере.

Модель копирует голос по записи длиной до минуты, но также можно собрать новый, задав возраст, акцент и тембр. Эмоции, темп и подачу можно настраивать вплоть до отдельных слов.

Поддерживается девять языков, среди них английский, китайский, японский, немецкий, испанский и французский, русского нет.

🟡Архитектура

Под капотом MoE на 800 млн общих при 100 млн активных параметров, где из 64 экспертов на каждом шаге включаются два.

Из 11 слоёв девять построены на Gated DeltaNet и два на обычном глобальном внимании.

Звук кодирует собственный кодек ZAC-1 с частотой 15 кадров в секунду.

🟡Тесты
Задержка до первого звука в браузере на Pixel 9 меньше 570 мс, на MacBook Air с M3 меньше 150 мс, а на одной H100 при восьми одновременных запросах в среднем 80 мс.

Пиковая выработка на той же H100 - 457 секунд звука за секунду.

По внутреннему бенчмарку ZTTS2-Eval, новинка занимает первое место среди открытых моделей, за ней идут Fish S2 Pro и MOSS TTS v1.5.

Модель запускается в браузере через WebGPU, классическим путём с SGLang и vLLM, на Mac через MLX и на обычных процессорах через ggml.

По API в облаке Zyphra Inference она стоит 10 долларов за мегабайт текста, лимиты - один запрос за раз и 100 генераций в сутки.


📌Лицензирование: Apache 2.0


🟡Блогпост
🟡Веса
🟡Демо
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #TTS #ZONOS3 #Zyphra