HierSpeech++: Bridging the Gap between Semantic and Acoustic Representation of Speech by Hierarchical Variational Inference for Zero-shot Speech Synthesis

Генератор речи из текста по короткому заданному образцу. Воспроизводит не только индивидуальный голос, но и эмоции с интонациями.

Пока только английский язык, скоро сделают мультиязычную версию.

Код
Демо

#text2speech #tts #text2voice #text2emotion #voice2voice #speech2speech #voicecloning

Seamless Communication

Meta AI выпустили новую версию своего нейропереводчика.
На этот раз три модели:

SeamlessM4T v2 - улучшенная версия SeamlessM4T.
Демо

SeamlessExpressive - модель с акцентом на выразительность речи.
Демо

SeamlessStreaming - модель перевода в реальном времени, задержка 2 секунды.
Демо

Гитхаб

#dubbing #multimodal #llm #speech2speech #text2speech #speech2text #tts #stt