Нейронавт | Нейросети в творчестве

Появился Колаб для HierSpeech++
Ждем русский язык

Колаб

#text2speech #tts #text2voice #text2emotion #voice2voice #speech2speech #voicecloning

👍6👏1

1.23K viewsedited 07:32

0:54

0:42

Jump Cut Smoothing for Talking Heads

Очередная бомбическая штука от Adobe.
Вырезает из интервью лишние паузы, заминки и бесшовно сглаживает склейки.

Кода нет, есть только пооблизываться

#video2video #speech2speech

👍11🔥6❤1😁1

1.29K views11:14

HeyGen 5.0

Что нового
- AI Studio 3.0 - плтформа редактирования видео
- Мгновенные аватары - цифровой аватар, который выглядит и звучит точно так же, как вы
- Перевод видео - конвертируйте видео на разные языки, сохраняя при этом голос оригинального диктора и движения губ
- Персонализированные видеоролики
- Аватар для стриминга

#text2video #video2videp #lipsync #talkinghead #humanavatar #translation #speech2speech

👍4

1.72K views07:13

Обновился Resemble AI

Теперь он умеет за 1 минуту клонировать голос по 10-секундному отрывку с сохранением акцента.
Кроме английского есть португальский и французский. Русского нет. Ну и естественно есть библиотека голосов если вам надо озвучить текст.

Бесплатно можно склонировать 1 голос, остальные фичи - 300 секунд в месяц

Попробовать

#text2speech #speech2speech #voicecloning

❤3

2.4K viewsedited 11:19

0:31

Edit

В Resemble AI прикрутили редактирование звука речи через редактирование текста. В помощь живым запинающимся дикторам. Да, вот так как нам показывали Adobe 7 лет назад. Или что там, в премьер уже встроили эту фичу?

#speechediting #audioediting #text2speech #speech2speech

👍5🤯4

1.89K views07:00

0:32

LipDub ai

Сервис для высококачественного липсинка, дубляжа, персонализации видео, замены диалогов на видео.

Советую не мешкать и подать на бету прямо сейчас, собеседования уже расписаны до конца октября.
(Да, вам назначают встречу в Google Meet)

Вписаться в бета тест

#lipsync #dubbing #personalization #speechediting #speech2speech

🔥10

1.93K views13:02

Youtube auto dubbing

Youtube прикрутил автоматический дубляж видео. Привет @yabrowser

Чтобы видео было продублировано на другой язык, автор должен включить эту опцию

Пример дулбяж с французского на английский

#news #dubbing #speech2speech

👍10🔥4❤1

1.76K views12:26

Vevo: Controllable Zero-Shot Voice Imitation with Self-Supervised Disentanglement

День звука продолжается

Клонировщик-генератор голоса с контролем эмоций и тембра

Есть 4 модели

- Vevo-Timbre: преобразование голоса с сохранением стиля.
- Vevo-Style: преобразование стиля, например преобразование акцента и эмоций.
- Vevo-Voice: преобразование голоса с учетом стиля.
- Vevo-TTS: генерация речи по тексту с регулируемым стилем и тембром.

Примеры по ссылке в заголовке

Обучен на шести языках - английский, китайский, немецкий, французский, японский и корейский
Так что на русский пока не стоит рассчитывать

Код

#voicecloning #speech2speech #tts #text2speech

🔥6😭3👍2

2.51K views10:17

1:07

Bleep That Sh*t

Автоматически запикиваем любые заданные слова на видео

Под капотом Whisper, так что должно работать с русским языком

Код

#speech2speech #audio2audio

👍6

1.78K views08:13

0:52

0:48

VideoLingo

Универсальный опенсорсный инструмент для перевода, локализации и дубляжа видео, предназначенный для создания субтитров качества Netflix.

3-этапный процесс Перевод-Осмысление-Адаптация для кинематографического качества

За дубляж отвечают GPT-SoVITS, Azure, OpenAI и др

Поддержка входных языков (будет добавлено больше):

🇺🇸 Английский 🤩 | 🇷🇺 Русский 😊 | 🇫🇷 Французский 🤩 | 🇩🇪 Немецкий 🤩 | 🇮🇹 Итальянский 🤩 | 🇪🇸 Испанский 🤩 | 🇯🇵 Японский 😐 | 🇨🇳 Китайский* 😊

Перевод поддерживает все языки, а язык дубляжа зависит от выбранного метода генерации голоса

Гитхаб
Офсайт - 15 минут бесплатно

#dubbing #speech2speech #translation #subtitles #text2speech #speech2text #tts #stt

👍8

2.26K views08:44

0:29

Lipdub Translation Editor

Сервис дубляжа/липсинка Lipdub AI представил функцию корректирования перевода.

Вам дают скорректировать текст который будет звучать в финальном дублированном видео на целевом языке.

Дают попробовать даже на бесплатном тарифе

#lipsync #dubbing #personalization #speechediting #speech2speech

👍6🌚1

1.95K views12:47

1:08

Media is too big

Krisp

Голосовой шумодав (тот который встроен в дискорд) научился убирать из речи акцент. Пока только индийский акцент. В будущем добавят и другие

Можно использовать бесплатно, с лимитами

#speech2speech #deaccent #speechcorrection

😁23👍2❤1

2.05K views08:41

1:24

Media is too big

В яндекс браузер прикрутили дубляж с сохранением голоса и интонаций говорящего. До сих пор все дублировалось одним механическим голосом

Пока еще работает не для всех видео, вот здесь например уже новый дубляж

#dubbing #speech2speech

👍18❤3🔥1

2.55K viewsedited 12:18

0:34

PlayDiffusion

Редактирование речи - инпейнтинг звука речи на основе диффузии от Play HT / Play AI или как их там...

Сохраняет окружающий контекст, обеспечивая плавные переходы и согласованные характеристики говорящего.

Принимает на вход аудио до 50 секунд, файл до 50Мб

Попробовать на офсайте
Демо на HF
Веса
Код

Еще из новинок сервиса: липсинк

#audioinpainting #speech2speech #speechediting #tts #lipsync #text2speech

👍8❤1

2.09K viewsedited 12:17

0:50

0:51

EchoX: Towards Mitigating Acoustic-Semantic Gap via Echo Training for Speech-to-Speech LLMs

Модель преобразования речи в речь, умеет рассуждать.
8B и 3B параметров

— преобразует речь в текст, чтобы «понять» смысл

— переводит текст в элементы речи, связывая текст и речь

— создаёт речь, опираясь на понимание смысла, и при этом сохраняет умение «разговаривать» как человек

— хорошо отвечает на вопросы, требующие знаний

— может генерировать речь в реальном времени, не теряя смысла

Гитхаб
Демо
HF

#speech2speech #assistant

👍6😁4👎1

2.22K views10:13

Step-Audio-EditX

Опенсорсная аудиомодель от Степана (Stepfun) на базе LLM на 3B параметров.
Выразительное и итеративное редактирование звука.
Генератор речи по тексту без дообучения

Среди примеров есть очистка аудио от шума, ускорение речи, смена эмоции в речи, перевод обычной речи в шепот, контроль 10 типов паралингвистических особенностей (например, дыхание, смех, вздох, вопросы и т. д.)

Китайский и английский

работает на частоте 41.6Hz. Тут вероятно опечатка и речь о килогерцах

Оптимальный объем VRAM 32 GB, оптимальный хронометрах аудио - до 30 сек

Гитхаб
HF
Демо

#tts #text2speech #audioediting #speechcontrol #speechediting #speech2speech

👍9❤1

1.97K viewsedited 09:12

ComfyUI Step Audio EditX TTS

Кастом ноды аудиомодели Step-Audio-EditX

#comfyui #tts #text2speech #audioediting #speechcontrol #speechediting #speech2speech #voicecloning

👍9

2.38K views14:17

0:52

0:15

LEMAS

К серьезным новостям

LEMAS-TTS генерит речь на разных языках без предварительного обучения, используя короткий речевой фрагмент и текст

LEMAS-Edit редактирует речь на уровне слов

Русский есть!

Все это благодаря датасету LEMAS - включает более 150 000 часов материала на 10 языках с таймкодами на уровне слов

Гитхаб
HF
Демо
Демо Edit

#tts #speech2speech #speechediting #russian

🔥10❤4👍2👎1😁1

2.3K views07:39