Нейронавт | Нейросети в творчестве

0:04

SkyReels V1: Human-Centric Video Foundation Model

Генератор видео по тексту и по картинке на основе Hunyuan

Заточен на человеков в кадре, там под капотом помогает 3D реконструкция

На 4090 должен вывозить 97 кадров 960px544

Гитхаб
Веса SkyReels-V1-Hunyuan-I2V
Веса SkyReels-V1-Hunyuan-T2V

Попробовать на офсайте - 50 стартовых кредитов должно хватить на 1 генерацию. Но не спешите гулять на все, у них там еще есть липсинк, генерация картинок, генераторы музыки, звуковых эффектов, речи, сценария по рассказу

Их канал на Youtube

#text2video #image2video #lipsync #text2movie #text2music #text2sound #text2sfx

👍5

3.56K viewsedited 13:21

5:40

Media is too big

ThinkSound

Модель от Tongyi Lab (авторов InspireMusic и много чего еще) создаёт реалистичный звук для видео. Архитектура - цепочка рассуждений (#CoT). Необычно для генерилки звука, да? Скоро достижения языковых моделей будут везде, к этому все идет.

Модель сначала генерирует общий звуковой фон, затем улучшает качество звука конкретных объектов на экране и, наконец, редактирует всё это по текстовым указаниям пользователя

Код
Демо

Спасибо @p0lygon

#Video2sfx #foley #sfx #audioediting #video2audio #text2sfx

🔥14👍1🤔1

2.01K viewsedited 13:38

Для рассуждающего генератора звука ThinkSound опубликован код обучения/файнтюна

Модель облегчили, оптимизировали расход памяти и GPU? упростили установку

Код
Демо

#Video2sfx #foley #sfx #audioediting #video2audio #text2sfx #any2audio

👍5

1.77K views12:16

3:47

Media is too big

MOSS-TTS Family

Набор открытых моделей для генерации речи и звуков. Транскрибатор от этой команды мы уже видели, и даже видеогенератор, а теперь целая мультиязычная пачка моделей

— генерируют длинную речь и не теряют качество

— клонирование голоса

— выразительные диалоги с несколькими говорящими

— дизайн голоса по текстовому описанию без примеров речи

— есть рилтаймовая модель

— создает звуковые эффекты по тексту

Гитхаб
HF
Демо - прокрутите страницу вниз
Демо HF
Студия - вход по китайскому номеру, как зарегаться - непонятно

#TTS #voicecloning #voicedesign #russian #text2sfx #foley #sfx #realtime #longspeech

🔥7👍2👨‍💻2

2.61K viewsedited 06:13

0:09

0:09

0:09

PrismAudio

Фреймворк для генерации аудио по входному видео с использованием технологии Chain-of-Thought (#CoT)

Построен на ThinkSound

Решает проблему переплетения целей в методах генерации

Разбивает сложное рассуждение на четыре модуля: семантический, временной, эстетический и пространственный

518 миллионов параметров, при этом быстрее аналогов

#SOTA на V2A - на VGGSound и AudioCanvas показал лучшие результаты по четырём параметрам: семантическая согласованность, аудиовизуальная синхронность, эстетическое качество, пространственная точность

Последнее видео - Veo3 + PrismAudio

Гитхаб
HF
Демо

#Video2sfx #foley #sfx #audioediting #video2audio #text2sfx #any2audio

🔥7👍1

1.87K views12:16

1:08

MOSS-TTS-Nano

Версия говорилки на всего 100M параметров

— работает на процессоре без видеокарты

— 20 языков, включая русский

— может обрабатывать длинные тексты, автоматически разбивая их на части для клонирования голоса

— звук в формате 48 кГц, 2 канала

Гитхаб
HF
Демо
Студия - вход по китайскому номеру, как зарегаться - непонятно

#TTS #voicecloning #voicedesign #russian #text2sfx #foley #sfx #realtime #longspeech

👍10😱2🔥1

2.21K viewsedited 07:40

MOSS-TTS/moss_soundeffect_v2 at main · OpenMOSS/MOSS-TTS

MOSS-SoundEffect-v2.0

Модель для генерации звуковых эффектов по текстовому промпту

Версия v2.0 - апгрейд по качеству и стабильности. Акцент на реалистичность бытовых и спецэффектов.

• 48KHz, хронометраж до 30 сек
• обучена на английском и китайском. Полагаю, можно дообучить на русский. Вероятно, уже сделали - модели два месяца

Гитхаб
HF
Квантизации
Демо
ComfyUI

#text2sfx #sfx #text2audio #comfyui

GitHub

An open-source model family for long-form speech, dialogue synthesis, voice design, sound effects, and real-time streaming TTS - OpenMOSS/MOSS-TTS

❤5👍4

2.09K views11:14

1:15