Нейронавт | Нейросети в творчестве

0:02

VideoPoet

Генератор видео от Google. А точнее - генератор историй.
Сами авторы классифицируют свое детище как LLM, а не какой-то там генератор видео.

- продление поданных на вход видео
- генерация звука к заданному видео
- Inpaint/Outpaint
- Редактирование видео с помощью анимации промптов
- Анимация входного изображения
- стилизация видео

Кода нет.

#text2video #image2video #video2audio #video2video

❤5🔥1

1.58K views07:09

1:17

SEE-2-SOUND: Zero-Shot Spatial Environment-to-Spatial Sound

Генератор пространственного звука по изображению или видео.
Идея интересная, звуки пока даже по смыслу часто не попадают😒

Код
Демо

#image2sound #video2sound #image2audio #video2audio

Please open Telegram to view this post

VIEW IN TELEGRAM

👀3🔥1

1.31K views12:25

0:55

FoleyCrafter: Bring Silent Videos to Life with Lifelike and Synchronized Sounds

генератор звуковых эффектов по видео. Можно добавлять текстовый промпт

Код ждем
Демо

#video2audio #video2sound

🔥9👍2

1.38K viewsedited 15:55

1:41

Опубликован код генератора звуковых эффектов FoleyCrafter

Код

#video2audio

👍5🥴3⚡1👎1🔥1

2.4K views08:28

3:23

Video-Foley: Two-Stage Video-To-Sound Generation via Temporal Event Condition for Foley Sound

генератор звуковых эффектов по видео. Можно добавлять текстовый промпт.
Конкурент FoleyCrafter, для которого, кстати, уже вышел код

Код ждем

#video2audio

🔥7

2.39K views08:47

0:54

MultiFoley

Генератор звука по видео от Adobe
Кода нет, ждем в Premiere

#video2sound #video2audio

🔥9❤3👏1👌1

1.64K views11:39

1:03

MMAudio: Taming Multimodal Joint Training for High-Quality Video-to-Audio Synthesis

Генератор звука по видео или текстовому описанию

Код
Демо
Колаб

#video2audio #video2sound #text2audio

👍10❤1🔥1

2.2K views08:11

Появились ноды для генератора звука MMAudio
Спасибо @p0lygon

ComfyUI-MMAudio

#ComfyUI

🔥11❤1

2.38K views07:54

5:40

ThinkSound

Модель от Tongyi Lab (авторов InspireMusic и много чего еще) создаёт реалистичный звук для видео. Архитектура - цепочка рассуждений (#CoT). Необычно для генерилки звука, да? Скоро достижения языковых моделей будут везде, к этому все идет.

Модель сначала генерирует общий звуковой фон, затем улучшает качество звука конкретных объектов на экране и, наконец, редактирует всё это по текстовым указаниям пользователя

Код
Демо

Спасибо @p0lygon

#Video2sfx #foley #sfx #audioediting #video2audio #text2sfx

🔥14👍1🤔1

2.01K viewsedited 13:38

Для рассуждающего генератора звука ThinkSound опубликован код обучения/файнтюна

Модель облегчили, оптимизировали расход памяти и GPU? упростили установку

Код
Демо

#Video2sfx #foley #sfx #audioediting #video2audio #text2sfx #any2audio

👍5

1.77K views12:16

1:16

HunyuanVideo-Foley: Multimodal Diffusion with Representation Alignment for High-Fidelity Foley Audio Generation

Генератор звука к видео с текстовыми подсказками от Hunyuan
По ссылке в заголовке тонна примеров

Офсайт
Код
HF
Демо

#foley #video2audio #video2sound #sfx #video2sfx

❤7👍1🔥1

3.75K views07:09

ComfyUI HunyuanVideo-Foley

Подвезли ноду озвучивалки видео HunyuanVideo-Foley

#comfyUI #foley #video2audio #video2sound #sfx #video2sfx

🔥7👍1

2.44K views13:16

Стало мне любопытно на каком языке озвучивает HunyuanVideo-Foley
Мне звучит как смесь китайского и немецкого.

Пихнул озвученный им самый драматичный эпизод русских сериалов в разные нейродубляжки. Мало кто умеет автоматически определять язык исходника. Rask.ai - один из тех кто умеет. Короче все кто умеет, определили эту речь как английскую. Ну и неудивительно, шотландцы например порой разговаривают на таком английском который мало кто из носителей языка в силах понять.

Ну и дубляж на русский с нейросетевого - вашему вниманию.

Хвастайтесь в коментах своими экспериментами

#humor #foley #video2audio #video2sound #sfx #video2sfx

😁21😭2👍1🔥1

1.75K views14:07

0:10

0:03

0:10

Foley Control: Aligning a Frozen Latent Text-to-Audio Model to Video

Поженили Stable Audio с моделью мира V-JEPA 2 чтобы получить генератор звуковых эффектов к видео

Кода и весов не видать

#research #foley #video2sfx #sfx #video2audio #video2sound

👍7😁3

2.12K views09:12

1:59

ViSAudio: End-to-End Video-Driven Binaural Spatial Audio Generation

Генератор бинаурального аудио напрямую из видео на базе MMAudio, который хорошенько доработали напильником

Код ждем

#video2audio #video2sound #video2sfx

👍11🔥2🤯1

1.89K views09:12

0:09

0:09

0:09

PrismAudio

Фреймворк для генерации аудио по входному видео с использованием технологии Chain-of-Thought (#CoT)

Построен на ThinkSound

Решает проблему переплетения целей в методах генерации

Разбивает сложное рассуждение на четыре модуля: семантический, временной, эстетический и пространственный

518 миллионов параметров, при этом быстрее аналогов

#SOTA на V2A - на VGGSound и AudioCanvas показал лучшие результаты по четырём параметрам: семантическая согласованность, аудиовизуальная синхронность, эстетическое качество, пространственная точность

Последнее видео - Veo3 + PrismAudio

Гитхаб
HF
Демо

#Video2sfx #foley #sfx #audioediting #video2audio #text2sfx #any2audio

🔥7👍1

1.87K views12:16

SwanSphere

Потоковая система от Bytedance для генерации пространственного аудио в высоком качестве по панорамным видео или текстовым подсказкам.

Кода пока нет

#text2audio #video2audio #foley

❤2👍1

1.75K views06:09

0:24