Vidu One-click MV

Vidu релизнул однокликовое создание музыкальных видео из загруженного юзером трека с референсом персонажа

Поют все: люди, мультяшные персонажи, плюшевые игрушки, обычные предметы
Заявлен идеальный липсинк для соло и дуэтов

• готовые шаблоны под разные жанры
• разрешение до 1080p
• скорость генерации пара минут

Попробовать
———
Vidu S1 теперь создает рилтайм видеоперсонажей. Им можно давать команды, шерить экран. Предлагают попробовать в качестве комментатора вашего геймплея

Разрешение 540P, частота кадров 25 FPS в реальном времени (до 42 FPS)

Попробовать

#musicvideo #music2video #lipsync #referencing #realtime #avatar #companion

MODUS

Универсальная мультимодальная модель на базе BAGEL-7B, может преобразовывать данные между разными типами информации без специальных модулей под каждую задачу. Работает как единый декодер для всех видов данных.

• Поддерживает последовательную генерацию - можно использовать результат как новое условие
• Самопроверяет результаты
• Работает с 16 разными типами данных: текст, изображения, глубина, сегментация, признаки объектов и др

• два эксперта: для дискретных последовательностей и для непрерывных данных

Гитхаб
HF
Демо

#multimodal #any2any

CameraAnything

По входному видео создает видео с другого ракурса, на базе Wan2.1

Контролирует внешние (точка зрения, траектория, мультисценные переходы) и внутренние (фокусное расстояние, разрешение и соотношение сторон) параметры в одном процессе генерации

Гитхаб
HF

#wan21 #cameracontrol #v2v

MLSLabsRenderer-Lite

плагин для Unreal Engine 5 для работы со статичными и динамическими гауссианами

На сайте предлагают купить но на гитхабе релизы выложены, не знаю в чем ограничения.

Гитхаб

#UE #4d #gaussian

FastGen-PDD

Дистилляция диффузных моделей с параллельным декодированием. Ускоряет генерацию изображений и видео без сильной потери качества.

Прикручено к LTX-2.3 и Wan2.1-14B

Гитхаб

Спасибо @m_franz

#optimization #t2v