Нейронавт | Нейросети в творчестве
13.2K subscribers
7.15K photos
5.66K videos
51 files
7.24K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках и запусках не участвую

для связи @Neuronauticus

РКН: https://hf.ru/link8e56d
Download Telegram
Media is too big
VIEW IN TELEGRAM
Emu3.5: Native Multimodal Models are World Learners

Только в начале месяца был генератор-пониматор картинок Emu3, как вот уже Emu3.5. Умеет создавать изображения и последовательности изображений, редактировать изображения, понимать, ориентируется в изображаемом пространстве. Ну и в качестве мозгов для робота сойдет.

Масштабная мультимодальная world-модель, объединяет текст и изображение в единое пространство восприятия

Способна одновременно обрабатывать два потока данных (текстовый и визуальный) и предсказывать их совместное состояние на каждом шаге. Такой подход делает модель ближе к тому, как человек воспринимает и осмысляет мир, связывая язык, зрение и действие в единую систему.

Конкурирует с Gemini 2.5 Flash Image (Nano Banana) в генерации и редактировании изображений и превосходит её в задачах с чередующимися генерациями

Гитхаб
HF

#text2image #text2video #video2video #videoextension
👍7🔥3❤1
UniAVGen: Unified Audio and Video Generation with Asymmetric Cross-Modal Interactions

Система одновременной генерации аудио и видео / оживлятор портретов / липсинк

— генерирует аудио и видео с хорошей синхронизацией

— создаёт контент на основе изображения, описания и речи

— учитывает тембр с помощью референсного аудио

— продолжает и озвучивает видео, синтезирует видео по аудио.

В качестве базовой модели для видеоветви используется Wan 2.2-5B, а для аудиоветви — архитектурный шаблон Wan 2.1-1.3B

На видео с девушкой - это реальное видео и видео с догенеренной концовкой

Кода нет

#chracteranimation #lipsync #portraitanimation #video2video #speech2video #talkinghead
👍7🔥6
CamCloneMaster: Enabling Reference-based Camera Control via Context without Explicit 3D Estimation

Клонирование движения камеры на видеогенерации от авторов Kling.
Работает как на генерации по изображению, так и по видео.

На демонстрационных видео результаты с закрытоого видеогенератора. В гитхабе метод прикручен к Wan 2.1, входное разрешение 480x832.

Код
HF
Kijai

#cameracontrol #text2video #video2video #image2video
👍10🔥2
STARFlow-V: End-to-End Video Generative Modeling with Normalizing Flows

Видеогенератор от Apple на архитектуре с нормализующими потоками

480p

Поддерживает несколько задач генерации «из коробки»: из текста в видео, из изображения в видео и из видео в видео, умеет в длинные видео.

Под капотом T5-XL и WAN2.2-VAE

Гитхаб

Спасибо @EvgenyiPerm

#text2image #text2video #image2video #video2video #longvideo
🔥9🥴5👍3😱2❤1
BulletTime: Decoupled Control of Time and Camera Pose for Video Generation

Метод отдельно управлять временем и положением камеры при видеогенерации. Позволяет создавать эффекты BulletTime: можно свободно перемещать камеру, одновременно замораживая или замедляя динамику сцены. Иначе говоря, берем любое видео и крутим в нем камеру/время как хотим

В качестве базовой модели использовали CogVideoX-5B-T2V

Код ждем

#4d #cameracontrol #video2video #videoediting
👍13🔥5
Media is too big
VIEW IN TELEGRAM
Light-X : Generative 4D Video Rendering with Camera and Illumination Control

Контроль камеры и освещения на видеогенерации.
Закидываем на вход видео - на выходе получаем ту же сцену с заданного ракурса и заданным освещением

Гитхаб
HF

#cameracontrol #relighting #lightcontrol #video2video #videoediting
🔥14
WanGP v9.81

В инструмент для lowVRAM-генерации добавлена поддержка модели Hunyuan Video 1.5 i2v Distilled и ускорителя Lora Accelerator, извлечённого из неё. Также добавлена поддержка Magcache (оптимизировано для 20 шагов) для Hunyuan Video 1.5

Поддержка Z-Image-Turbo и Flux.2 тоже есть с контролнетом и масками, Wan Steady Dancer (альтернатива Animate), time-to-move (TTM)

Из остальных обновок:
- Кнопка паузы: позволяет приостановить генерацию видео и освободить большую часть VRAM, используемой WanGP. При этом занятая RAM остаётся занятой. Можно возобновить генерацию с того же места

- Режим WanGP Headless: позволяет создавать очередь генерации видео через стандартный интерфейс WanGP, сохранять её и обрабатывать в пакетном режиме без запуска веб-интерфейса.

Спасибо @EvgenyiPerm

#tools #text2video #image2video #video2video #optimization #zimage #hv15
🔥9👍5❤2
Media is too big
VIEW IN TELEGRAM
Сервис для стилизации видео Mago Studio вышел в открытую бету

Обещают что попробовать можно бесплатно
Скидка 40% на первую покупку по промокоду LAUNCH

Пробуем здесь. Если сможем достучаться до сайта

#video2video #styletransfer #stylization
👀5👍3❤1
StereoWorld: Geometry-Aware Monocular-to-Stereo Video Generation

#SOTA в создании стереоскопического видео из монокулярного видео с высокой визуальной точностью и геометрической корректностью

Базовая модель — Wan2.1-T2V-1.3B. За оценку глубины отвечает Video Depth Anything

Кто умеет косить глазами для просмотра стерео - ставьте 👀

Кода нет

#novelview #video2video #stereo #mono2stereo
👀26👍4😁4🔥3❤2
EgoX: Egocentric Video Generation from a Single Exocentric Video

Еще одна работа на субъективный вид от первого лица (POV), от KAIST

Превращает видео с видом со стороны в видео от лица одного из персонажей

Лора на базе Wan 2.1 14B i2v

Код ждем

#video2pov #pov #video2video #cameracontrol #lora
🔥9😱3👍1
Helios

Генератор длинных видео в реальном времени на базе Wan2.1-T2V-14B. Как же многие авторы стыдятся сообщать об этом на сайте проекта

— работает на одном GPU NVIDIA H100 со скоростью 19,5 кадров в секунду

— создаёт длинные видео без потери качества

— не использует распространённые приёмы для ускорения работы, например KV-кэш или квантизацию

— T2V, I2V и V2V

— справляется с проблемой «дрифта» в длинных видео без дополнительных ухищрений

есть три версии: Helios-Base, Helios-Mid и Helios-Distilled

Гитхаб
HF
MS
Демо

Спасибо @m_franz

#longvideo #text2video #image2video #video2video #realtime
🔥10
FaceCam: Portrait Video Camera Control via Scale-Aware Conditioning

Смена траектории камеры для портретных видео

Работает так: берёшь одно входное видео, задаёшь траекторию камеры — получаешь новое видео с нужным ракурсом. Лицо и мимика сохраняются.

Фишка в том, что используют лицевые признаки как представление камеры. Это решает проблему с метрической глубиной, которую нельзя получить из монокулярного видео.

Модель обучалась на студийных видео со статическими камерами, но умеет генерировать динамические непрерывные траектории — неплохое обобщение.

Гитхаб

#video2video #videoediting #cameracontrol

Нейронавт в MAX
👍8
This media is not supported in your browser
VIEW IN TELEGRAM
X-Dub: From Inpainting to Editing

Визуальный дубляж видео на базе #wan22.
Меняет движения губ на видео в соответствии с аудиодорожкой, и при этом сохраняет идентичность человека и его позу.

Работает с видео дольше минуты без потери качества и «сдвига» изображения

Гитхаб
HF

Спасибо @m_franz

#lipsync #dubbing #video2video #audio2video #characteranimation
🔥15❤1🥴1
RealMaster

У Meta (запрещено в РФ) свой DLSS5 с блекджеком и плывущими надписями

RealMaster превращает 3D видео рендеры в "фотореалистичные", при этом

сохраняя геометрию и динамику исходной сцены.
избегает артефактов избыточного редактирования

ага

Под капотом IC-LoRA к диффузному видеогенератору

Бонусом может добавлять погодные эффекты (например, дождь или снег) при редактировании текстовых подсказок

Опенсорс не обещают

#research #realism #video2video #stylize
😁6👍2🔥1
DiffHDR

Еще один проект, исчезнувший из свободного доступа, а жаль. Оставлю тут на случай если вдруг автор решит его вернуть

Модель преобразования видео из низкого динамического диапазона (LDR) в высокий (HDR). Использует диффузионные технологии, работает с уже существующими видео, восстанавливая потерянные детали в слишком светлых или тёмных участках

Гитхаб - был да сплыл, недоступен
Препринт

#LDR2HDR #hdr #video2video
🔥7👍2
Reshoot-Anything

Модель от Morphic для пересъёмки видео с другого ракурса с сохранением деталей и реалистичности

Гитхаб
HF ждем

#cameracontrol #video2video #videoediting
👍6🔥4
Vista4D

Еще одна модель от Netflix, на этот раз для пересъёмки видео с использованием 4D‑облаков точек на базе Wan2.1-T2V-14B

• синтезирует сцены с новыми траекториями камеры
• сохраняет геометрию и физические свойства сцен
• редактирует 4D‑сцены: перемещает, дублирует, удаляет объекты
• работает с неидеальными данными, устойчив к артефактам
• расширяет динамические сцены за счёт статических кадров

Выложили два чекпойнта:

384p - 672 × 384, 49 кадров
720p - 1280 × 720, 49 кадров

Гитхаб
HF

#cameracontrol #video2video #videoediting
👍12❤3🥴3