Нейронавт | Нейросети в творчестве
13.2K subscribers
7.17K photos
5.66K videos
51 files
7.26K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках и запусках не участвую

для связи @Neuronauticus

РКН: https://hf.ru/link8e56d
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
EdenLive

Генеративная отрисовка видео в реальном времени

VAST выложили модель которая превращает черновой прокси-стрим в готовое видео

Что на входе
• Поток прокси из 2D или 3D сцены, игрового движка или записи
• Первый кадр и текстовый промпт
• Внешний код держит состояние сцены и взаимодействие, модель отвечает за картинку

Как устроено
• Управление идет через пост-обученный кодировщик DINOv3: признаки кадра прокси подаются в диффузионный трансформер
• Две ветки: 14B на Wan2.1 I2V для 480p и 5B на Wan2.2 для 720p, у каждой двунаправленный и потоковый режим
• Поток собирается чанками по 4 шага, декодер TAEHV дает 24 FPS и выше
• Есть демо на несколько минут, 5B в 720p работает на одной карте

Что с весами
• Около 210 ГБ ‼️, все компоненты в одной папке
• Блок на FLUX.2 klein нужен только для первого кадра в реальном времени, лицензия некоммерческая

huggingface.co/VAST-AI/EdenLive
github.com/VAST-AI-Research/EdenLive

#rendering #v2v #realtime
🤯11👍3❤2
This media is not supported in your browser
VIEW IN TELEGRAM
VideoMaMa++

NeurIPS 2026, KAIST. Модель делает альфа-мат из маски и видео, включая волосы и тонкие края

Предыдущая версия

• Диффузионный бэкбон тянет только 6-24 кадра, поэтому видео режется на чанки
• Каждый чанк уточняет маску сам по себе, на стыках скачут края и прозрачность

Как решают
• RGB и маска идут отдельными потоками токенов, сводит их полное пространственно-временное внимание
• Две обучаемые метки на кадр: preserve держит готовый мат как образец, refine превращает грубую маску в точную
• Скользящее окно передает мат из прошлого чанка в следующий, глобальный якорь не дает ошибке накапливаться
• Дообучения под длинные ролики не нужно

• Лучший результат по всем метрикам на трех бенчмарках

github.com/cvlab-kaist/VideoMaMa-PlusPlus - ждем

#segmentation #mask2matte #video2matte

MAX
❤6👍2🔥1
UniForge3D Windows 8 GB VRAM

Форк UniForge3D запускает модель на 3070 Ti на 8 ГБ, 64 ГБ оперативки, без conda и nvcc.

Что изменили
• Готовые wheel-пакеты вместо сборки: CuMesh, FlexGEMM, o_voxel, nvdiffrast и flash-attn лежат под cp311 win_amd64
• Поэтапная загрузка весов: пик денойзера 6,3 ГБ вместо 12, первый шаг через 21 секунду вместо 102
• Конвертация в fp16: диск с 41 до 19 ГБ, проверка тензор за тензором, результат бит в бит
• Скачивание с докачкой по частям
• Веб-интерфейс: 2-4 фото, просмотр и скачивание glb в браузере

Что на выходе
• prediction.glb с запеченными #PBR-текстурами
• Отдельно basecolor.png и metallic_roughness.png на 2048
• Один кейс около 240 секунд

• 16 ГБ оперативки не хватит: даже с флагом low-ram пик загрузки одной группы 23 ГБ

#lowvram #scenereconstruction #imageto3d

MAX
🔥9👍2
#MossImage

huggingface.co/lodestones/Kromoss - Kromoss: файнтюн MOSS-Image-Base в 1024px, чинит мыльность, энкодер Qwen3.5-9B + FLUX.2 VAE. В комплекте 8-шаговая турбо LoRA

github.com/Rkkss/ComfyUI-Spectrum-MOSS - Spectrum для MOSS: «auto»-нода после модели. Тестировалось без турбо — приятный результат от 12 шагов на 1.3Mpx (1168px) за ~30 сек на 3060 12Gb. Kitchen Attention на MOSS скорости не помогает #optimization

huggingface.co/akhaliq/MOSS-Image-SFT-4-steps - 4-шаговая турбо LoRA для MOSS, вышла v2. Первая версия упрощала композицию

#LoRA #slider

huggingface.co/axiomofmind/Moss-image-gouache-lora - гуашь: винтажные рисованные иллюстрации и постеры

huggingface.co/axiomofmind/Moss-image-psychedelic-lora - психоделика: насыщенный неон, сюрреальные сюжеты, графичные формы

huggingface.co/Danrisi/nicegirls_v2_moss - nicegirls_v2 порт под MOSS, на низкой силе дает разнообразие лиц

github.com/HyperGAN/moss-image-sliders - слайдеры теплых/холодных тонов

civitai.com/models/3010015/moss-lighting-slider и huggingface.co/Playtime-AI/Moss-Image-Age_Slider - базовые слайдеры освещения и возраста

#comfyui

github.com/levzzz5154/ComfyUI-MOSS-PromptWeight - вес фразы в промпте: Qwen3.5 игнорирует обычные (word:1.2)-веса, нода применяет их внутри attention. Пример: (red hat:-1), (yellow flowers:1.5) #prompting

github.com/b4ldur/ComfyUI-MOSS-BBox1000 - конвертер BBox-раскладки 0–1000 для MOSS, независимый от разрешения. Ранняя версия ломалась на других разрешениях

github.com/xb1n0ry/ComfyUI-MOSS-Prompt-Enhancer - энхансер промптов: простой промпт → расширенное описание → JSON-макет с боксами → скомпилированный MOSS-промпт (компилятор из официального скилла). Есть caption-режим без боксов. Рекомендуется Qwen 3.8 27B Q4, 9B сойдёт

huggingface.co/mdevoz/qwen3.5_9b_ultra_uncensored_heretic_int8_convrot - абляция промпт-апсемплера MOSS (int8convrot). Оригинал: huggingface.co/llmfan46/Qwen3.5-9B-ultra-uncensored-heretic
#uncensored

github.com/spooky-local/MOSS-Layout-Editor - редактор раскладки: рисовать/двигать боксы, подписи регионов и рендеримый текст

github.com/0Printemps0/ComfyUI-MOSSLayout - второй визуальный редактор раскладки, форк ComfyUI-IdeogramHelper

huggingface.co/sorryhyun/moss-image-colorize - MOSS как раскрашиватель лайнарта: вход через vision-башню Qwen3.5 и как VAE-латент в DiT. Сохраняет линию, лица, надписи. Ноды img2img: github.com/sorryhyun/ComfyUI-MOSS-i2i

#controlnet

huggingface.co/darask0/MOSS-Image-color-depth-control - контрол-адаптер по карте цвет-регионов и карте глубины. ComfyUI-реализации пока нет

civitai.com/models/3010285/moss-color-and-depth-control - модел-патч к цвето/глубина-контролю MOSS — вместе работают как простой ControlNet. Воркфлоу на civitai.red
———

huggingface.co/MATLOWAI/MOSS-Image-SFT-DeBand-int8 - SFT с вшитым фиксом вертикальных цветных полос (de-banding), int8

github.com/shootthesound/Fizgig/releases/tag/v8.5.0 - Fizgig 8.5: поддержка MOSS для LoRA и слайдеров. Тренируется легко и быстро, хватит 12Gb. Совет автора: res_multistep + simple лучше euler. Spectrum при этом не ломается #finetuning
👍8🔥3
Ming-3.0-audio

Понимание аудио напрямую, без текста посередине

• Нна выход текст или голос
• Две версии: flash на 126 млрд с 6,5 активными и tiny на 9,3 млрд с 2,7 активными

• Распознавание речи в шуме, с диалектами и акцентами, для нескольких говорящих
• Ответы на вопросы по содержимому аудио, рассуждения над звуком
• Понимает длинные записи, речь, шумы, музыку, обстановку
• Голосовой ответ с клонированием по референсу

• Основные языки - китайский и английский
• tiny живет на одной видеокарте
• У flash контекст на 128 тысяч токенов, нужны восемь H800
• Лицензия MIT

• Поднимается через vLLM-Omni и SGLang, OpenAI-совместимые эндпоинты

huggingface.co/inclusionAI/Ming-3.0-audio-flash
huggingface.co/inclusionAI/Ming-3.0-audio-tiny
github.com/inclusionAI/Ming-3.0-audio-flash

#alm #stt #tts #voicecloning

MAX
🔥5❤1👍1
Jockey

TwelveLabs выпустили чат-агента для видео и фотоархивов. Основа - их модели: Marengo кодирует содержимое (люди, объекты, звук, текст в кадре), Pegasus рассуждает о событиях и контексте.

• Отвечает на вопросы по всей библиотеке
• Находит нужные моменты и отвечает с таймкодами и ссылками на клипы
• Связывает связанные сцены из разных роликов, сравнивает и делает сводки
• Собирает первый черновик монтажа из удачных кадров

Подключение
• Ставится агенту как #MCP-коннектор
• Работает в Claude и ChatGPT
• Видео добавляется загрузкой файла или по ссылке, YouTube тянет напрямую

Для кого
• Креаторы, маркетинговые команды, спортивные и робототехнические проекты
• Любой, у кого накопился архив футажа, который лень пересматривать

Есть бесплатный тариф

Попробовать

#assistant #t2v #directing

MAX
👍5
This media is not supported in your browser
VIEW IN TELEGRAM
FLUX 3 Max

Ускоренный FLUX 3 Video на fal

Ускорение сразу на трех уровнях: дообучение с reinforcement learning, оптимизация инференса, переделка серверного движка. Дообучение подняло движение, детализацию и следование промпту

• #t2v #i2v , ключевые кадры в видео
• Ролики до 20 секунд
• 720p с апскейлом до 1080p
• Генерация звука
• Все через API fal

• 10-секундный ролик за 10,95 секунды, у оригинала 126,44, ускорение в 11,5 раза
• Seedance 2.5 обходит в 22 раза при том же Elo
• 0,0425 доллара за секунду 720p, скидка 75% до 7 ноября

MAX
👍6👎1
OmniPoser

мокап без маркеров. Но нужны сенсоры или уже извлеченные ключевые точки, модель достраивает недостающие суставы. Пригодится для VR, аватаров, робототехники и анимации.

Раньше под каждый набор сенсоров учили свою модель, здесь одна архитектура на все

• На вход любые комбинации датчиков, включая верх тела, пять точек VR или только голову
• Понимает, каких суставов нет, и достраивает их по смыслу, а не нулями
• Отдает готовый SMPL: поза, форма, контакт стоп с полом, глобальная траектория без дрейфа
• Один шаг генерации, без перебора вариантов

• Больше 700 кадров в секунду
• Реальное время на одной видеокарте
• Точность на уровне специалистов: 32,1 мм на AMASS против 34,8 у RoHM, на Nymeria 21,1 против 59,3

github.com/JamesBridgewater51/omniposer

#mocap

MAX
👍4❤1🔥1
LILIE

Энкодер из Стэнфорда, делает потери при обучении картинок умнее

Пиксельная ошибка одинаково наказывает за шум на небе и за размытый самолет, хотя смысл у них разный. LILIE учит пространство, где расстояние ближе к смыслу.

• Обратимый энкодер: картинка разбирается и собирается обратно без потерь
• Обучен так, чтобы языковая модель по зашумленным признакам восстанавливала подпись
• Дает готовую функцию потерь для текст-в-картинку, работает вместе с обычным пиксельным лоссом
• В комплекте кодировщики и генеративные модели

github.com/SuchirAgarwal/lilie
huggingface.co/suchiragarwal/lilie

#encoder #training

MAX
👍6