Нейронавт | Нейросети в творчестве
13.4K subscribers
7.37K photos
5.79K videos
51 files
7.5K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках и запусках не участвую

для связи @Neuronauticus

РКН: https://hf.ru/link8e56d
Download Telegram
Primal VAE

Компактный #VAE от Ostris с необычной схемой сжатия: всего 2x по пространству и 1-2 канала. Дальше латент патчится в 4 раза, и выходит те же 8x на 16 или 32 каналах, что у Flux.1 и Flux.2

Глубокая компрессия уезжает в DiT, а VAE остается маленьким и предсказуемым.

• Вариант 2x1 совпадает по форме с латентом Flux.1
• Вариант 2x2 совпадает с Flux.2
• Меняется только файл весов, архитектура одна
• Грузится в существующий пайплайн вместо старого VAE, без переобучения DiT
• Понимает чекпоинты из ai-toolkit как есть

Стороны изображения кратны 16

По замерам на трех картинках версия 2x2 идет на уровне или чуть лучше VAE от Flux.2 при том же бюджете информации. Версия 2x1 проигрывает Flux.1 на текстурном контенте: один канал при 2x это сжатие 12 к 1 без запаса

MAX
⚡6👍6❤1
FeatherAttn

Быстрое обратное ядро внимания для AMD RDNA3 и RDNA3.5, проверяли на Strix Halo. В AITER, наборе ядер AMD, прямое ядро нормальное, а обратное никто не оптимизировал.

Это ускорение обучения, а не генерации

• Замена flash_attn_func один в один: прямое ядро из AITER, обратное свое
• Если чего-то не умеет, тихо откатывается на ядро AITER
• Работает с torch.compile
• Без квантования int8 и fp8 и без разреженности

• В 4 раза быстрее при размерности головы 128
• В 1,3 раза при размерности 64
• LoRA-обучение Anima ускоряется на 40%
• Размерность 128 нужна свежим моделям: Anima, Krea 2, MOSS, H3, тогда как SDXL работает на 64

Второе узкое место такого обучения на Strix Halo: обратное ядро матричного умножения. Для него есть форк rocm-libraries с ускоренным GEMM NT, ссылка в репозитории. Как прикрутить fp8 к вниманию на этих чипах, пока открытый вопрос.

#optimization #training

MAX
🫡5❤1👍1
#MossImage

huggingface.co/akhaliq/MOSS-Image-Edit-HQ - Edit-HQ: инструкционный эдит-LoRA для SFT, бьет chinoll по качеству. Уже v7, у каждой версии свои воркфлоу

github.com/alexgar4-afk/Vicii_Influencer_HyperRealism_1.0 - Vicii Influencer HyperRealism: набор «инфлюенсер»-инструментов, заявлен и рабочий #faceswap для MOSS #realism

#lora

civitai.com/models/3024672/moss-pixel-art
hf.co/finger-gun/moss-pixelart-v.0.3 - пиксель-арт на сетке 8×8. Триггер pxl8x в начале промпта

civitai.com/models/2909286/moebius-style - стиль Мебиуса (ligne claire), первый рабочий. Без триггера. Лучше на 1.2 силы, 1.3Mpx, с промптом о плоской иллюстрации. Spectrum + 15 шагов, без турбо. Дальше по шагам — путается

huggingface.co/easygoing0114/MOSS-Image-SFT_clear - SFT_clear: меньше шума, сочные цвета, особенно для аниме. Может помочь и западным комиксам. clear_INT8_ConvRot_HQ 5.8Gb

civitai.com/models/3027186/luisap-moss-unmodel-slider - слайдер 15Mb: уводит лица от «кукольного / гламурного» вида

#rgba #layout

hf.co/genai-craft/transparent-lora-for-moss-image - прозрачная LoRA для SFT: напрямую альфа-канал, без удаления фона. Помогает спец-VAE flux2-klein-alpha. Нативная до 1.2Mpx, выше декод тайлами

github.com/sm6303/ComfyUI-MOSS-BBox-Fix - фикс BBox для больших размеров MOSS

github.com/Coffmeteor/ComfyUI-MOSS-Card-Layout - 3/4-панельные карточки персонажей: шкаф на 100 нарядов, библиотека 60 лиц с превью, правка персонажа, личная библиотека

#workflow

github.com/nigo-studio/moss-image-workflows - манга-страница с неровной раскладкой. Важно: JSON в Text Multiline, не прямо в CLIPTextEncode — ComfyUI читает { } и | как синтаксис динамических промптов и рвtт текст

github.com/leroy989/ComfyUI-MOSS-QwenVL-Layout - обновление: режим именно промпта — простая фраза становится полным bbox-промптом, масштабирование картинки встроено. Раньше только по картинке

github.com/EBEBEEBE/comfyui-lucid-vrp - MOSS + Anima, гладкий канвас эдита и региональный промптинг, живые превью

github.com/ATH-MaaS/PixText - PixText: чинит поломанные надписи в генерациях MOSS/Ming. Авто-детект ошибок, Apache 2.0

huggingface.co/lvladikov/MOSS-PiD-SuperFast-HighRes - PiD + MOSS = быстрый #4K : рендер в 1/4 разрешения, PiD разворачивает в 4K за 4 шага. Нет VAE-декода и отдельного апскейла. 2 воркфлоу (локальный/облако) + скрипт, 100 примеров

github.com/unixyo/rdna2-gfx1030-imagegen-recipes/tree/main/moss-image - рабочий MOSS на #AMD RX 6900 XT 16Gb

huggingface.co/AEUPH/moss4gb - MOSS-Image-SFT для 4Gb карт (5B DiT, 4-bit, без текстового энкодера)

github.com/rockerBOO/comfyui-moss-prompt-enhancer - еще один энхансер промптов для ComfyUI, с MD-скиллом #PE

youtube.com/watch?v=I0sL2mZhiY4 - тест #faceswap воркфлоу для MOSS
👍9
#OpenSourceHiggsfield

Забираем годноту

github.com/fixed-42/comfyui-sameface - SameFace: мерит дрейф лица при эдите/реставрации и чинит его. Face-жек: сдвиг, масштаб, поворот убираются, остаётся дрейф в % с картой. Булевой spline-варп возвращает черты. Пример: 0.83% → 0.010%. Один нод SameFace Simple, продвинутые по шагам. Apache-2.0

github.com/AInVFX/ainvfx-paintaplate - Paint a plate: Подсовываем измененный первый кадр - редактирует все видео. FLUX 3 Klein правит первый кадр, SAM 3.1 ведёт объект, LTX 2.5 несёт правку по шоту с IC-LoRAs (in-outpainting, Ripple, ainvfx-fluid). EXR через OCIO, слои, экспорт с маттом, каждый шот → отдельный граф #ComfyUI. #VFX #videoediting

github.com/fishfinger44/MatteDesk - MatteDesk: инструмент для матирования. SAM 3.1 ядро, CoTracker3 кисть, MatAnyone2, VideoMaMa волосы, BiRefNet/Lucida край, опция LTX Alpha-Gen. Чинит только плохие кадры, правка — ключ, распространяется в обе стороны. Экспорт EXR/PNG + .nk для Nuke. Windows/NVIDIA 12GB+ (LTX 24GB)

#motioncontrol #minimaxH3

github.com/PxTicks/h3-motion - Minimax Motion Control: тянем объекты мышью. Приложение разделяет фон/объект, строит маски и пути, стыкуется с ComfyUI. Воркфлоу: drive.google.com/file/d/1mOHYcRX6fY3OamSHHRmvUfthCBEwgJZh

github.com/PxTicks/vlo - вторая реализация того же в видео-редакторе с мостом в Comfy

github.com/akatz-labs/opencast-studio - создание персонажных листов #charactersheet и замена персонажей на видео #characterswap

github.com/matlowai/ComfyUI-Dials - слайдеры: движение, настроение, стиль игры. Стекаются между собой и с LoRA, влияют и на аудио. Демо: matlowai.github.io/ComfyUI-Dials, диалы: huggingface.co/MATLOWAI/H3-Dials. Готовит порт на MOSS/Krea #slider
👍9🔥6❤2😁2
FlashVSR+ Tiled for ComfyUI

Форк FlashVSR+ с тайлами
Апскейл видео на картах с малым объемом памяти: кадр режется на перекрывающиеся куски, каждый считается отдельно.

• Своя ширина и высота тайла в пикселях, перекрытие настраивается
• Три режима смешивания краев: косинус, линейный, гауссов
• Потоковая обработка, куски пишутся в float16, звук сохраняется, в конце склейка
• В консоли видно размеры выхода и сетку тайлов, на каждый свой прогресс-бар
• Отдельные настройки тайлов VAE и интервал декода картинки
• Помимо видео нода отдает кадры, звук и частоту кадров
• Есть примеры воркфлоу, один зашит в PNG

• Только NVIDIA с CUDA
• Порт с кадрами лучше не подключать без нужды: 192 кадра в 4K съедят около 17,8 ГБ RAM
• Ветка spatial-tiling, ставится клоном в custom_nodes

Спасибо @hdmotion_personal

#upscale #wan21

MAX
👍5
Media is too big
VIEW IN TELEGRAM
Ming Voice

Локальный голосовой ассистент
Только английский и китайский

• Ответ через 0,23 секунды после конца реплики
• Понимает, когда вы договорили, по словам и интонации, и не перебивает
• Перебить можно в любой момент, свой голос узнает
• Три режима: без рук, по кнопке, по слову-обращению
• Погода, поиск, таймеры, списки, память на факты
• Home Assistant целиком: свет, замки, музыка, пылесос, сценарии, отложенные команды
• Опасные действия подтверждаются
• Семь голосов плюс клонирование по образцу на 5-15 секунд
• Работает с телефона и внутри ассистента Home Assistant
• API, совместимый с OpenAI

• База Ming-3.0-audio-tiny, 9,3B / 2,7B активных
• 20,5 ГБ видеопамяти, 12,5 в квантованном виде
• AMD Radeon, NVIDIA пока экспериментально

Спасибо @m_franz

#voicemode #assistant #tts #voicecloning

MAX
👍5🤔2
В условиях ограниченного количества денег крайне неэффективно если деньги будут у людей, а не в специальных хранилищах - считает Сэм Альтман.

Люди должны сдать свои деньги в хранилища так чтобы любой мог получить нужное количество денег за соответствующую плату

Ай, я все перепутал, это же он про память сказал а не про деньги

#news #humor

MAX
😁28❤1