Primal VAE
Компактный #VAE от Ostris с необычной схемой сжатия: всего 2x по пространству и 1-2 канала. Дальше латент патчится в 4 раза, и выходит те же 8x на 16 или 32 каналах, что у Flux.1 и Flux.2
Глубокая компрессия уезжает в DiT, а VAE остается маленьким и предсказуемым.
• Вариант 2x1 совпадает по форме с латентом Flux.1
• Вариант 2x2 совпадает с Flux.2
• Меняется только файл весов, архитектура одна
• Грузится в существующий пайплайн вместо старого VAE, без переобучения DiT
• Понимает чекпоинты из ai-toolkit как есть
Стороны изображения кратны 16
По замерам на трех картинках версия 2x2 идет на уровне или чуть лучше VAE от Flux.2 при том же бюджете информации. Версия 2x1 проигрывает Flux.1 на текстурном контенте: один канал при 2x это сжатие 12 к 1 без запаса
MAX
Компактный #VAE от Ostris с необычной схемой сжатия: всего 2x по пространству и 1-2 канала. Дальше латент патчится в 4 раза, и выходит те же 8x на 16 или 32 каналах, что у Flux.1 и Flux.2
Глубокая компрессия уезжает в DiT, а VAE остается маленьким и предсказуемым.
• Вариант 2x1 совпадает по форме с латентом Flux.1
• Вариант 2x2 совпадает с Flux.2
• Меняется только файл весов, архитектура одна
• Грузится в существующий пайплайн вместо старого VAE, без переобучения DiT
• Понимает чекпоинты из ai-toolkit как есть
Стороны изображения кратны 16
По замерам на трех картинках версия 2x2 идет на уровне или чуть лучше VAE от Flux.2 при том же бюджете информации. Версия 2x1 проигрывает Flux.1 на текстурном контенте: один канал при 2x это сжатие 12 к 1 без запаса
MAX
⚡6👍6❤1
FeatherAttn
Быстрое обратное ядро внимания для AMD RDNA3 и RDNA3.5, проверяли на Strix Halo. В AITER, наборе ядер AMD, прямое ядро нормальное, а обратное никто не оптимизировал.
Это ускорение обучения, а не генерации
• Замена flash_attn_func один в один: прямое ядро из AITER, обратное свое
• Если чего-то не умеет, тихо откатывается на ядро AITER
• Работает с torch.compile
• Без квантования int8 и fp8 и без разреженности
• В 4 раза быстрее при размерности головы 128
• В 1,3 раза при размерности 64
• LoRA-обучение Anima ускоряется на 40%
• Размерность 128 нужна свежим моделям: Anima, Krea 2, MOSS, H3, тогда как SDXL работает на 64
Второе узкое место такого обучения на Strix Halo: обратное ядро матричного умножения. Для него есть форк rocm-libraries с ускоренным GEMM NT, ссылка в репозитории. Как прикрутить fp8 к вниманию на этих чипах, пока открытый вопрос.
#optimization #training
MAX
Быстрое обратное ядро внимания для AMD RDNA3 и RDNA3.5, проверяли на Strix Halo. В AITER, наборе ядер AMD, прямое ядро нормальное, а обратное никто не оптимизировал.
Это ускорение обучения, а не генерации
• Замена flash_attn_func один в один: прямое ядро из AITER, обратное свое
• Если чего-то не умеет, тихо откатывается на ядро AITER
• Работает с torch.compile
• Без квантования int8 и fp8 и без разреженности
• В 4 раза быстрее при размерности головы 128
• В 1,3 раза при размерности 64
• LoRA-обучение Anima ускоряется на 40%
• Размерность 128 нужна свежим моделям: Anima, Krea 2, MOSS, H3, тогда как SDXL работает на 64
Второе узкое место такого обучения на Strix Halo: обратное ядро матричного умножения. Для него есть форк rocm-libraries с ускоренным GEMM NT, ссылка в репозитории. Как прикрутить fp8 к вниманию на этих чипах, пока открытый вопрос.
#optimization #training
MAX
GitHub
GitHub - woct0rdho/feather-attn: Fast attention on RDNA3/3.5
Fast attention on RDNA3/3.5. Contribute to woct0rdho/feather-attn development by creating an account on GitHub.
🫡5❤1👍1
#MossImage
huggingface.co/akhaliq/MOSS-Image-Edit-HQ - Edit-HQ: инструкционный эдит-LoRA для SFT, бьет chinoll по качеству. Уже v7, у каждой версии свои воркфлоу
github.com/alexgar4-afk/Vicii_Influencer_HyperRealism_1.0 - Vicii Influencer HyperRealism: набор «инфлюенсер»-инструментов, заявлен и рабочий #faceswap для MOSS #realism
#lora
civitai.com/models/3024672/moss-pixel-art
hf.co/finger-gun/moss-pixelart-v.0.3 - пиксель-арт на сетке 8×8. Триггер pxl8x в начале промпта
civitai.com/models/2909286/moebius-style - стиль Мебиуса (ligne claire), первый рабочий. Без триггера. Лучше на 1.2 силы, 1.3Mpx, с промптом о плоской иллюстрации. Spectrum + 15 шагов, без турбо. Дальше по шагам — путается
huggingface.co/easygoing0114/MOSS-Image-SFT_clear - SFT_clear: меньше шума, сочные цвета, особенно для аниме. Может помочь и западным комиксам. clear_INT8_ConvRot_HQ 5.8Gb
civitai.com/models/3027186/luisap-moss-unmodel-slider - слайдер 15Mb: уводит лица от «кукольного / гламурного» вида
#rgba #layout
hf.co/genai-craft/transparent-lora-for-moss-image - прозрачная LoRA для SFT: напрямую альфа-канал, без удаления фона. Помогает спец-VAE flux2-klein-alpha. Нативная до 1.2Mpx, выше декод тайлами
github.com/sm6303/ComfyUI-MOSS-BBox-Fix - фикс BBox для больших размеров MOSS
github.com/Coffmeteor/ComfyUI-MOSS-Card-Layout - 3/4-панельные карточки персонажей: шкаф на 100 нарядов, библиотека 60 лиц с превью, правка персонажа, личная библиотека
#workflow
github.com/nigo-studio/moss-image-workflows - манга-страница с неровной раскладкой. Важно: JSON в Text Multiline, не прямо в CLIPTextEncode — ComfyUI читает { } и | как синтаксис динамических промптов и рвtт текст
github.com/leroy989/ComfyUI-MOSS-QwenVL-Layout - обновление: режим именно промпта — простая фраза становится полным bbox-промптом, масштабирование картинки встроено. Раньше только по картинке
github.com/EBEBEEBE/comfyui-lucid-vrp - MOSS + Anima, гладкий канвас эдита и региональный промптинг, живые превью
github.com/ATH-MaaS/PixText - PixText: чинит поломанные надписи в генерациях MOSS/Ming. Авто-детект ошибок, Apache 2.0
huggingface.co/lvladikov/MOSS-PiD-SuperFast-HighRes - PiD + MOSS = быстрый #4K : рендер в 1/4 разрешения, PiD разворачивает в 4K за 4 шага. Нет VAE-декода и отдельного апскейла. 2 воркфлоу (локальный/облако) + скрипт, 100 примеров
github.com/unixyo/rdna2-gfx1030-imagegen-recipes/tree/main/moss-image - рабочий MOSS на #AMD RX 6900 XT 16Gb
huggingface.co/AEUPH/moss4gb - MOSS-Image-SFT для 4Gb карт (5B DiT, 4-bit, без текстового энкодера)
github.com/rockerBOO/comfyui-moss-prompt-enhancer - еще один энхансер промптов для ComfyUI, с MD-скиллом #PE
youtube.com/watch?v=I0sL2mZhiY4 - тест #faceswap воркфлоу для MOSS
huggingface.co/akhaliq/MOSS-Image-Edit-HQ - Edit-HQ: инструкционный эдит-LoRA для SFT, бьет chinoll по качеству. Уже v7, у каждой версии свои воркфлоу
github.com/alexgar4-afk/Vicii_Influencer_HyperRealism_1.0 - Vicii Influencer HyperRealism: набор «инфлюенсер»-инструментов, заявлен и рабочий #faceswap для MOSS #realism
#lora
civitai.com/models/3024672/moss-pixel-art
hf.co/finger-gun/moss-pixelart-v.0.3 - пиксель-арт на сетке 8×8. Триггер pxl8x в начале промпта
civitai.com/models/2909286/moebius-style - стиль Мебиуса (ligne claire), первый рабочий. Без триггера. Лучше на 1.2 силы, 1.3Mpx, с промптом о плоской иллюстрации. Spectrum + 15 шагов, без турбо. Дальше по шагам — путается
huggingface.co/easygoing0114/MOSS-Image-SFT_clear - SFT_clear: меньше шума, сочные цвета, особенно для аниме. Может помочь и западным комиксам. clear_INT8_ConvRot_HQ 5.8Gb
civitai.com/models/3027186/luisap-moss-unmodel-slider - слайдер 15Mb: уводит лица от «кукольного / гламурного» вида
#rgba #layout
hf.co/genai-craft/transparent-lora-for-moss-image - прозрачная LoRA для SFT: напрямую альфа-канал, без удаления фона. Помогает спец-VAE flux2-klein-alpha. Нативная до 1.2Mpx, выше декод тайлами
github.com/sm6303/ComfyUI-MOSS-BBox-Fix - фикс BBox для больших размеров MOSS
github.com/Coffmeteor/ComfyUI-MOSS-Card-Layout - 3/4-панельные карточки персонажей: шкаф на 100 нарядов, библиотека 60 лиц с превью, правка персонажа, личная библиотека
#workflow
github.com/nigo-studio/moss-image-workflows - манга-страница с неровной раскладкой. Важно: JSON в Text Multiline, не прямо в CLIPTextEncode — ComfyUI читает { } и | как синтаксис динамических промптов и рвtт текст
github.com/leroy989/ComfyUI-MOSS-QwenVL-Layout - обновление: режим именно промпта — простая фраза становится полным bbox-промптом, масштабирование картинки встроено. Раньше только по картинке
github.com/EBEBEEBE/comfyui-lucid-vrp - MOSS + Anima, гладкий канвас эдита и региональный промптинг, живые превью
github.com/ATH-MaaS/PixText - PixText: чинит поломанные надписи в генерациях MOSS/Ming. Авто-детект ошибок, Apache 2.0
huggingface.co/lvladikov/MOSS-PiD-SuperFast-HighRes - PiD + MOSS = быстрый #4K : рендер в 1/4 разрешения, PiD разворачивает в 4K за 4 шага. Нет VAE-декода и отдельного апскейла. 2 воркфлоу (локальный/облако) + скрипт, 100 примеров
github.com/unixyo/rdna2-gfx1030-imagegen-recipes/tree/main/moss-image - рабочий MOSS на #AMD RX 6900 XT 16Gb
huggingface.co/AEUPH/moss4gb - MOSS-Image-SFT для 4Gb карт (5B DiT, 4-bit, без текстового энкодера)
github.com/rockerBOO/comfyui-moss-prompt-enhancer - еще один энхансер промптов для ComfyUI, с MD-скиллом #PE
youtube.com/watch?v=I0sL2mZhiY4 - тест #faceswap воркфлоу для MOSS
👍9
#OpenSourceHiggsfield
Забираем годноту
github.com/fixed-42/comfyui-sameface - SameFace: мерит дрейф лица при эдите/реставрации и чинит его. Face-жек: сдвиг, масштаб, поворот убираются, остаётся дрейф в % с картой. Булевой spline-варп возвращает черты. Пример: 0.83% → 0.010%. Один нод SameFace Simple, продвинутые по шагам. Apache-2.0
github.com/AInVFX/ainvfx-paintaplate - Paint a plate: Подсовываем измененный первый кадр - редактирует все видео. FLUX 3 Klein правит первый кадр, SAM 3.1 ведёт объект, LTX 2.5 несёт правку по шоту с IC-LoRAs (in-outpainting, Ripple, ainvfx-fluid). EXR через OCIO, слои, экспорт с маттом, каждый шот → отдельный граф #ComfyUI. #VFX #videoediting
github.com/fishfinger44/MatteDesk - MatteDesk: инструмент для матирования. SAM 3.1 ядро, CoTracker3 кисть, MatAnyone2, VideoMaMa волосы, BiRefNet/Lucida край, опция LTX Alpha-Gen. Чинит только плохие кадры, правка — ключ, распространяется в обе стороны. Экспорт EXR/PNG + .nk для Nuke. Windows/NVIDIA 12GB+ (LTX 24GB)
#motioncontrol #minimaxH3
github.com/PxTicks/h3-motion - Minimax Motion Control: тянем объекты мышью. Приложение разделяет фон/объект, строит маски и пути, стыкуется с ComfyUI. Воркфлоу: drive.google.com/file/d/1mOHYcRX6fY3OamSHHRmvUfthCBEwgJZh
github.com/PxTicks/vlo - вторая реализация того же в видео-редакторе с мостом в Comfy
github.com/akatz-labs/opencast-studio - создание персонажных листов #charactersheet и замена персонажей на видео #characterswap
github.com/matlowai/ComfyUI-Dials - слайдеры: движение, настроение, стиль игры. Стекаются между собой и с LoRA, влияют и на аудио. Демо: matlowai.github.io/ComfyUI-Dials, диалы: huggingface.co/MATLOWAI/H3-Dials. Готовит порт на MOSS/Krea #slider
Забираем годноту
github.com/fixed-42/comfyui-sameface - SameFace: мерит дрейф лица при эдите/реставрации и чинит его. Face-жек: сдвиг, масштаб, поворот убираются, остаётся дрейф в % с картой. Булевой spline-варп возвращает черты. Пример: 0.83% → 0.010%. Один нод SameFace Simple, продвинутые по шагам. Apache-2.0
github.com/AInVFX/ainvfx-paintaplate - Paint a plate: Подсовываем измененный первый кадр - редактирует все видео. FLUX 3 Klein правит первый кадр, SAM 3.1 ведёт объект, LTX 2.5 несёт правку по шоту с IC-LoRAs (in-outpainting, Ripple, ainvfx-fluid). EXR через OCIO, слои, экспорт с маттом, каждый шот → отдельный граф #ComfyUI. #VFX #videoediting
github.com/fishfinger44/MatteDesk - MatteDesk: инструмент для матирования. SAM 3.1 ядро, CoTracker3 кисть, MatAnyone2, VideoMaMa волосы, BiRefNet/Lucida край, опция LTX Alpha-Gen. Чинит только плохие кадры, правка — ключ, распространяется в обе стороны. Экспорт EXR/PNG + .nk для Nuke. Windows/NVIDIA 12GB+ (LTX 24GB)
#motioncontrol #minimaxH3
github.com/PxTicks/h3-motion - Minimax Motion Control: тянем объекты мышью. Приложение разделяет фон/объект, строит маски и пути, стыкуется с ComfyUI. Воркфлоу: drive.google.com/file/d/1mOHYcRX6fY3OamSHHRmvUfthCBEwgJZh
github.com/PxTicks/vlo - вторая реализация того же в видео-редакторе с мостом в Comfy
github.com/akatz-labs/opencast-studio - создание персонажных листов #charactersheet и замена персонажей на видео #characterswap
github.com/matlowai/ComfyUI-Dials - слайдеры: движение, настроение, стиль игры. Стекаются между собой и с LoRA, влияют и на аудио. Демо: matlowai.github.io/ComfyUI-Dials, диалы: huggingface.co/MATLOWAI/H3-Dials. Готовит порт на MOSS/Krea #slider
👍9🔥6❤2😁2
FlashVSR+ Tiled for ComfyUI
Форк FlashVSR+ с тайлами
Апскейл видео на картах с малым объемом памяти: кадр режется на перекрывающиеся куски, каждый считается отдельно.
• Своя ширина и высота тайла в пикселях, перекрытие настраивается
• Три режима смешивания краев: косинус, линейный, гауссов
• Потоковая обработка, куски пишутся в float16, звук сохраняется, в конце склейка
• В консоли видно размеры выхода и сетку тайлов, на каждый свой прогресс-бар
• Отдельные настройки тайлов VAE и интервал декода картинки
• Помимо видео нода отдает кадры, звук и частоту кадров
• Есть примеры воркфлоу, один зашит в PNG
• Только NVIDIA с CUDA
• Порт с кадрами лучше не подключать без нужды: 192 кадра в 4K съедят около 17,8 ГБ RAM
• Ветка spatial-tiling, ставится клоном в custom_nodes
Спасибо @hdmotion_personal
#upscale #wan21
MAX
Форк FlashVSR+ с тайлами
Апскейл видео на картах с малым объемом памяти: кадр режется на перекрывающиеся куски, каждый считается отдельно.
• Своя ширина и высота тайла в пикселях, перекрытие настраивается
• Три режима смешивания краев: косинус, линейный, гауссов
• Потоковая обработка, куски пишутся в float16, звук сохраняется, в конце склейка
• В консоли видно размеры выхода и сетку тайлов, на каждый свой прогресс-бар
• Отдельные настройки тайлов VAE и интервал декода картинки
• Помимо видео нода отдает кадры, звук и частоту кадров
• Есть примеры воркфлоу, один зашит в PNG
• Только NVIDIA с CUDA
• Порт с кадрами лучше не подключать без нужды: 192 кадра в 4K съедят около 17,8 ГБ RAM
• Ветка spatial-tiling, ставится клоном в custom_nodes
Спасибо @hdmotion_personal
#upscale #wan21
MAX
👍5
Media is too big
VIEW IN TELEGRAM
Ming Voice
Локальный голосовой ассистент
Только английский и китайский
• Ответ через 0,23 секунды после конца реплики
• Понимает, когда вы договорили, по словам и интонации, и не перебивает
• Перебить можно в любой момент, свой голос узнает
• Три режима: без рук, по кнопке, по слову-обращению
• Погода, поиск, таймеры, списки, память на факты
• Home Assistant целиком: свет, замки, музыка, пылесос, сценарии, отложенные команды
• Опасные действия подтверждаются
• Семь голосов плюс клонирование по образцу на 5-15 секунд
• Работает с телефона и внутри ассистента Home Assistant
• API, совместимый с OpenAI
• База Ming-3.0-audio-tiny, 9,3B / 2,7B активных
• 20,5 ГБ видеопамяти, 12,5 в квантованном виде
• AMD Radeon, NVIDIA пока экспериментально
Спасибо @m_franz
#voicemode #assistant #tts #voicecloning
MAX
Локальный голосовой ассистент
Только английский и китайский
• Ответ через 0,23 секунды после конца реплики
• Понимает, когда вы договорили, по словам и интонации, и не перебивает
• Перебить можно в любой момент, свой голос узнает
• Три режима: без рук, по кнопке, по слову-обращению
• Погода, поиск, таймеры, списки, память на факты
• Home Assistant целиком: свет, замки, музыка, пылесос, сценарии, отложенные команды
• Опасные действия подтверждаются
• Семь голосов плюс клонирование по образцу на 5-15 секунд
• Работает с телефона и внутри ассистента Home Assistant
• API, совместимый с OpenAI
• База Ming-3.0-audio-tiny, 9,3B / 2,7B активных
• 20,5 ГБ видеопамяти, 12,5 в квантованном виде
• AMD Radeon, NVIDIA пока экспериментально
Спасибо @m_franz
#voicemode #assistant #tts #voicecloning
MAX
👍5🤔2
В условиях ограниченного количества денег крайне неэффективно если деньги будут у людей, а не в специальных хранилищах - считает Сэм Альтман.
Люди должны сдать свои деньги в хранилища так чтобы любой мог получить нужное количество денегза соответствующую плату
Ай, я все перепутал, это же он про память сказал а не про деньги
#news #humor
MAX
Люди должны сдать свои деньги в хранилища так чтобы любой мог получить нужное количество денег
#news #humor
MAX
😁28❤1