Нейронавт | Нейросети в творчестве
13.2K subscribers
7.14K photos
5.65K videos
51 files
7.23K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках и запусках не участвую

для связи @Neuronauticus

РКН: https://hf.ru/link8e56d
Download Telegram
DifFace: Super-Face Restoration

Новый алгоритм реставрации лица на фотографиях с сильными искажениями.

код, примеры, сравнения
попробовать на huggingface
Колаб

#restoration
Делюсь результатами эксперимента которым я занимался последнее время.
Это не совсем обычный апскейл и реставрация. Не видел чтобы кто-то использовал такой подход и решил попробовать.

Если наберется несколько заинтересованных комментариев, сделаю туториал.

Рад буду вашей поддержке комментариями и лайками на ютубе

https://youtu.be/swN85-ceRMg?si=5zLfRCxHg3MWyZFY

#neuronaut_art #upscale
👍14❤1😁1
DiffBIR: Towards Blind Image Restoration with Generative Diffusion Prior
Реставрация и апскейл фото. Конкурент GFP-GAN, CodeFormer, RealESRGAN. Все есть: код, демо, даже портативная версия. Ну как портативная, 24 Гб. Очень прожорливый до ресурсов, работает по маленьким разрешениям. По моим тестам результат не превзошел GFP-GAN. Но тут есть рульки и можно писать промпты, надо разобраться.


Код
Демоспейс
Колаб
Портативная версия от Neurogen

#restoration #enhance #facerestoration #upscale
HDTR: A Real-Time High-Definition Teeth Restoration Network for Arbitrary Talking Face Generation Methods

Улучшайзер зубов в реальном времени для генераторов видео говорящих голов, которые не справляются с корректной отрисовкой рта

Код

#video2video #restoration #facerestoration #mouth
DA-CLIP: Controlling Vision-Language Models for Universal Image Restoration

Восстановление изображений. DA-CLIP с высокой точностью предсказывает эмбеддинги повреждений и выдает высококачественные детали для восстановления.

Код
Демо

#image2image #imagerestoration #deblur #denoise #restoration
🤔3
dewatermark.ai

Удаление вотермарков с изображений. Говорят что бесплатно. Сервис умный, сам находит вотермарки, но можно выделить и кистью

#tools #inpainting #restoration
❤5🔥3👍2
InstructIR: High-Quality Image Restoration Following Human Instructions

Реставрация изображения по текстовым указаниям.

Устранение шума, дождя, размытости, дымки и т д.

Код
Демо
Колаб

#restoration #imagerestoration #denoise #deblur #dehaze
👍6❤2
This media is not supported in your browser
VIEW IN TELEGRAM
SUPIR: Revolutionizing image restoration with cutting-edge large-scale AI

Реставратор-апскейлер изображений, управляемый текстовыми подсказками. По Одри видно, что черты лица искажает-таки. Но все же хорош!

Код
Демо ждем

#upscale #image2image #restoration
👍7
This media is not supported in your browser
VIEW IN TELEGRAM
KEEP: Kalman-Inspired Feature Propagation for Video Face Super-Resolution

Реставрация и апскейл лиц на видео. Похоже, у нас будет замена GFP-GAN и Codeformer когда выложат код

Код ждем

#restoration #enhance #facerestoration #upscale
🔥11❤1👍1
Опубликован код реставратора-апскейлера лиц на видео KEEP

Свое видео в демке обработать не удалось - выдает пустые видео.
Вероятно, надо предварительно кропнуть и выровнять лицо.
Видно что кипят волосы, лицо тоже подкипает. Надеюсь прикрутят рульку силы эффекта

Код
Демо

#restoration #enhance #facerestoration #upscale
👍4👀1
Project Starlight

"Первый в мире" (правда что ли? 😕) диффузный реставратор видео от Topz Labs, решивший проблему консистентности

6B+ параметров, реставрация до 10 секунд видео - бесплатно (где и как?). 5-минутные видео 1080p - за кредиты

Модель автоматически удаляет шум, размытие, делает апскейл и антиалиасинг

Как же потестить все это волшебство? Говорят, для раннего доступа надо лайкнуть и прокомментировать официальный твит словом "Starlight"

#videorestoration #restoration #denoise #deblur #antialias #upscalevideo #enhance
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥11🥴6❤1
Media is too big
VIEW IN TELEGRAM
Topaz Labs Video AI 7

реставратор видео Starlight mini - видимо, облегченная для локального запуска версия - доступен в платном пакете от Topaz Labs за жалкие $249, с целым годом грядущих обновлений

Помимо наваливания разрешения с деталями есть интерполяция кадров (слоумойшен) и (!!!) работа с .EXR - что вообще уникально. Хотя возможно, я слишком мало интересуюсь коммерческими реставраторами

Спасибо @MIXTRESH

#videorestoration #restoration #denoise #deblur #antialias #upscalevideo #enhance #frameinterpolation #exr
🔥7👍3😁1
This media is not supported in your browser
VIEW IN TELEGRAM
KEEP

Официальный аккаунт Gradio пишет что реставратор - апскейлер лиц на видео KEEP это новая SOTA.

В репозитории две новые модели

Код
Демо

#restoration #enhance #facerestoration #upscale #SOTA
👍6❤2
Накопилось по #minimaxH3 - часть 32

#LoRA

huggingface.co/sandpies/ComfyUI-H3-Video-Upsampler
github.com/dntpi/ComfyUI-H3-Video-Upsampler - H3 Video Upsampler + LoRA апскейла ×2: 2Mpx результат в слепом сравнении выиграл у нативной генерации #upscale

huggingface.co/akatz-ai/MiniMax-H3-Person-Remover-LoRA - Person Remover: оригинальное видео + чистый первый кадр, SAM 3.1 отслеживает и вырезает человека. Чистый кадр делается через Flux Klein («убери X и покажи, что за ним»)

github.com/dotaku22/MosaicDiff -находит и отслеживает мозаику цензуры в клипе и восстанавливает поврежденный участок через H3 + кастомную LoRA #uncensored

huggingface.co/Jacob121294/h3-restore-enhance-improve-lora и huggingface.co/kirk86413/upscale-h3 - LoRA реставрации старого видео/апскейла, без ридми #restoration #upscale

huggingface.co/B0rghese/Minimax_Stereoptical_Process - Stereoptical Process: 2D-целл-анимация поверх 3D-фона. Триггеры Stereoptical Process, 2D Cel Animation over 3D Background

#workflow

civitai.com/articles/36281/comfyui-tutorial-character-swap-with-minimax-h3-using-lora-no-masking - #characterswap без маскирования: меньше VRAM. 0.4Mp за 8 шагов, апскейл до 1.2Mp латентным апскейлером. 3060 6GB: 20 мин генерация + 21 мин апскейл

youtube.com/watch?v=4L4lTf_NCSg - прозрачные видео на H3 в ComfyUI по шагам

github.com/aowind/sprite-action-forge - Sprite Action Forge: одна иллюстрация → полный набор игровых спрайтов движений. Локально, 8GB VRAM. Работает с четвероногими и монстрами

github.com/kubakubkub/ComfyUI_KubaNodes - проекция клипов на фасад здания: разделение на части, свои промпты, анимация слоёв на таймлайне. Вид проекции с точки зрителя

github.com/alaintural/synctile-h3 - SyncTile: 4K-клип — апскейл в латенте + 9 тайлов с блендингом на каждом шаге, декод один раз. Без швов и рассинхрона глаз. ~11 мин на 5-сек 4K на 4090 #upscale

huggingface.co/diffusers-modular/minimax-h3-inpainting - обновление: добавлен mask_drop_step для однопроходного хармониза #inpainting

github.com/wang410922/ComfyUI-H3ReferencePrep/blob/main/ComfyUI-H3ReferencePrep/README.md - H3ReferencePrep: Face Tracker по кадрам, с запасным трекингом головы/человека, ремонтом маски лица и Temporal Sanity Gate

github.com/entert-ai/ComfyUI-H3-RefMods-Lab - RefMod Lab: создание #RefMods из картинок/аудио/видео, выбор источников на лету, токены каждого источника, слияние RefMods. Перетащил RefMod в канвас — подгрузился воркфлоу его создания

#optimization

github.com/Speach1sdef178/ComfyUI-VELA-H3 - VELA 1.0: ускорение вычислений H3 без правок ядра — быстрый путь там, где безопасно, точный там, где важно. VDN 1.1 → VDN+VELA: 2:53 → 2:13 на 0.8Mp/5 сек. На 10 сек выигрыша нет (опубликовано честно). 8 шагов VDN+VELA против 20 шагов сырой H3: 3:03 против 8:07. RTX 3090 Ti

youtube.com/watch?v=DvTl-QbDzdQ - групповой тест H3 PDMD-ускорений
👍11❤1