Нейронавт | Нейросети в творчестве
13.2K subscribers
7.15K photos
5.66K videos
51 files
7.23K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках и запусках не участвую

для связи @Neuronauticus

РКН: https://hf.ru/link8e56d
Download Telegram
AdverseCleaner

16 строк кода Python для удаления нежелательного шума с изображений сгенерированных ИИ.

Изображению 1024px требуется менее 3 секунд на процессоре ноутбука, что бы избавится от шума.

#tools #denoise
🔥2
PSLD: Solving Linear Inverse Problems Provably via Posterior Sampling with Latent Diffusion Models

Новый метод использования диффузионных моделей для инпейнтинга без дообучения, апскейла, удаления шума, удаления моушенблюра, восстановления резкости. Выглядит впечатляюще

Код
Демо

#image2image #inpainting #deblur #denoise #upscale #superresulution
👍4❤1
UniAudio: An Audio Foundation Model Toward Universal Audio Generation

Универсальная базовая модель генерации звука
- текст в речь
- клонирование голоса
- замена голоса по образцу
- вокал по образцу без дообучения
- улучшение качества звука без дообучения
- удаление шума
- выделение одного голоса из микса голосов
- текст в звук
- текст в музыку
- редактирование звука по тексту
- удаление эха
- редактирование речи текстовыми указаниями

Впечатляет? Примеров слишком много чтобы тащить сюда, смотрите на сайте проекта, авторы планируют добавить примеры других задач

Код

#audio #TTS #text2music #text2sound #speech2speech #voicecloning #demix #denoise #audioenhance
👍9
DA-CLIP: Controlling Vision-Language Models for Universal Image Restoration

Восстановление изображений. DA-CLIP с высокой точностью предсказывает эмбеддинги повреждений и выдает высококачественные детали для восстановления.

Код
Демо

#image2image #imagerestoration #deblur #denoise #restoration
🤔3
InstructIR: High-Quality Image Restoration Following Human Instructions

Реставрация изображения по текстовым указаниям.

Устранение шума, дождя, размытости, дымки и т д.

Код
Демо
Колаб

#restoration #imagerestoration #denoise #deblur #dehaze
👍6❤2
Blind Image Restoration via Fast Diffusion Inversion (BIRD)

Реставратор фотопортретов.
Заявлена борьба с блюром, неравномерным блюром, шумом, инпейнтинг, повышение разрешения

ревью от нашего подписчика

Код

#imagerestoration #facerestoration #deblur #upscale #denoise
👍6❤1
Media is too big
VIEW IN TELEGRAM
DiffIR2VR-Zero: Zero-Shot Video Restoration with Diffusion-based Image Restoration Models

Денойзер-апскейлер видео. В качестве бонуса умеет сглаживать генеративную карту глубины.

В апскейле детали на фоне кипят. Но алгоритм интересный, надеюсь усовершествуют.

В некоторых местах презентации пишут "Ours (DiffBIR)" - вероятно, забыли заменить в шаблоне.

Код ждем
Демо

#denoise #upscale #video2video
👍5
Posterior-Mean Rectified Flow: Towards Minimum MSE Photo-Realistic Image Restoration

PMRF - это новый алгоритм восстановления фотореалистичных лиц. Заточен на квадратные портреты

Код
Демо
Tost.ai - уже завезли

#imagerestoration #deblur #denoise
🔥14❤1
This media is not supported in your browser
VIEW IN TELEGRAM
NVIDIA Broadcast 2.0.0

День звука на канале продолжается

Обновилась утилита рилтаймовой обработки звука и видео

По звуку:
удаляет эхо, посторонний шум, оставляя голос. наверчивает ИИ-эквалазер, приближая говномикрофоны к студийному качеству

По видео: направляет зрачки в камеру, блюрит фон, заменяет фон, удаляет шум. Релайтинг лица - подсвечивает лицо виртуальным источником.

#realtime #streaming #denoise #audioenhance #eyecontact #bgreplacement #bg #relighting #deecho
👍11🔥2
Project Starlight

"Первый в мире" (правда что ли? 😕) диффузный реставратор видео от Topz Labs, решивший проблему консистентности

6B+ параметров, реставрация до 10 секунд видео - бесплатно (где и как?). 5-минутные видео 1080p - за кредиты

Модель автоматически удаляет шум, размытие, делает апскейл и антиалиасинг

Как же потестить все это волшебство? Говорят, для раннего доступа надо лайкнуть и прокомментировать официальный твит словом "Starlight"

#videorestoration #restoration #denoise #deblur #antialias #upscalevideo #enhance
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥11🥴6❤1
Media is too big
VIEW IN TELEGRAM
Topaz Labs Video AI 7

реставратор видео Starlight mini - видимо, облегченная для локального запуска версия - доступен в платном пакете от Topaz Labs за жалкие $249, с целым годом грядущих обновлений

Помимо наваливания разрешения с деталями есть интерполяция кадров (слоумойшен) и (!!!) работа с .EXR - что вообще уникально. Хотя возможно, я слишком мало интересуюсь коммерческими реставраторами

Спасибо @MIXTRESH

#videorestoration #restoration #denoise #deblur #antialias #upscalevideo #enhance #frameinterpolation #exr
🔥7👍3😁1
SAM Audio

Изолятор источников звука на аудио (или видео со звуком) в реальном времени от Meta (запрещено в РФ)

Принимает три типа подсказок: текстовые, визуальные и временные. Например кликаем на видео на источник звука чтобы выделить его

Умеет изолировать как повседневные шумы так и музыкальные инструменты

Гитхаб
HF - доступ к моделям по запросу, могут не дать
Playground
Блогпост

Спасибо @EvgenyiPerm

#audioseparation #music2stem #demix #unmix #segmentation #denoise #audio2audio #multimodal
🔥10👍4🤯3👎1
This media is not supported in your browser
VIEW IN TELEGRAM
Stream.FM

Рилтаймовый улучшайзер-реставратор речи в реальном времени на основе flow matching

• подавляет шум
• убирает реверберацию
• обрабатывает кодеки
• повышает частотный диапазон аудиосигнала
• восстанавливает фазу STFT
• Mel‑вокодирование

Алгоритмическая задержка - 32 мс, общая задержка — 48 мс
Есть вариант с задержкой 24 мс для шумодава
Работает на потребительских GPU

Гитхаб
Веса

#enhance #audioenhance #denoise #deecho #speesh2speech
🔥13👍4❤2
This media is not supported in your browser
VIEW IN TELEGRAM
Declick-GUI

Чистка щелчков в аудиогенерациях F5-TTS

Простой GUI-скрипт, который убирает щелчки и прочие короткие артефакты, проскакивающие в паузах после синтеза F5-TTS. Что-то вроде Audacity на минималках, но заточенное под одну задачу и без лишнего.

#cleanup #audio2audio #denoise

VK | MAX
👍10