Нейронавт | Нейросети в творчестве
13.2K subscribers
7.15K photos
5.66K videos
51 files
7.24K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках и запусках не участвую

для связи @Neuronauticus

РКН: https://hf.ru/link8e56d
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
AgentGarten

Платформа от MirroS для обучения ИИ-агентов. Агент играет в виртуальные сценарии, каждый раз записывает, чему научился, и к следующей попытке играет лучше — заметно уже за 4-10 раундов.

Вместо человеческих инструкций — опыт. Агент учится, играя сам. Код и рендерер открыты

• Сценарий живет в виде кода, нейро-рендерер рисует его агенту в реальном времени
• Агент видит только кадры «своими глазами», как будто смотрит игру
• После каждой попытки пишет выводы, следующий заход стартует с них
• Разные задачи: построить укрытие, провести собаку, загнать овец, перевезти груз

github.com/MirroS-Lab/AgentGarten
huggingface.co/MirroS-Lab/AgentGarten-renderer

#agent

MAX
👍7❤1
Trace2Env

Обычно агента запускают в готовой среде. Trace2Env переворачивает идею: среду играет сам агент. Из истории прошлых действий восстанавливается «книга мира», и по ней один агент симулирует окружение для другого.

Проще на примере — терминал. Ты («агент-задача») набираешь команды, а второй агент отвечает, как настоящий терминал. Удалил файл командой rm — и через десять команд попытка его прочитать упадет с ошибкой, потому что агент-мир помнит состояние.

Что умеет
• Строит симулятор среды из десятков записанных логов, без исходников
• Поддерживает состояние между командами
• Симулирует терминал, веб, Android, магазин и другие окружения
• Без обучения — только логи на входе

Знания о среде отделены от текущего состояния эпизода — среда не забывает что произошло

Гитхаб
Демо

#agent
🥴2👍1
Somora

Сайт для создания ИИ-песен из текста или музыкальной идеи, без работы с ComfyUI напрямую. Опиши стиль и настроение, напиши или сгенерируй текст — и получи готовый трек

• Песня с текстом или инструментальная композиция
• Выбор стиля, длительности, BPM и тональности
• Выбор языка песни
• Трек через ChatGPT-плагин (пишет лирику и заполняет форму)
• Скачивание в FLAC

• Бэкенд — Ace-Step 1.5 XL (SFT + SFT/Turbo), через свой ComfyUI-нод AceStep SFT
• Бесплатный тариф, для старта 2 генерации в день
• Есть платные Básico и Completo

#t2m

MAX
👍4🤔1
Amanu

Бесплатная программа для автоматической записи и расшифровки звонков. Работает с любыми: Zoom, Google Meet, Telegram, WhatsApp. Запускает и останавливает запись сама, раскладывает реплики по людям и пишет выжимки встреч.

Что умеет
• Автозапись звонков (старт/стоп сами)
• Расшифровка с диаризацией — реплики по говорящим, а не единый поток
• Качественные выжимки встреч
• Все локально, без интернета, либо через твои подписки и API-ключи
• Каждая встреча — отдельная папка: аудио, расшифровка, саммари

• Windows 11 24H2+ и macOS 14.2+

Заявлено, что для выжимок использует мощные модели на полную, а не экономит токены

github.com/gsamat/amanu

#asr #desktop

MAX
👍10❤1
Xiaomi-OCR-0

Компактная OCR-модель от лаборатории SeerRay (Xiaomi): 0.8B параметров на парсинг документов и понимание текста. Обходит модели крупнее на разборе документов и OCR-VQA-задачах.

• Парсинг документов: текст, таблицы, формулы
• Стабильна на сканах, пересъемках, перекосах и фото
• OCR-понимание: вопросы по тексту, извлечение структурированных полей, не только транскрибация
• Распознавание исторического почерка и каллиграфии

• #1 на Real5-OmniDocBench (95.24), #2 на OmniDocBench v1.6 (96.83)
• Среднее 83.2 по 5 OCR-VQA-бенчмаркам — лучше Qwen3.5-2B

huggingface.co/SeerRay-Lab/Xiaomi-OCR-0
github.com/SeerRay-Lab/Xiaomi-OCR-0

#ocr

MAX
👍9❤3
DuoMatching

Метод дистилляции от ByteDance для быстрой генерации видео. Объединяет joint и marginal distribution matching, чтобы учиться сразу у видео- и у картинковых моделей, и даёт качество нескольких шагов почти в реальном времени.

• Генерация видео за несколько шагов вместо десятков, без доп. затрат на инференс
• Учится у видео-учителя и у картинковых моделей (перенос визуальных и семантических приоров)
• Дополняет joint-DMD явным маргинальным матчингом
• Ниже дрейф при автогрегрессивных роллаутах

Важные параметры
• Комбинация joint + marginal DMD
• Побеждает более 80% предпочтений людей в тестах
• Ноль лишних расходов на инференс

Совместный матчинг распределения кадров снимает большой дрейф, но ограничен в качестве и семантике. DuoMatching дополняет его помаргинальным матчингом для кадровых супервизий — на выходе качество и семантика без замедления

github.com/JohnZhan2023/DuoMatching

#optimization
👍4
RTX VSR Studio

Отдельное Windows-приложение для апскейла видео через NVIDIA RTX Video Super Resolution. Без ComfyUI и PyTorch — напрямую вызывает SDK NVIDIA. Сделано под длинные ролики: двухчасовой фильм обрабатывается сегментами, при сбое начинаешь с того же кадра, а не с нуля.

• Апскейл до 720p, 1080p, 1440p, 4K с сохранением пропорций кадра
• Resumable-сегменты: сбой или отмена — при повторе продолжается с точного кадра
• Before/after превью с разделителем, тестовый кусок 30 секунд
• Батч-очередь на несколько файлов
• Вывод H.264/HEVC (mp4) и ProRes/DNxHR (mov) под Final Cut и DaVinci
• Пресеты под контент: Balanced, Anime, Film, Screen capture, Old/DVD
• Denoise и deblur на исходном разрешении
• Никогда не перезаписывает файлы, аудио и субтитры копирует как есть
• Есть CLI

• Нужен RTX 20+ (Tensor Cores), драйвер 570.65+, Windows 10 64-bit, ffmpeg
• VRAM почти не важна: кадры по одному, 1080p→4K пике ~1.6 ГБ

Только 8-bit SDR: HDR и 10-bit SDK не тянет, опциональный tonemap меняет картинку. ProRes/DNxHR кодируются на CPU — медленнее и файлы больше. Пробное: 20-я и 30-я серии

#upscale

MAX
🔥15👍7❤1
Два пакета нод для Iris-3B

Envy-ai/ComfyUI-Iris
• Text-to-image, image-to-image
• Свои лоадер и семплер вместо VAE
• LoRA как обычно, штатные сэмплеры ComfyUI
• FP8/INT8-квантизация
• Нужны ComfyUI 0.37+ и Comfy Kitchen 0.2.35+, N-серия

Bani4kashkashka/Iris-3B-Comfy-Nodes
• Text-to-image, img2img, 4x апскейл, depth
• 4x апскейл: 1024→4096 за ~47 с, depth ~4 с/картинка (серая под ControlNet или inferno + маска)
• Пресеты качества и сэмплер, готовые воркфлоу в Templates
• Работает на AMD: RX 9060 XT 16 ГБ ~1.8 с/шаг, пик VRAM 7.7 ГБ

чуда не ждать, на этом размере Anima 2.9B выдает картинки лучше — но это удачная демка, что VAE не обязательный атрибут генерации. Лучший сэмплер — dpmpp-2m-sde-gpu, при наличии bong_tangent-планировщика лучше его

#t2i #i2i #comfyui

MAX
👍5
MC-Sparse

Метод разреженного внимания от Fudan и Tencent Hybrid для ускорения генерации видео и 3D без переобучения. Отсекает лишние токены, ускоряя денойзинг в 1.8-2.3×.

• Токен-уровневое разреженное внимание прямо на входе — drop-in ускорение, без ретрейна
• Группирует похожие query в GPU-тайлы и выбирает только важные KV-токены
• Компенсирует отброшенные вклады через кэшированный остаток
• Работает на MiniMax-H3 (видео) и генерации 3D-ассетов

Важные параметры
• 1.80× ускорение видео MiniMax-H3, 2.32× для 3D
• Плотность внимания всего 15%
• Сохранение мелких деталей при сильном разрежении

Разбирает три источника потери качества при разрежении: групповые ограничения, неточный отбор и отброшенный «хвост» вкладов. Находит точные выборки один раз на anchor-шаге и переиспользует их на следующих шагах денойзинга

github.com/dodododddo/mcsparse

Спасибо @m_franz

#optimization

MAX
🔥8👍3🤔1