Нейронавт | Нейросети в творчестве
13.2K subscribers
7.17K photos
5.66K videos
51 files
7.25K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках и запусках не участвую

для связи @Neuronauticus

РКН: https://hf.ru/link8e56d
Download Telegram
SynthID Detector

Google открыл всем детектор для проверки картинок и видео на ИИ. Раньше SynthID был доступен только избранным партнёрам и инструментам Google, теперь попробовать может любой.

#detection #watermark

MAX
👍6🥴4
This media is not supported in your browser
VIEW IN TELEGRAM
PAMI

Генерация взаимодействий человека с объектами по тексту и мешу объекта. Из фразы вроде «возьми штатив, перенеси и поставь обратно» получается анимированное движение тела плюс точная траектория объекта. Тюбинген + MPI.

• Полное тело + объект, скоординированные во времени
• Часть-якорное голосование: движение объекта привязывается к частям тела (корпус, запястья, лодыжки)
• Точный контакт рук с объектом — без дрейфа, проваливания и «парящих» предметов
• Рекурсивный рефайнер доводит геометрию контакта, сенсоры ближнего и дальнего действи

Код ждем

#HOI #animation

MAX
🔥8👍4❤2
Youtu-Parsing-Omni

Компактная омнимодальная парсинг-модель от Tencent: один 5B трансформер превращает в структурированный JSON почти что угодно — документ, картинку, график, чертеж, аудио и видео.

• Парсинг документов: лейаут, текст, таблицы, формулы, порядок чтения
• Картинки, графики, блок-схемы, геометрические фигуры
• Аудио: ASR, спикеры, сцены, акустические события
• Видео: кадры, OCR+ASR, отчёт о клипе
• Один унифицированный JSON-конверт для семи семейств задач
• Распознавание химструктур (ChemOCR) и нот (PDMX)

• 5B параметров, один энкодер на все модальности
• #SOTA на OmniDocBench v1.6 (96.96)
• Лучшая опенсорс на OmniParsingBench (75.08), после Gemini-3-Pro
• vLLM-плагин для быстрого сервинга

github.com/TencentCloudADP/youtu-parsing
learn2play.fun

#omnimodal #multimodal #any2json #vlm #alm

MAX
❤6👍5
Tesseract by Mirage

Видеоредактор для ИИ-агентов. Агент монтирует видео, делает моушен-графику и дизайн в проекте Premiere или After Effects. В итоге получаешь редактируемый проект

• Агент монтирует видео и анимацию по брифу и референсам
• Редактируемые слои: текст, фигуры, маски, ключевые кадры, adjustment layers
• Правка одного элемента без пересоздания всего проекта
• Импорт/экспорт проектов Premiure Pro и After Effects
• Превью до финального рендера, правки по ходу работы
• Экспорт в 4K 60 fps

Важные параметры
• Нативное ядро для macOS, Windows, Linux
• Работает с любым агентом: ChatGPT, Claude, Muse, Grok Bot, Instinct
• Локальный движок бесплатный, подписка агента отдельно
• Без Adobe-подписки

Тот же движок, что питает Captions (миллионы видео). Не генерирует футаж и аватары — только редактирует существующее и делает графику. Конвертация Adobe частичная, экспорт After Effects экспериментальный

mirage.app/tesseract/converters

#videoediying #plugin
❤8👍2
AutoClip

Еще один инструмент для монтажа, нарезает длинные видео на клипы. Подкаст, интервью или лекцию превращает в короткие ролики под соцсети

• Авто-нарезка на клипы с субтитрами, обложкой и текстом поста
• Адаптация под Douyin, TikTok, Reels, YouTube Shorts
• Кадр следует за говорящим
• До 10 готовых клипов на ролик
• Файл или ссылка на YouTube/Bilibili

• Монтаж и рендер локально, анализ модель на выбор
• Часовое видео — 10 клипов за 7-30 минут на M-серии Mac
• Десктоп, веб, CLI/MCP

MIT, платишь только за модели по своему ключу. v1.5.0 добавила десктоп, #CLI и #MCP

#videoediting #agent

MAX
❤3
#QI21

huggingface.co/Qwen/Qwen-Image-2.1-Turbo - официальная Turbo-версия Qwen Image 2.1 от Qwen. И диффузионные модели Comfy-Org: huggingface.co/Comfy-Org/Qwen-Image-2.1/tree/main/diffusion_models

github.com/hypersniper05/MCP-Image-Generator-Uncensored - #MCP для Qwen 2.1: любой LLM-клиент с MCP управляет генерацией. 2K, панорамы, эдит до 10 картинок, бесшовные тайлы (нормали/высоты), апскейл до 8K, 360-вьювер, удаление вотермарков и фона, прозрачные PNG, текст в картинке. В Docker, пик 11GB VRAM #uncensored

huggingface.co/akhaliq/Qwen-Image-2.1-Multiple-Angles-LoRA - Multiple Angles: несколько ракурсов одного объекта для Qwen 2.1 #cameracontrol
Демо

MAX
👍18
This media is not supported in your browser
VIEW IN TELEGRAM
AgentGarten

Платформа от MirroS для обучения ИИ-агентов. Агент играет в виртуальные сценарии, каждый раз записывает, чему научился, и к следующей попытке играет лучше — заметно уже за 4-10 раундов.

Вместо человеческих инструкций — опыт. Агент учится, играя сам. Код и рендерер открыты

• Сценарий живет в виде кода, нейро-рендерер рисует его агенту в реальном времени
• Агент видит только кадры «своими глазами», как будто смотрит игру
• После каждой попытки пишет выводы, следующий заход стартует с них
• Разные задачи: построить укрытие, провести собаку, загнать овец, перевезти груз

github.com/MirroS-Lab/AgentGarten
huggingface.co/MirroS-Lab/AgentGarten-renderer

#agent

MAX
👍7❤1
Trace2Env

Обычно агента запускают в готовой среде. Trace2Env переворачивает идею: среду играет сам агент. Из истории прошлых действий восстанавливается «книга мира», и по ней один агент симулирует окружение для другого.

Проще на примере — терминал. Ты («агент-задача») набираешь команды, а второй агент отвечает, как настоящий терминал. Удалил файл командой rm — и через десять команд попытка его прочитать упадет с ошибкой, потому что агент-мир помнит состояние.

Что умеет
• Строит симулятор среды из десятков записанных логов, без исходников
• Поддерживает состояние между командами
• Симулирует терминал, веб, Android, магазин и другие окружения
• Без обучения — только логи на входе

Знания о среде отделены от текущего состояния эпизода — среда не забывает что произошло

Гитхаб
Демо

#agent
🥴2👍1
Somora

Сайт для создания ИИ-песен из текста или музыкальной идеи, без работы с ComfyUI напрямую. Опиши стиль и настроение, напиши или сгенерируй текст — и получи готовый трек

• Песня с текстом или инструментальная композиция
• Выбор стиля, длительности, BPM и тональности
• Выбор языка песни
• Трек через ChatGPT-плагин (пишет лирику и заполняет форму)
• Скачивание в FLAC

• Бэкенд — Ace-Step 1.5 XL (SFT + SFT/Turbo), через свой ComfyUI-нод AceStep SFT
• Бесплатный тариф, для старта 2 генерации в день
• Есть платные Básico и Completo

#t2m

MAX
👍4🤔1
Amanu

Бесплатная программа для автоматической записи и расшифровки звонков. Работает с любыми: Zoom, Google Meet, Telegram, WhatsApp. Запускает и останавливает запись сама, раскладывает реплики по людям и пишет выжимки встреч.

Что умеет
• Автозапись звонков (старт/стоп сами)
• Расшифровка с диаризацией — реплики по говорящим, а не единый поток
• Качественные выжимки встреч
• Все локально, без интернета, либо через твои подписки и API-ключи
• Каждая встреча — отдельная папка: аудио, расшифровка, саммари

• Windows 11 24H2+ и macOS 14.2+

Заявлено, что для выжимок использует мощные модели на полную, а не экономит токены

github.com/gsamat/amanu

#asr #desktop

MAX
👍10❤1
Xiaomi-OCR-0

Компактная OCR-модель от лаборатории SeerRay (Xiaomi): 0.8B параметров на парсинг документов и понимание текста. Обходит модели крупнее на разборе документов и OCR-VQA-задачах.

• Парсинг документов: текст, таблицы, формулы
• Стабильна на сканах, пересъемках, перекосах и фото
• OCR-понимание: вопросы по тексту, извлечение структурированных полей, не только транскрибация
• Распознавание исторического почерка и каллиграфии

• #1 на Real5-OmniDocBench (95.24), #2 на OmniDocBench v1.6 (96.83)
• Среднее 83.2 по 5 OCR-VQA-бенчмаркам — лучше Qwen3.5-2B

huggingface.co/SeerRay-Lab/Xiaomi-OCR-0
github.com/SeerRay-Lab/Xiaomi-OCR-0

#ocr

MAX
👍9❤3
DuoMatching

Метод дистилляции от ByteDance для быстрой генерации видео. Объединяет joint и marginal distribution matching, чтобы учиться сразу у видео- и у картинковых моделей, и даёт качество нескольких шагов почти в реальном времени.

• Генерация видео за несколько шагов вместо десятков, без доп. затрат на инференс
• Учится у видео-учителя и у картинковых моделей (перенос визуальных и семантических приоров)
• Дополняет joint-DMD явным маргинальным матчингом
• Ниже дрейф при автогрегрессивных роллаутах

Важные параметры
• Комбинация joint + marginal DMD
• Побеждает более 80% предпочтений людей в тестах
• Ноль лишних расходов на инференс

Совместный матчинг распределения кадров снимает большой дрейф, но ограничен в качестве и семантике. DuoMatching дополняет его помаргинальным матчингом для кадровых супервизий — на выходе качество и семантика без замедления

github.com/JohnZhan2023/DuoMatching

#optimization
👍4