Нейронавт | Нейросети в творчестве
13.2K subscribers
7.17K photos
5.66K videos
51 files
7.25K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках и запусках не участвую

для связи @Neuronauticus

РКН: https://hf.ru/link8e56d
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
Tavus Griffin

Первый «Human Interaction Model» (#HIM) от Tavus — модель для живых видеозвонков, которая понимает и воспроизводит реальное face-to-face общение. Слушает, пока говорит, следит за мимикой и паузами, а не только словами.

• Полный дуплекс: слышит и реагирует одновременно
• Говорит «мм-хм» пока ты ещё говоришь
• Перебивает, кивает, реагирует на то, что видит
• Сам решает по под-секундам: говорить, реагировать или ждать
• Отвечает без пауз-тишины, останавливается, если ты вклинился

• 48% собеседников приняли за живого человека за минутный звонок
• #1 в независимом тесте NVIDIA среди face-to-face AI
• +37% к следующей лучшей модели по мгновенной реакции

Eже доступен части тестеров, мощная версия — следом

#dialog #avatar

MAX
👍9❤3
Giro

Экспериментальный пайплайн: одна картинка на входе, готовый VR-сплат на выходе. Фото превращается в орбитальное видео, потом в обрезанный сплат, по которому можно ходить в VR.

• Орбита вокруг объекта через MiniMax H3, фото как первый и последний кадр
• Свой гейт проверки: минимум 330° облета, ровное движение, замкнутый цикл
• Плохой сид перебрасывается автоматически, пропущенная дуга до-генерируется
• Маскирование объекта через SAM 3.1 до COLMAP
• Опциональная правка фона через Qwen-Image-Edit
• Обучение с прозрачным фоном, обрезка по visual hull
• Экспорт SPZ, SOG, PLY под VR, кнопка View in VR
• Веб-UI с живым прогрессом и причинами каждого решения

• Нужны две видеокарты по 24 ГБ, Linux
• Экспорт ориентирован на бюджет Quest

#image2gaussian #vr #gaussian

MAX
👍11
#TTS #ASR

huggingface.co/SpragAI/qwen3-tts-emotion-tags - TTS с эмоциями: теги передают чувства в произносимых строках

huggingface.co/oruk/orukeet - Orukeet: режет ошибки произношения слов в 25 языках спец-ядрами

github.com/Ampixa/sanoTTS - sanoTTS: крошечная говорилка, работает на чипе за три доллара

huggingface.co/moondream/parakeet-ultra - ASR от moondream

huggingface.co/coriollon/whisper-large-v3-turbo-russian - Whisper large v3 turbo, файнтюн под #russian

huggingface.co/coriollon/whisper-large-v3-turbo-russian-codeswitch - тот же файнтюн с поддержкой code-switching (смешение языков в речи)

qingyuliu0521.github.io/Cross-Lingual_F5-TTS_2_demo - F5-TTS 2: кросс-язычный синтез — голос на одном языке говорит на другом

MAX
👍7🔥4❤2
Media is too big
VIEW IN TELEGRAM
#оффтоп

Я ж не показал вам как я ходил по Японским тротуарам-дорожкам

Вот, теперь показал

Куда ни пойдешь - даже под ноги приятно смотреть
👍12🥴5🌚4❤2🔥2😁1
Две программы для реконструкции сцен, разные по позиционированию

MipMap

Профессиональный комплекс для реальной 2D/3D реконструкции. Строит 3D-модели и сплаты с дронов, LiDAR, 360-камер, фото и видео

• Фотограмметрия, ортофото, точки, меши, сплаты
• MipMap Desktop — десктоп для съёмки, инспекции, архитектуры (бесплатно попробовать)
• MipMap Engine — SDK для интеграции и приватного деплоя
• MipMap Cloud — облако для просмотра и совместной работы
• MipMap Link — планирование полетов дро7нов
• 2D-результаты: DOM, DSM | 3D: точки, меши, сплаты

Бесплатная учетка для старта
———

3DF Zephyr Free

Бесплатная для личного использования версия полноценной фотограмметрии. Простая точка входа в тему

• Собирает 3D-модель из фото
• Открывает .ZEP-файлы из любых версий Zephyr
• Не ограничено по времени

• До 50 фото на проект
• Одна NVIDIA-карта на ускорение
• Ограничен экспорт (текстуры только JPG)

#photogrammetry #gaussian
👍8
DiarizationLM-Gemma-4-E4B

Модель пост-обработки диаризации говорящих от Google. Тонкий дотюн 4B Gemma, который исправляет метки спикеров и снижает ошибки диаризации.

Учит модель чинить короткие вставки (1-5 слов), сохраняя акустические якоря в длинных репликах. Статистически значимые улучшения WDER и cpWER на четырех бенчмарках.

• Исправляет метки говорящих в расшифровке
• Правит границы реплик и «backchannels» (короткие вставки)
• Держит личность спикера в длинных монологах без дрейфа
• Работает из коробки: подаёшь гипотезу с тегами, получаешь исправленную

• 4B параметров (против 8B у старшей версии), Gemma 4 E4B
• #GGUF Q4_K_M ~5.3 ГБ, статус — 2-4 битных квантизации
• #SOTA на Fisher, Callhome, ICSI, AMI (p<0.0001)

Гитхаб
HF
Демо

#diarization #asr
👍7
This media is not supported in your browser
VIEW IN TELEGRAM
FlowHMR

Физически правдоподобный мокап из обычного видео. Из монокулярного ролика восстанавливает глобальное 3D-движение человека, которое физический контроллер реально может повторить в симуляции.

• 0.46B
• Глобальный 3D-motion из одиночного видео
• Движение физически корректно — симулируемый персонаж может его отследить
• Flow matching + physics-based GRPO
• Демо в 3D-вьювере прямо на сайте

Как применяют
• Робототехника: ретаргет на Unitree G1, трекинг в симуляции через SONIC
• Анимация: реконструкция сцены и ретаргет через GPT-6 Astra
• Text-to-motion: генерация видео через MiniMax H3, затем захват движения FlowHMR

Гитхаб
HF

#mocap #animation

MAX
👍7🔥4❤2
FrameMorrow

Плагиновый селектор кадров для длинной генерации видео. Вместо «что похоже на текущий кадр» подбирает, что понадобится дальше — предсказывает будущие нужды и сохраняет нужные кадры из прошлого.

Работает поверх существующих генераторов — от LongLive и Self-Forcing до мировых моделей вроде Matrix-Game и WorldMem. Логика: релевантное сейчас не всегда полезно следующим

• Prospective tokens предугадывают, что пригодится в следующих кадрах
• Выбирает релевантные исторические кадры для будущей генерации
• Работает с разными генераторами — селектор снаружи, подключается через их кондиционинг
• Держит консистентность субъекта и сцены на длинных роликах
• Не требует полного просмотра будущего — компактный прокси вместо

• До 60 секунд видео

Гитхаб ждем

#longvideo #plugin

MAX
👍10😁4🤔2
Vathography

Хохма. Один фотограф изобрел композитинг с картой глубины в 2026. И даже слово новое придумали - ватография

Оказывается, благодаря карте глубины можно выбрать зону фокуса. А мужики-то и не знали

#depth #news

MAX
😁26🤔2🥴1🌚1🍌1
This media is not supported in your browser
VIEW IN TELEGRAM
REA

Инструмент для реверс-инжиниринга приложений. Подключает агента к декомпиляторам, чтобы он разобрался, как работает фича без исходников, показал доказательства и собрал свою версию.

«Пойми поиск в Notes и собери такой же у себя». Не претендует на восстановление исходного кода и не копирует приложение целиком

• Декомпиляция бинарников: нативные, JS/Electron, .NET, сайты
• Разбор работы конкретных функций
• Воссоздание похожей фичи в твоём проекте под твой стек
• Модель «Decompile → Understand → Recreate»
• Результат с доказательствами и ограничениями каждого вывода

Как работает
• Через #MCP или #CLI (npx rea-agents)
• Анализ локально — не загружает приложение в облачный сервис
• Настраивает Claude Code, Claude Desktop, Codex, Cursor, Gemini CLI, Windsurf
• Своя «investigation model» и кэш контекста между вопросами

npmjs.com/package/rea-agents

#coding

MAX
👍11🤔4❤1
Накопилось по #minimaxH3 - часть 30

github.com/Speach1sdef178/ComfyUI-VDN-H3-24GB - VDN-H3-24GB v1.1.0: чинит проблемы памяти и улучшает следование промпту

github.com/DJBFilmz/ComfyUI-DJBFilmz-H3 - DJBFilmz: склейка клипов H3 одной нодой

github.com/einhorn13/mmh3_media - MMH3_Media: упаковывает видео и аудио H3 в ComfyUI

github.com/StanLukuvka/ComfyUI-MiniMax-H3-SPEED - SPEED: разбивает сэмплирование на части для ускорения

github.com/Dantemss/ComfyUI-H3-Modality-Lora-Loader - раздельное применение LoRA к аудио и видео дорожкам H3

github.com/NikoDemon80/ComfyUI-FastH3-Lora-Converter - FastH3 превращается в простую LoRA

github.com/nazgut/ComfyUI-MiniMaxH3-CLSS - CLSS: 16GB ПК в AI-медиа-студию

github.com/TootsThielemans/ComfyUI-MMH3-Preset-Controller - переключение групп нод в один клик

github.com/Zironic/H3-Optimizations - оптимизации: меньше памяти, быстрее генерация

huggingface.co/xmarre/MiniMax-H3-Pruned-Ref-Delta-Fused-r1024-ComfyUI - прунинг-мерж: резко снижает требования к памяти

github.com/halnovemil/H3TiledLoopSpaceTime - бесшовные зацикленные видео для H3

MAX
👍8❤2🔥1
Looped-DiT

Генератор картинок, трансформер от SenseNova.
Заявлен как первый looped-transformer-подход.
Одна группа общих блоков прогоняется несколько раз внутри каждого шага денойзинга — модель становится глубже без роста размера.

• Генерация изображений из текста
• Loop-механизм: общие блоки повторяются, глубина растёт без увеличения параметров
• Глубина регулируется на инференсе — другие числа петель работают без дообучения
• Deep supervision обучает предсказание после каждой петли

• B/32: 512×512, петля из 5 блоков × 4 повтора
• Веса ~1 ГБ
• Модель меньше и легче за счет общего блока
• База — pixel-space MMDiT MiniT2I + FLAN-T5-Large

github.com/OpenSenseNova/Looped-DiT
huggingface.co/sensenova/Looped-DiT-B32
huggingface.co/sensenova/Looped-DiT-B16

#compact #t2i

MAX
👍8👀3🔥1🤔1
This media is not supported in your browser
VIEW IN TELEGRAM
PDMD

Метод дистилляции видео-диффузии в 4 шага от ByteDance. Убирает артефакты учителя одной строкой проекции — фильтрует ошибку студента без доп. сетей и проходов.

Улучшает классический DMD: проектируешь вектор обновления перпендикулярно остатку студент-критик, отсекая ошибку критика.

• Генерация видео за 4 и даже 2 шага инференса
• Дистилляция MiniMax-H3-33B до 4 NFE
• Одна строка проекции подавляет ошибку критика
• Ничего лишнего: без вспомогательного loss, сетей и доп. проходов

• MiniMax-H3-33B: 1344×768, 345 кадров, 4 сети-вызовов
• Также вариант на 2 NFE
• Лучший результат среди 4-шаговых методов на метриках качества и динамики

Готовые ComfyUI-версии для #MiniMaxH3 на HF

github.com/ZeamoxWang/pdmd
huggingface.co/Iwannapose/minimax_h3_pdmd_4nfe_comfyui
huggingface.co/Iwannapose/minimax_h3_pdmd_2nfe_comfyui

#optimization

MAX
👍9🔥7
Kandinsky 6.0 Video

Видеогенератор от Kandinsky Lab

• Видео с синхронным аудио 44 кГц, липсинк
• Из текста или изображения (#T2AV / #TI2AV )
• Full-HD супер-резолушн отдельным пайплайном
• Дистиллированные версии для ускорения

• Две модели: Lite 3B и Pro 29B
• 5-секундные клипы, 24 fps

Требования к железу
• Lite 3B — сила на одной карте: ~12-15 ГБ весов, с оффлоадом влезает в 16-24 ГБ VRAM
• Pro 29B — тяжtлая: трансформер один тянет ~60 ГБ, нужен H100/A100 80 ГБ или пара карт
• Full-HD апскейл добавляет нагрузки

Стек: трансформер + Qwen2.5-VL + CLIP + видео/аудио-VAE + вокодер. Для широкого применения реалистичен Lite, Pro — удел больших карт.

Уже на Fal. апскейлер - отдельная модель

HF
ComfyUI
Fal

#upscale

MAX
🔥12❤5🍌2⚡1