Нейронавт | Нейросети в творчестве
13.4K subscribers
7.38K photos
5.8K videos
51 files
7.51K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках и запусках не участвую

для связи @Neuronauticus

РКН: https://hf.ru/link8e56d
Download Telegram
This media is not supported in your browser
VIEW IN TELEGRAM
OpenVLHarness

Обвязка для мультимодальных моделей от UCLA и Apple, без обучения. Дает модели набор инструментов и память по ходу задачи

• Инструменты восприятия: зум, привязка к объекту, OCR, глубина, поза камеры
• Поиск: текстовый, по картинкам, обход страниц
• Кодинг-агент для подсчетов и скриптов
• Мультимодальная память между шагами
• Сама модель не дообучается, веса остаются прежними

Обвязку еще и оптимизировали: Kimi K3 разобрала почти 10 тысяч провальных траекторий и решила, где нужен новый инструмент, а где хватит правки промпта. Есть демо с любым OpenAI-совместимым эндпоинтом, код и данные открыты.


github.com/uclanlp/OpenVLHarness

#harness

MAX
👍5🔥5❤1
This media is not supported in your browser
VIEW IN TELEGRAM
LEV

Модели думают дольше без единого лишнего токена. Вместо длинных рассуждений сеть прогоняет свои слои по кругу: сделала проход, оценила варианты, гоняет еще

Смысл в том, что качество растет от глубины, а не от длины ответа

• Один чекпоинт работает на любой глубине
• Глубину можно менять под задачу, не меняя веса
• Оценка вариантов после каждого прохода
• Три модели: 1,4B, 2,6B и 3B

• Lev-1.4B на базе Ouro, глубина от 1 до 4, JevBench с 58 до 68%
• Lev-2.6B на Ouro, там же с 63,2 до 76,2%
• Lev-3B на Nanbeige, глубина 1-2, с 69,3 до 72,7%
• Для оценки выложили свой бенчмарк LevBench на пять уровней, с отдельным закрытым тестом

#reasoning

MAX
🔥10❤3👍2
This media is not supported in your browser
VIEW IN TELEGRAM
Hi3D 1.0

Китайская открытая модель, не строит 3D с нуля, а доводит черновую сетку. На вход грубый меш от любого генератора по картинке плюс та же картинка, на выход аккуратная геометрия за три прохода: 512 в кубе, 1024 и 1536.

• Стыкуется с любым image-to-3D, в демо грубую форму дает Hunyuan3D-2 mini
• Детализация наращивается итеративно, а не одним броском
• Считалась под печать: 90% успешных слайсов
• Веса, код инференса и техотчет открыты

• Около 7,7 ГБ весов
• Обучено на 2 млн отобранных 3D-ассетов, у прошлой версии было около 500 тыс.
• Linux и NVIDIA с compute capability 8.0 и выше
• Полный режим 1536 проверяли только на 96 ГБ H20

Только геометрия, без текстур, памяти под потребительскую карту никто не мерил

github.com/hi3d-official/Hi3Dv1.0
huggingface.co/hi3d-official/Hi3Dv1.0

#3dto3d #3d

MAX
❤9👍6
This media is not supported in your browser
VIEW IN TELEGRAM
Dessa

Голосовая модель от Block, лаборатории Джека Дорси. Обучена только на записях живой речи, без текстовых расшифровок в цепочке

Логика простая: обычные голосовые системы гоняют звук через текст и теряют тон, темп и все, что несет интонация. Здесь звук идет в звук, поэтому диалог звучит как разговор, а не как озвучка. Block называет это моментом GPT-3 для речи, хотя как именно управляется эмоция, из описания не ясно

• Полный дуплекс: слушает и говорит одновременно
• Эмоции встроены: смех, паузы, всхлипы, усталость в голосе
• Сарказм и интонации собеседника считывает прямо из звука
• Отдельной языковой модели нет, знания берет из разговорных данных
• Работает локально на MacBook M4 Max или лучше

Публичного доступа нет, только исследователи по безопасности

techcrunch.com/2026/10/24/blocks-new-voice-model-sounds-eerily-human

#voicemode #tts #duplex #research

MAX
👎4🥴3👍1
MLS Labs Renderer 2.1

Плагин гауссовых сплатов для Unreal Engine обновился до Pro 2.1. Из-за апгрейда сайта старые версии могут не пройти авторизацию, надо ставить новую.

• Рендер на Windows, Linux и Android
• Поддержка карт NVIDIA, AMD и мобильных GPU
• APK ставится на шлемы Pico и работает сразу
• Режимы VR и MR переключаются одним параметром
• Есть стриминг картинки на шлем
• ply, sog и последовательности ply на всех платформах
• Пакетирование Development и Shipping

• Ставится как обычный плагин, Libtorch и сторонние библиотеки больше не нужны
• Выложили тестовые данные для объемного видео

github.com/mlslabs/MLSLabsGaussianSplattingRenderer-UE
fab.com/s/a98e11b2a0a6

#UE #4d #gaussian

MAX
🔥7❤1
This media is not supported in your browser
VIEW IN TELEGRAM
OpenKatana

Открытый видеоредактор с ИИ-агентом. Агент получает фото, ролики и музыку, сам пишет сцены и собирает готовый монтаж.

• Склейки, ускорения, переходы, движение камеры, разбор по битам, сведение звука
• 3D-сцены на WebGL, материалы, свет, пути камеры, морфы, есть вариант через Blender
• Анимированная типографика, многоязычный текст, маски, повторяемые эффекты
• Предпросмотр по кадрам, контроль движения, HDR и экспорт
• Проект остается редактируемым и лежит у вас на диске

• 72 инструмента для #CLI и #MCP
• Пять готовых приложений и 82 ноды для #ComfyUI
• Python 3.11+, FFmpeg и браузер, аккаунт не нужен
• Версия 0.1.0

#videoediting #agent

MAX
👍14
This media is not supported in your browser
VIEW IN TELEGRAM
VizClick NormalCrafter

Ноды для ComfyUI для генерации карты нормалей на NormalCrafter

• Оценка нормалей на всем ролике, а не по каждому кадру отдельно
• Длинные клипы режутся на временные окна и склеиваются
• Стабилизатор на оптическом потоке из исходника убирает мерцание, не трогая настоящее движение
• Годится для релайта, перетекстурирования, реконструкции 3D и ссылок на видео в MiniMax H3 или Seedance

• Вторая нода не требует своей модели, отдельно качается только NormalCrafter
• Размер инференса настраивается, результат приводится обратно к исходному
• Стабилизатор на OpenCV, без второй нейросети

#video2normal #comfyui

MAX
🔥8👍4
Накопилось по #minimaxH3 - часть 34

#LoRA #optimization

github.com/NVlabs/Sana/tree/sol-engine/models/minimax_h3/Sol-H3-ComfyUI - Sol-H3 от NVIDIA в составе Sol-Engine, теперь с ComfyUI-версией

huggingface.co/zjwfufu/SMD-MiniMax-H3-Ref2VA-8step - SMD 8-step LoRA uскоряет Ref2VA H3

huggingface.co/taobao-content-ai/MiniMax-H3-PTD-LoRAs - PTD: 8 и 4-шаговая акселерация Ref2VA от Taobao

huggingface.co/taobao-content-ai/MiniMax-H3-PTD-RefAsymOPD-LoRAs - PTD RefAsymOPD: вариант с рассинхронной позиционной дистилляцией

#Characterswap

modelscope.ai/models/akatz-a - Character Swap LoRA теперь и на ModelScope (V1.5 рекомендован): замена персонажа по референс-картинке, сохраняется сцена, движение, камера. Через Ref2VA
демо: huggingface.co/spaces/fffiloni/minimax-h3-character-swap-hero

huggingface.co/indhic-ai/Minimax-h3_Singularity_v2_pruned - Singularity v2 (pruned int8): файнтюн с фокусом на лица, динамику, HDR

huggingface.co/WarmBloodAban/Minimax-h3_Singularity - V2, обновленный: dual-sampling воркфлоу на RunningHub. Edit2 → pruned int8 #ref2va

github.com/NyckM/Bruxosdovfx-SyncTile-MiniMax-H3-v5.4 - Background Replace: замена фона через SyncTile (пространственные тайлы × временные окна, один trajectory без швов; VRAM — размер одного тайла). 4K/600 кадров. Плюс Background Replace v3 LoRA — мерж пяти чужих LoRAs (Facial Realism, Character Swap, Realism, Head Swap, VFX Edit)

#workflow

github.com/roycho87/Seamless_vlog_workflow - бесшовные влоги в один клик. Плюс ноды: seamless_video_combiner, minimax_continuous_audio_splitter, h3_clown_anchoring (латент предшествующего клипа маскируется в конец текущего для контекста движения, опция drop 17 кадров), comfyui-load-audio-batch-from-dir (пакетная загрузка аудио из папки)

github.com/Fish4AI/comfyui-SelfLift-Fish - selflift-Fish: длиннее и выше H3-видео на 16GB. Фикс фонового распухания от пространственного тайлинга. 10 сек 1920×1088: полное время 27:50 → 12:55 на 5070 Ti. VRAM 16GB — плюс система с offload

github.com/islomsalimov030-maker/ComfyUI-StacyLoop - StacyLoop: H3-петли, есть HandMask-маска рук (полезно для рецептов/рук-демо)

github.com/lovemachine100/ComfyUI-H3-ClipColorAnchor - ClipColorAnchor: остановка накопления цветового дрейфа при склейке клипов

github.com/exodius-b/ComfyUI-MiniMaxH3-VoiceShaper - VoiceShaper: слайдеры тембра, хрипоты, дыхания, темпа, проекции, акустики — превью голоса на тестовой фразе

github.com/witcherofresearch/minimax-h3-image-restyle и huggingface.co/witcherderivia/minimax-h3-image-restyle - рестайлинг картинки под H3, без инструкций и воркфлоу пока

youtube.com/watch?v=8r3-z6BrKXg - быстрый сторибординг на 3060 12Gb: средний сториборд на 10 минут за 3–4 дня. #storyboard

youtube.com/watch?v=SzqMV4S1908 - профессиональный #faceswap : H3 + FaceFusion + Face Fix
———

huggingface.co/Kijai/MiniMax-H3-experimental/blob/main/loras/minimax_h3_singularity_v2_lora_avg_rank_351_bf16.safetensors - Kijai собрал фичи Singularity 2.0 в LoRA для обычного H3 (rank 351, bf16) — без загрузки самого файнтюна

huggingface.co/silveroxides/MiniMax-H3_tests - папка тестов Silveroxides: кванты, LoRAs и побеждённые версии H3

huggingface.co/OliviaRossi/Minimax-h3_Singularity-x-10Eros-Max_PRISM - мерж Singularity с 10Eros Max (PRISM)
👍17🌚2🔥1
MiniMax обновили каталог community-наработок вокруг #MiniMaxH3

11 новых позиций: меньше шагов, больше контроля по референсам и больше железа, где все это запускается.

• FastH3-Omni на восемь шагов: видео со звуком по картинкам, роликам и аудио
• Sol-H3: дистилляция до четырех шагов с разреженным вниманием
• Ref2VA-VSA: то же внимание, но для референсного режима, автор обещает вдвое быстрее на 4090
• VPack: сжатие референсного видео, меньше токенов на входе
• Ref Patch на 148 МБ, чтобы keyframe-модель вела себя как референсная
• Запуск на серверах с GPU, на TPU через TorchTPU и на Apple Silicon через h3.c

• Полный набор весов около 464 ГБ
• Для карты на 24 ГБ хватает pruned int8 на 19,5 ГБ
• Для 12-16 ГБ есть GGUF Q4_K_M и квантованный текстовый энкодер
• На 8 ГБ работает путь через DiffSynth-Studio, но будет медленно
• На одной B200 клип 768p на 14 секунд считается за 51 секунду, на восьми за 11

Каталог ведут сами MiniMax но все перечисленное сделано сообществом

github.com/MiniMax-AI/awesome-minimax-h3-integration
———

huggingface.co/LiconStudio/Minimax-H3-VBVR - #LoRA #i2v для H3 на переработанных данных VBVR. Меньше дублирования объектов, клиппинга и взаимопроникновений, логичнее действия персонажей

huggingface.co/lightx2v/Minimax-h3-Turbo - обновлены классические турболоры от LightX2V: FL2V v1.3 и REF2V v1.1 (4-step), 8-step v1.1. Есть 4-step FL2V в fp8
🔥13👍4❤1🥴1
Media is too big
VIEW IN TELEGRAM
Speculative Sampling

Способ сделать интерактивными двунаправленные видеомодели без обучения. Обычно за скорость платят маленьким окном внимания и теряют качество. Здесь окно остается большим, а отклик ускоряется.

Идея в том, что размер окна превращается из ограничения в ручку настройки. Привязки к конкретной модели нет

• Генерация крупного куска вперед в расчете, что условие не поменяется
• Предсказания копятся в кэше и выдаются по мере проигрывания
• Поменялся ввод: неизменяемый префикс остается, хвост пересчитывается
• Два состояния: раздача из кэша и досчет нового

• MiniMax H3 стала интерактивной примерно с 1,4 секунды до первого отклика
• Кусок на пять секунд за раз, без пост-обучения в духе Self-Forcing
• Ожидание больше не упирается в половину длительности куска
• Увеличение куска почти не бьет по времени шага, ядра недогружены

github.com/Yubo-Shankui/SpeculativeSampling

#optimization
👍10🔥2