SeMo3D

Одна модель на три задачи в 3D: создать объект с нуля, отредактировать часть и достроить недостающее. Вместо переделки всей модели меняется только выбранная область.

• Генерация, правка и достройка в одном пайплайне
• Трогается только выделенная зона, остальное не пересчитывается
• Неизменные части сохраняются по построению, а не на честном слове
• Управление картинкой, текстом и облаком точек одновременно
• Годится как инструмент для агента: правки словами, результат в GLB или PLY

• Не нужны парные данные для правок и достройки
• Обычный 3D-ассет случайно режется на область и контекст, на этом и учат
• Меняется размер области, и одна процедура покрывает от локальной правки до полной генерации
• На трех бенчмарках обходит прежние методы во всех задачах

github.com/XiaokunSun/SeMo3D - код/веса ждем

Спасибо @m_franz

#3d #textto3d #3dediting

MAX

Route Anything

Один роутер на все типы моделей: языковые, генераторы картинок, видео и речи, кодинг-агенты и даже политики роботов.

• Подбирает модель под конкретный запрос, а не держит одну на все
• Собран на 374 тысячах размеченных прогонов
• Покрывает 25 наборов задач
• В среднем в 8,82 раза эффективнее опорной модели

Смысл в экономике. Вместо того чтобы гонять самую дорогую модель на каждую мелочь, маршрутизатор отправляет простые задачи дешевым, а сложные сильным, и качество почти не падает.

Можно запросить тестовый доступ

#router

MAX

Hume Audio Decisions

Десижн-модель, отвечает на вопросы по записи голоса

• Четыре формата ответа: да или нет, выбор из вариантов, шкала и отрезок времени в записи
• Вопросы про язык и речь, число и смену говорящих, эмоции, акустику, неречевые события, динамику разговора, намерение и исход, социальные сигналы
• Отрезок времени находит конкретный момент, например когда собеседник усмехнулся или вздохнул
• Набор вопросов меняется без разметки и дообучения
• Порог уверенности привязывается к правилам заказчика

По замерам авторов впереди Gemini 3.8 Flash, Qwen и gpt-audio

вейтлист

#decision #alm

MAX

MetricTrail

Инструмент NVIDIA для оценки движения камеры и метрической глубины по длинным RGB-последовательностям. Для визуальной одометрии и реконструкции сцен.

• Восстанавливает траекторию камеры по видео или набору кадров
• Считает глубину в метрах для каждого кадра
• Внутренние параметры камеры можно задать самому или оценить по картинке
• Опционально работает со стереопарой
• Есть коррекция накопленной ошибки по замкнутым маршрутам
• Тянет длинные записи, а не короткие клипы

• Три с половиной миллиона обучаемых параметров, основа заморожена
• Внутри DPVO для сопоставления патчей и DINOv3 для признаков
• Глубину дает MoGe-2
• Обучение на 16 картах A100, около семи часов
• CLI выгружает позы и кэш глубины, плотных облаков и мешей не отдает
• Веса в репозитории пока не лежат, чекпоинт обещают отдельно
• Лицензия только для некоммерческих исследований

Инженерная часть любопытная: замороженные признаки берутся как есть, а дообучаются только небольшие адаптеры, так что модель стартует с предсказаний обычного DPVO и потом уточняет их. Глубина от отдельной модели работает как подсказка, но при противоречии с нескольких ракурсов может быть перебита геометрией.

#video2depth #tracking

MAX

ExMR

Захват движения по одному видео, с акцентом на кисти и стопы. Обычно такие системы путают пальцы и разворачивают стопу, здесь это отдельно дорабатывают.

• Сначала базовая модель оценивает движение всего тела
• Затем два модуля возвращаются к локальным деталям и правят остаточные повороты
• Кисти: локти, запястья, пальцы, причем по картинке, а не по ненадежным точкам пальцев
• Стопы: колени и голеностоп
• Результат выгружается в BVH, в FBX для Unity и Unreal, открывается в Blender
• Есть ретаргетинг на человекоподобных роботов

github.com/camenduru/VRMExMR
hf.co/spaces/twehrbein/ExMR

#mocap

MAX

ERNIE 5.5 Flash Base

Открытая базовая модель Baidu: чекпоинт сразу после предобучения, без посттренировки. Разреженная MoE на 280 млрд параметров, из которых 14 млрд активны на токен.

• Обучена с нуля на 33,5 трлн токенов
• Контекст 128 тысяч при обучении и до миллиона при дообучении и инференсе
• Никакой инструкт-тюнинг не навязан: стартовая точка для своих методов

• Гибридное внимание: один слой из семи держит полный контекст, остальные сжимают историю в 128 раз
• В этих полносвязных слоях еще и разреженное внимание по top-k, чтобы цена не росла с длиной
• MoE с несколькими роутерами: 512 экспертов, выбираются десять плюс один общий
• Ошибки одного роутера больше не решают выбор, маршрутизация устойчивее к шуму
• Узкие головы в дорогих слоях, широкие в дешевых

hf.co/baidu/ERNIE-5.5-Flash-Base

#flagship

MAX

RGB MoCap

Приложение под Windows, по видео создает редактируемую анимацию человека

Даже хороший захват по видео дает плавающую походку: стопа висит в воздухе или едет по полу. Здесь это чинится отдельным шагом, причем руками, по кадрам. Плюс экспорт сразу в форматы, с которыми работают аниматоры, а не только в сырые скелеты.

• Три движка на выбор: ExMR, FlowHMR и GVHMR
• Правка контактов стоп и ладоней, чтобы убрать скольжение по полу
• Тайминги контактов редактируются вручную
• Ретаргет на Mixamo FBX, VRM и PMX
• Экспорт в FBX и BVH, с вариантами под Blender и 3ds Max Biped
• Для MMD экспорт движения PMX в VMD
• Экспорт готового проекта Blender с анимацией, видео и камерами
• Многокамерный захват
• Живой предпросмотр с вебкамеры через PEAR, пока экспериментальный

• Нужны Blender и FFmpeg
• Работает как обычное приложение, но с агентом внутри можно и через Codex

Спасибо @m_franz

#mocap

MAX

Visual Anagrams в ComfyUI

Кастом пак #ComfyUI для визуальных анаграмм

На каждом шаге модель считает два предсказания, по обычному латенту и по повернутому, поворот отменяется и результаты смешиваются

• отражение по вертикали и горизонтали, поворот на 180 и 90
• Для 90 нужен квадратный кадр
• Есть вторая нода с балансом: свой вес для второго вида и ранний толчок, который потом затухает
• Баланс нужен, когда один сюжет перетягивает картинку на себя

• #Krea2 Turbo или Raw с turbo-LoRA
• 1024x1024, 8 step, CFG 1, эйлер

Выравнивание дисперсии ничего не меняет, кросс-негативы требуют настоящего CFG и на турбо бесполезны, а усреднение двух декодов мылит картинку

Совет по промптам: брать формы, которые могут притвориться другими, дым и волосы, деревья и бороду. Лицо жесткое, его лучше ставить в пару с чем-то свободным, вроде пейзажа. Держать один стиль

#text2illusion #visualanagram

Tripo Agentic Canvas

Визуальное рабочее пространство в Tripo Studio с агентом внутри. Агент планирует и выстраивает цепочку шагов 3D-продакшена, от идеи до экспорта

• Агент связывает шаги в граф
• Готовый персонаж с автоматическим риггом скелета под UE
• Отдельный пайплайн под 3D-печать: проверка геометрии и лечение сетки, без ретопологии
• Собранные цепочки сохраняются как шаблоны и применяются к новым проектам и сериям ассетов

#3d #agent

MAX

ИИ придумывает связи лучше среднего человека — но все модели придумывают одно и то же

Сравнили три десятка языковых моделей с обычными людьми на задачах на комбинаторное творчество: придумать неожиданную ассоциацию, провести аналогию, слить два понятия в новое. Везде модели чаще выдавали валидные, применимые связи. Но дело не в гениальности, а в полезности: людям реже удавалось довести идею до рабочего варианта.

Каждое пятое придуманное понятие совпадало по свойствам с ответом другой модели, а модели одного разработчика сходились чаще чем с чужими. Назвали изобретательской однородностью: вариантов много, а мыслят все по одним рельсам

Люди и машины роются в разных областях. Модели тянутся к людям и местам и связывают их через авторство и преобразование. Люди берут предметы, состояния и чувства и связывают их движением и простым бытием

Вывод: раз области разные, человек вместе с ИИ мог бы расширить разнообразие

arxiv.org/abs/2509.21043

#news #creativity #research

Vimoo 1.0

Новый видеоген в опенсорсе

• #t2v #i2v
• дистиллированные версии
• В облегченной линейке одна модель на обе задачи, около 9,5B
• Есть примеры для Diffusers и отдельная сборка под Apple Silicon
• API

• Основные модели ~ 11,7B, энкодеры и VAE общие
• ComfyUI 0.34 и новее, PyTorch 2.9 под CUDA 13
• NVIDIA, по умолчанию обычное внимание без дополнительных пакетов
• Кодировщик текста на Qwen2.5-VL плюс отдельный для глифов - отвечает за текст в кадре, надписи и упаковку. для картинки SigLIP

На офсайте просим инвайт - он сразу приходит на почту, действует 3 дня

huggingface.co/Vimoo-AI/Vimoo-1.0-ComfyUI
github.com/Vimoo-AI/Vimoo-1.0
github.com/Vimoo-AI/ComfyUI-Vimoo

#comfyui

MAX

VidDub

Дубляж видео под новую речь: губы перерисовываются, а лицо, поза, фон и одежда остаются исходными

Обычно такие модели учат восстанавливать кадр по тому же звуку, который в нем звучит, и рот запоминается вместе с речью. Здесь для замененной речи восстановление рта специально отключают, оставляя модели только синхронизацию и все остальное в кадре. Дальше большой учитель сжимается в студента за два шага, чтобы вернуть резкость

• Тянет длинные фрагменты до минуты
• Смотрит на все окно из 81 кадра сразу, а не по кадрам
• Около 11 кадров в секунду на одной H200

• Синхронизация на HDTF выше, чем у Wav2Lip, Diff2Lip и LatentSync
• На своем бенчмарке VidDub-Bench тоже лучший результат

github.com/LAW1223/VidDub
hf.co/AIPeanutman/VidDub

Спасибо @m_franz

#lipsync #dubbing

MAX