Neural Render Proxies (NRP)

Технология Disney, ускоряет процесс настройки освещения в компьютерной анимации. Интерактивно и дифференцируемо изменяет освещение статических сцен с фиксированным положением камеры и материалами

Разделили рендеринг на выборку путей и вычисление излучения. За один проход, не зависящий от освещения, собирают данные о транспортировке света. Затем обучают лёгкую нейросеть переносить свет от любой точки сцены к любому пикселю изображения

минимальные требования к памяти при выводе

масштабируемость в зависимости от разрешения, количества источников света и параметров, а не от сложности сцены

рилтайм 30–60 Гц

Только хвастаются, нам свои технологии не отдадут

Спасибо @iNevestenko

#research #rendering #lighting #relighting

Interactive Generative Motion Editing via Scheduled Inpainting

Дисней опять хвастается.
Метод для интерактивного редактирования анимации. Объединяет синтез и правку движения. Не ломает старое, добавляет новое

https://youtu.be/P2jsLNvb1GM?si=16BIMDSsdHAWesGF

#research #animation

WorldClaw

Модель от Tencent Hunyuan создает четкую, исследуемую и редактируемую 3D-сцену открытого мира по промпту

Важна именно агентная часть - вместо того чтобы одна модель выдавала статичный меш, фреймворк запускает агентный цикл, который выстраивает структуру мира так, чтобы она оставалась исследуемой и редактируемой после генерации, а не просто красивым рендером, с которым больше ничего не сделать.

кода/весов нет

#textto3d #3d #text2scene #research

What to Edit Next

Фреймворк от Alibaba для рекомендаций следующих правок в чате по генерации картинок. После каждой итерации подсказывает, что отредактировать дальше - чтобы совет был уместным, разнообразным и выполнимым на текущем изображении.

На базе Qwen3-VL-8B

кода-весов нет

#research #vlm

Два подхода к генерации картинок диффузными моделями

Латентный (обычный): картинку сжимают в маленькое скрытое представление через VAE-кодировщик, потом модель шумит и денойзит уже это сжатое представление а в конце VAE возвращает пиксели. Быстро и стабильно но теряет мелкие детали

Пиксельный (напрямую): работает сразу с пикселями без VAE. Качество деталей выше, но напрямую с нуля такую модель обучать очень медленно, сходится сильно хуже латентной

Alibaba нашли компромисс - латентно-пиксельный переход (latent-to-pixel strategy):

1. Претрейн в латентном пространстве - быстро получают хорошие генеративные знания
2. Потом переключаются в пиксельное пространство и дообучают там

Качество на уровне латентных но в 3–5 раз быстрее - не тратится время на VAE-декодирование и нет потери деталей

Не приходится выбирать между скоростью и качеством

Это рисерч, ждем новых моделей от Алибаба

#research #pixelduffusion

VK | MAX

V-RAE

Тут предлагают строить сжатое представление видеогенераторов не на основе пикселей, а на основе смысла. Берут пониматоры видео и поверх них делают компактный слой. То есть образно говоря, вместо аудиозаписи нотная запись. В ней меньше деталей но видна видна структура, по которой можно сыграть заново даже лучше оригинала

- Генератору проще работать со смыслом, он сходится быстрее в разы и выдает лучшее качество
- Видео можно сжимать по времени без потери смысла
- Такое представление можно использовать не только для генерации, но и для предсказания следующих кадров

Веса есть но это исследовательский проект, а не прикладной

На видео V-RAE справа

Гитхаб
HF

#research

VK | MAX

The Attention Triangle

Исследование о том почему в аудио-видео моделях звук прилипает не к тому объекту. Пират молчит, а говорит попугай — модель все равно заставляет говорить пирата. Авторы разобрали механизм утечки и научились его чинить

- Нашли треугольник внимания: три связи между текстом, аудио и видео. Главный источник утечки — двунаправленная связь аудио ↔️ видео
- Интервенция на инференсе: управляют треугольником внимания, чтобы звук прикреплялся к правильному источнику — без переобучения

Проверено на LTX-2. Получили практически бесплатный обходной фикс для уже обученных моделей

Код ждем

#research #attention #t2v #i2v

VK | MAX

OpenResearch

Очередной инструмент от alphaXiv

Локальный воркспейс, который превращает кодинг-агента в исследователя

Claude Code, Codex, OpenCode или Cursor перепрошиваются под R&D: обзор литературы, выдвижение и проверка гипотез, эксперименты, готовые артефакты

• параллельные эксперименты - каждый исследовательский трек получает отдельную сессию и изолированный git-worktree
• полный автономный цикл - от идеи и правки кода до запуска и решения, что делать дальше
• логи, диффы, файлы и артефакты привязаны к работе, которая их создала
• агент и модель выбираются под каждую сессию

• git-native дерево экспериментов с неизменяемыми архивами коммитов
• полная воспроизводимость каждого запуска
• локальный по умолчанию: SQLite-стор, данные на своей машине
• один и тот же снепшот запускается локально, по SSH, на Slurm, Kubernetes или Ray

#macOS #Windows (beta) и #Linux

#research #agent #autoresearch

MAX

Dissectible Anatomy

Виртуальная анатомия, которую можно резать и рвать в реальном времени. Данные криосечений (включая Visible Human Project) превращаются в деформируемые модели - как в лаборатории анатомического вскрытия, только без последствий и с undo

• разрезы, разрывы, отодвигание и разделение структур на лету
• фрактура модели через операции над signed distance fields
• сплэты вместо мешей - нет топологии, которую надо пересчитывать при разрезе
• не зависит от движка и CUDA - портативные compute shaders

• позиционная динамика (PBD) для деформации
• работает на обычных GPU через шейдеры
• вокселизация мешей - можно собирать модель из любого 3D-объекта

Награда Audience Choice на SIGGRAPH 2026 Real-Time Live. Авторы смотрят в сторону анатомического образования, а техника годится и для игрового разрушения и VFX в духе The Thing и Scanners

Спасибо @kiticatmur

#simulation #anatomy

#news #research

World Observer

Проблема видеомиров — объект при возврате теряется, замирает или превращается в «импостора». Решение — разделить наблюдение и действие

Метод от KAIST для видеомиров: когда объект уходит из кадра «актера», панорамные обсерверы продолжают за ним следить, и при возврате объект сохраняет состояние и динамику.

• Актер-вид генерируется вместе с панорамными обсерверами (наблюдателями)
• Объекты, ушедшие из кадра, продолжают эволюционировать в обсервере
• Обсерверы ставятся где хочешь — не привязаны к актёру
• Несколько обсерверов для полного покрытия сцены
• Раздельный промпт у обсервера — текст рулит событиями за кадром
• При возврате объекта восстанавливается его детальный вид

• Обсервер рендерится в гибком разрешении и с низкими требованиями
• Обучение на реальных панорамах + синтетика CARLA
• Работает на видео-DiT в одной токен-последовательности

Код ждем

#world #research

BudgetPix

Метод адаптивной токенизации от UIUC и Google для пиксельных моделей генерации картинок. Одна модель работает при любом бюджете вычислений: сложные участки получают больше токенов, простые фоны — меньше

• Динамически тратит вычисления по визуальной сложности сцены
• Одна чекпоинт-модель от 100% до 10% токенов
• Работает и в one-step генерации
• Энкодер на энтропийном квадродереве, многомасштабный декодер

Вставляется в существующие пиксельные диффузии (JiT, MiniT2I, PixelDiT) без переделки. Высвобождает бюджет на лету — гибко под ресурсы инференса

Код ждем

#tokenizer #research

MAX