Нейронавт | Нейросети в творчестве

0:12

Pixie: Physics from Pixels

Модель добавляет физические свойства в 3D модели на #nerf и #gaussian
Мапит материалы с физическими свойствами на объекты на основе их внешнего вида за один форвард пасс, что позволяет проводить симуляции в реальном времени

Работает значительно быстрее (в 10³ раз) по сравнению с существующими методами

Код
Jupiter

#simulation #dymanics #material #physics

🔥12

2.35K views14:17

2:43

Media is too big

ControlHair: Physically-based Video Diffusion for Controllable Dynamic Hair Rendering

Управляемый рендер динамических волос с использованием физически обоснованной видеодиффузии. Модель позволяет контролировать движение волос с помощью сигналов, генерируемых физическим симулятором

Сначала создает покадровую симуляцию с заданными исходными (направление ветра, жесткость волос, движение человека и т п), потом заворачивает ее с заданным ракурсом камеры в управляющий контролнет, а контролнет отдает видеогенератору.

Прикручено к модифицированному Wan 2.1

Код ждем

#simulation #controlnet #conditioning #image2video

🔥8👍2

2.06K views11:14

0:06

PhysMaster: Mastering Physical Representation for Video Generation via Reinforcement Learning

Улучшайзер физики для видеогенераторов. Направляет видеогенератор учитывать физические законы при генерации.

Код ждем

#simulation #physics #text2video #conditioning

👍2😐2

1.92K views12:16

0:05

0:03

SurfPhase: 3D Interfacial Dynamics in Two-Phase Flows from Sparse Videos

Реконструкция новых ракурсов жидкостей и флюидов по монокулярному видео

Гитхаб ждем

#novelview #videoto3d #simulation

👍4🔥1🤔1🤯1

1.79K views11:38

0:10

0:11

0:17

0:08

RealWonder

Видеогенератор в реальном времени по изображению и набору 3D действий. Учитывает физические последствия действий, например, силы или манипуляции роботом. На базе VideoXFun Wan2.1-1.3B-T2V и SAM 3D

— переводит действия через физическую симуляцию в визуальные представления (оптический поток и RGB), которые могут обрабатывать видеомодели

— реконструирует 3D-сцену из одного изображения в виде точечных облаков

— генерирует видеопоток за 4 шага диффузии

— 13,2 fps при разрешении 480x832 на H200

Гитхаб

#simulation #image2video #realtime

Нейронавт в MAX 📲

👍5🔥4

1.59K views07:11

1:07

SIMART

Разбивает сложные 3D-объекты на части и превращает статичные 3D-модели в интерактивные и пригодные для симуляций.

Гитхаб ждем

#3dto3d #simulation #3d #segmentation3D

🔥2❤1👍1

1.69K views11:15

0:09

CARLA-Air

Симуляция вождения и полётов дронов в одном процессе Unreal Engine

— работает без задержек и мостов между системами

— поддерживает до 18 типов сенсоров, которые работают синхронно в воздухе и на земле

— проверено трёхчасовой работой без сбоев

— скорость около 20 FPS при одновременной работе с транспортом и дроном

#simulation #UE #VR

1.45K views10:44

MiroFish

ИИ-движок для предсказаний поведения общества на мультиагентах

Моделирует параллельный цифровой мир на основе реальных данных, населенный агентами

Симулирует взаимодействие тысяч агентов с индивидуальными характеристиками

Позволяет прогнозировать развитие ситуаций в разных сценариях

Применение: финансы, госуправление, PR, маркетинг, творчество, научные исследования, войны, революции, блокировки, восстание машин

Симс на максималках, каждому диванному божку по личной вселенной

Гитхаб

#news #simulation #agent

🔥4🤔2

1.81K views15:48

1:08

Odyssey-2 Max

Крупнейшая на сегодня world model - от Odyssey.

Cимулирует развитие сцены в реальном времени, физично реагируя на действия пользователя. В отличие от видеомоделей, акцент сделан на причинно-следственной симуляции кадр за кадром, что улучшает движение, взаимодействие объектов и стабильность длинных последовательностей.

Доступна в закрытой бета-версии для партнёров

Спасибо @Endorpheen

#world #text2world #simulation #realtime

👍5

1.89K views06:24

1:07

PhysForge

Фреймворк для генерации 3D‑ассетов с учётом физики. Применимо в симуляциях роботов и виртуальных мирах - объекты сразу готовы к взаимодействию.

Принимает на вход изображение, опциональную 2D-маску и воксели TRELLIS

• создаёт иерархический физический чертёж через VLM (ограничивающие рамки, связи частей, типы соединений, свойства)
• генерирует детализированную геометрию и текстуры с помощью диффузионной модели
• задаёт точные кинематические параметры (ось движения, пределы и т. д.) через механизм KVI

Гитхаб ждем

#3d #imageto3d #interaction #simulation

👍8❤1

1.74K views08:12

1:07

https://simart-mllm.github.io/

SimArt

Модель от ByteDance Seed для генерации 3D‑объектов, готовых к использованию в симуляциях

• разбивает сложные 3D‑модели на подвижные части
• определяет возможные движения и связи между частями объекта
• экономит токены - снижает их число на 70 % за счёт Sparse 3D VQ‑VAE
• генерирует ассеты сразу для физических симуляций и робототехники

• обучена на PartNet‑Mobility и AIGC‑датасетах
• работает со сложными мультикомпонентными сборками

https://huggingface.co/ByteDance-Seed/SimArt

#3d #textto3d #simulation

👍8

2.27K viewsedited 14:17

0:17

0:12

Neural Cellular Automata: From Cells to Pixels

Прикольная штука.
Моделирует рост и эволюцию структур через клеточные автоматы. Превращает абстрактные правила в пиксельные паттерны, имитирует морфогенез.

• генерация сложных узоров по простым правилам
• симуляция биологических процессов в цифровом виде
• динамическое изменение форм в реальном времени

Работает на базе правил соседства и локальных взаимодействий. Вдохновлена биологическими системами, даёт контроль над эволюцией форм.

Гитхаб

#simulation

👍7🔥2❤1

1.86K views10:14

VideoCoCo

Генератор видео с физически корректной анимацией. Использует код как цепочку рассуждений, чтобы сначала создать черновик с физикой, а потом превратить его в фотореалистичное видео

пайплайн построен на базе OmniWeaving

• создаёт нейтральный черновик (proxy-видео) с правильной физикой и движением
• проверяет черновик на соответствие физическому плану
• преобразует черновик в фотореалистичное видео по инструкции

• включает набор Agent Skills для работы пайплайна
• содержит игрушечный датасет из 8 видеопар (source и target)
• есть скрипты для пакетного вывода

Гитхаб
HF ждем

#t2v #simulation

👍10❤1🤔1

2.17K views09:24

3:30

MatrAIx

Опенсорсная инфраструктура для тестирования ИИ-систем и цифровых продуктов на синтетических пользователях

Оцените масштаб: 8.3 млрд персон-агентов - симуляция всего населения Земли

Персоны проверены на совпадение с реальными демографическими распределениями по полу, возрасту, стране, языку, доходу, образованию

• Четыре режима оценки: опросы, чат-боты, веб-прототипы, интерфейсы приложений
• Кастомные персоны - можно задать любой демографический сегмент
• A/B-тесты с сегментированными отчётами
• Коррекция persona drift

• Стоимость: ~$3.60 за 10K опросов против $28K+ на живых людях

Гитхаб
Плейграунд для локального запуска

#simulation #agent

😁3😱3👍1

1.93K views08:12

1:43

Code as Worlds

VLM-агент, который пишет код симуляции физики на каждом шаге генерации видео

- Смотрит видео и пишет код сцены: объекты, их свойства, отношения, правила движения, камера, освещение
- Код в симуляторе проверяет как изменится сцена если поменять параметры
- Композиция: можно разобрать сцену на части и менять части
- Отделяет физическое состояние от внешнего вида — знает, что тяжёлый предмет не зависит от того, какого он цвета

Гитхаб
HF
Демо

#vlm #simulation #t2v #physics

VK | MAX

👍9

2.05K views10:13

1:56

Media is too big

Puffin-World

Мультимодальная модель мира

Видит, симулирует и строит 3D-мир в одном фреймворке. По одной картинке + траектории камеры генерирует новые кадры с глубиной и собирает их в 3D-реконструкцию. Физика, геометрия и внешний вид моделируются вместе а не по отдельности

- Одно фото → понимание камеры и мира: ролл, питч, поле зрения, направление гравитации
- Камера-контролируемая генерация: задаtшь траекторию — получаешь новые ракурсы
- RGB-D генерация по траектории и прямая сборка в 3D облако точек
- Физика как часть модели: гравитация и широта привязывают сгенерированные виды к реальному миру - кадры не плавают за горизонт
- модель может исследовать сцену и самокалиброваться

- Пока только статичные сцены

Гитхаб
HF

#world #multimodal #simulation

👍7

1.59K views09:13

0:33

Dissectible Anatomy

Виртуальная анатомия, которую можно резать и рвать в реальном времени. Данные криосечений (включая Visible Human Project) превращаются в деформируемые модели - как в лаборатории анатомического вскрытия, только без последствий и с undo

• разрезы, разрывы, отодвигание и разделение структур на лету
• фрактура модели через операции над signed distance fields
• сплэты вместо мешей - нет топологии, которую надо пересчитывать при разрезе
• не зависит от движка и CUDA - портативные compute shaders

• позиционная динамика (PBD) для деформации
• работает на обычных GPU через шейдеры
• вокселизация мешей - можно собирать модель из любого 3D-объекта

Награда Audience Choice на SIGGRAPH 2026 Real-Time Live. Авторы смотрят в сторону анатомического образования, а техника годится и для игрового разрушения и VFX в духе The Thing и Scanners

Спасибо @kiticatmur

#simulation #anatomy

#news #research

🤯16🔥6👍3❤1🤔1🍌1

1.68K views14:17