3D ML / World Models
638 subscribers
265 photos
77 videos
6 files
300 links
Работа с 3D-данными с помощью машинного обучения

Обо всем, что на стыке машинного обучения, компьютерной графики и компьютерного зрения, с красивым визуалом и долей иронии от компании PHYGITALISM.

Автор: @olegyusupov
https://linktr.ee/phygitalism
Download Telegram
Ответочки по генераторам миров.

Runway бахнули GWM Worlds 2, это типа непрерывный видеомир, который генерируется на лету и реагирует на действия пользователя.

Если тупо: GWM Worlds 2 пытается заменить игровой движок генерацией. Не полностью и пока очень сыро, но концептуально именно так.

Что внутри:

На старте задаются окружение, персонажи, визуальный стиль, атмосфера и правила мира. И один стартовый кадр. Мульти-референсного режима для отдельных персонажей, объектов и стиля Runway не заявляет. После запуска пользователь продолжает взаимодействовать с этим же миром: отдаёт команды отдельным персонажам, меняет сцену, двигает камеру, вызывает новые события.

Runway заявляет генерацию 720p при 24 fps со звуком 48 kHz в реальном времени. Ээ-ээ. Ну ок. Вон Минимакс Макс стримит, просто я еще не привык.

Например, можно создать сцену с корованами и грабежом в пустыне, а затем во время сессии заставить их идти, взаимодействовать с объектами, изменить погоду или освещение и одновременно свободно двигать камеру. Для игровых корованных демо текстовые команды можно привязывать к клавишам и мыши, поэтому со стороны это начинает выглядеть почти как обычная игра.

Это развитие прошлогоднего GWM-1 - General World Model, который Runway представила как фундамент для нескольких направлений: Worlds, Avatars и Robotics.

В GWM-1 ветка Worlds уже показывала идею интерактивных генерируемых окружений, но Worlds 2 делает следующий шаг: Runway отдельно подчёркивает непрерывную audiovisual-генерацию, управление несколькими субъектами, свободную камеру и возможность менять сам мир во время сессии.

GWM Worlds 2 остаётся генеративной audio-video моделью. Runway описывает её как autoregressive diffusion model: новые кадры строятся на основе исходного описания мира, первого кадра, предыдущей генерации и текущих действий пользователя.

Это означает, что модель не обязана хранить точное постоянное 3D-состояние каждого объекта. Runway сама предупреждает, что на длинных сессиях могут постепенно меняться геометрия, текстуры и детали, особенно при быстрых движениях камеры.

С физикой похожая история. Runway позволяет задавать правила вроде гравитации и столкновений, но это не означает наличие отдельного детерминированного физического движка. Модель скорее пытается визуально продолжать сцену в соответствии с заданными правилами.

Отдельно интересно появление синхронного аудио. Звук теперь является частью того же генерируемого мира: речь, ambience и звуковые события могут продолжаться вместе с видео.

В перспективе Runway видит применение GWM Worlds 2 в нузагеймдев, виртуальных персонажах, робототехнике и симуляциях embodied agents.

Сейчас GWM Worlds 2 находится в статусе research preview.

Это явно ответочка на Атлас: Runway двигается от генератора видео к модели, которая пытается быть самой средой, внутри которой можно действовать.

Кстати, я тут видел похожую поделку из говна и палок на базе Minimax H3 Max. Скоро опенсорс ответит.

Ссылки:

https://runway.com/research/introducing-gwm-worlds-2

https://runway.com/research/runway-game-worlds

А демо с тетенькой огонь... неужели без поста..?

@cgevent
👍1
Forwarded from PHYGITAL+CREATIVE
Пользователи Алисы AI Про и Yandex AI Studio теперь могут подключиться через MCP к Phygital+ и создать креативных агентов прямо в интерфейсе «Яндекса», для того чтобы автоматизировать креативные задачи:

🔹 собрать карточку для маркетплейса из фото товара и характеристик;
🔹 сделать баннер из текстового брифа;
🔹 собрать диалоговый ролик из наброска сценария;
🔹 сгенерировать видео с продуктом по ссылке на товар;

Подробности — в презентации Дарьи Мухиной, СРО Phygital+, на Yandex Scale, сегодня в 14:00. Если ваша команда хочет собирать креативы в 3–10 раз быстрее и эффективнее, то это выступление точно для вас.

Смотрите онлайн, бесплатно.
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Дико интересная статья про пространство смыслов, которое не зависит от конкретного языка.

Самое захватывающее в том, что его нашли и у кожаных в мозгу и у LLM в "средних слоях".

Итак, исследование показывает, что, несмотря на различия в языках (звуки, алфавиты, синтаксис), их смысловые представления в мозге схожи и могут быть смоделированы нейросетевыми языковыми моделями (LLMs). И человеческий мозг, и LLMs создают сходное "пространство концепций", объединяющее разные языки.

Использовались данные fMRI людей, слушавших одну и ту же историю («Маленький принц») на английском, китайском и французском языках.

Применялись воксельные модели кодирования, связывающие эмбеддинги слов из BERT и Whisper с активностью мозга.

Сравнивались одноязычные модели (uBERT) и многоязычная модель (mBERT), а также мультимодальная модель (Whisper).

Результаты

Сходство представлений: Даже одноязычные модели BERT формируют сходные концептуальные пространства, особенно в средних слоях.

Мозговая активность в зонах, отвечающих за понимание, схожа у всех разно-язычных групп людей

Кросс-языковая генерализация: Модели, обученные предсказывать активность мозга для одного языка, могут предсказывать активность для других языков, если история одинакова по смыслу.

Речь и текст: Whisper выявляет общие фонетические и акустические паттерны между разными языками, которые также отражаются в активности мозга.

Итого:
Смысловое восприятие в мозге не зависит от формы языка.

Как мозг, так и LLMs кодируют концепции в высокоразмерном пространстве (область смыслов\концепций?), где смысловые структуры совпадают для разных языков, иначе говоря, нейронные репрезентации смысла, лежащие в основе разных языков, являются общими для носителей разных языков, и что языковые модели, обученные на разных языках, сходятся на этом общем значении

Общие концептуальные представления формируются благодаря взаимодействию людей с окружающим миром, а не только особенностям языка.

Тут интересно поразмышлять, в каком пространстве мы мыслим - ближе к языку или к вот этим вот скрытым смыслам?

https://paperswithcode.com/paper/brains-and-language-models-converge-on-a

@cgevent
🔥1
Forwarded from Sergey Tsyptsyn
@goldybin

Google + Unity: Playground и Unity Spark - генерация полноценных интерактивных игр промптами
7 октября Google и Unity официально объявили стратегическое партнерство и одновременно запустили Playground - экспериментальную AI-платформу, где игру можно создавать и переделывать обычным текстом. Это уже доступный продукт, а не исследовательское демо. blog.google
Playground позволяет с нуля задавать промптами:
персонажей и окружение;
правила игры;
физику;
игровую механику;
затем сразу запускать результат в браузере;
публиковать игру или отправлять ссылкой;
для некоторых жанров есть multiplayer и leaderboards. blog.google
Это закрытая платформа, никаких весов или локального запуска нет. Сегодня она стартовала для пользователей 18+ в США, а объем доступной генерации зависит от уровня Google One. Цены Google пока публично не раскрыла. blog.google
Вторая часть интереснее - Unity Spark. Это новый браузерный AI-инструмент Unity, который подключат к Playground позднее в 2026 году. Unity обещает полноценный Unity runtime, более сложную игровую механику, high-fidelity 3D и прямое использование ассетов из Unity Asset Store. Закрытая beta ожидается скоро. Unity

Источники:
https://blog.google/innovation-and-ai/technology/ai/playground-experimental-gaming-platform/
https://unity.com/news/google-and-unity-partner-on-new-ai-gaming-platform-for-the-next-era-of-interactive-entertainment
https://unity.com/blog/why-we-built-unity-spark
Physical AI & 3DML

В Physical AI визуально качественная 3D-геометрия часто непригодна для физики и столкновений.

Основные ограничения текущих 3D-мешей:
• Несоответствие видимой геометрии и коллизионной (хитбоксы не совпадают с моделью)
• Высокая вычислительная стоимость детальных треугольных сеток
• Сложность генерации валидных тетраэдральных мешей на сложных формах
• Частые дефекты AI-геометрии: дыры, самопересечения, non-manifold рёбра, незамкнутые поверхности

Автор предлагает вместо всё более детальных сеток использовать математический подход теории ключевых блоков и 3D DDA Ген-Хуа Ши — строить корректные блоки через системы неравенств.

https://x.com/betatomorrow/status/2116836498700112060?a=ab-7elUjeoAXyRwB7pc&s=46