Алибаба готовит к релизу новую "Модель мира"

Посмотрите видео, - эти миры нейронка генерит в реальном времени. Вы просто даете ей фотографии или картинки и она из них восстанавливает целый мир.

Цитата от тестера:
Я не испытывал такого технического шока со времён первого дня беты DALL-E. Наконец получил инвайт в Happy Oyster (Alibaba) и провёл день, тестируя его возможности.

Мы слышали о «World Models» и Project Genie от Google месяцами, но это конкретная реализация. Другой подход по сравнению с инструментами вроде Marble Studio. Пока большинство моделей анимируют плоское изображение, Happy Oyster трактует творения как реальные физические пространства.

Под капотом: вместо простого предсказания пикселей модель интерпретирует изображения Flux и Midjourney как 3D-латентные среды. Она предсказывает геометрию и освещение в реальном времени на основе пользовательского ввода (WASD). Это позволяет перемещаться по изображению без потери пространственной согласованности.

Я не просто смотрел на свои изображения — я ходил сквозь них. Видеть, как статичное искусство становится исследуемым миром — ощущается как рождение нового медиума.

Автор: Damien Miri

Ещё примеры: Youtube

#Alibaba #WorldModels #HappyOyster
———
@tsingular

А прикольно состарилось.
всего 2 года, как что-то там не укладывалось в голове, и вот уже у нас волна моделей мира.

Та же история с Дипсиком, кстати, - что контекст на 1 миллион тепень норма.
Пару лет назад всем хватало 8К :)
Как вам идея, что через пару лет 10М контекста будут нормой? укладывается в голове ? :)


#worldmodels
———
@tsingular

XGEN Labs представила JING и DAO: шаг к генеративным виртуальным мирам, где модель видит мир от первого лица, а движок хранит его состояние

Стартап XGEN Labs опубликовал технический прототип Generative World Simulation. Это связка из двух компонентов: интерактивной модели JING (зеркало) и вычислимого движка общего мира DAO (путь). В паре они двигаются дальше привычной генерации кадров, - к симуляции мира за кадром.

🎮 JING: модель от первого лица:
JING построена на открытой видеомодели MiniMax-H3. По действиям и истории наблюдений агент генерирует видео и звук от первого лица: навигация, манипуляция объектами, диалоги.
Управление буквальное, - WASD на каждый слайс кадров: нажал W, мир идет вперед; зажал W+A, повернул по диагонали.
На лидерборде интерактивных видеомоделей WBench XGEN-JING на 17 сентября занял 1 место в полном сплите и 2 место в навигационном сплите.

🌐 DAO: общий мир, живущий без наблюдателя:
Ключевая идея, - разделение ответственности. DAO хранит состояние общего мира и его правила, вычисляет последствия действий и отдает JING только то, что текущий наблюдатель может видеть.
Отсюда автономия: агенты действуют в эволюционирующем мире независимо, а мир меняется и с ними, и без них.
Команда называет это шагом к OASIS: миру и обществу, которые эволюционируют сами.

🔧 Инженерные детали:
Веса JING-Flash-v1 и код уже открыты на GitHub и Hugging Face (для запуска понадобится шесть H100 и FlashAttention-4).
Есть и скилл, превращающий сценарий с картинками в валидный JSON кейс для запуска демо.

Мы всё ближе к Матрице и к Миру Дикого Запада.

#Матрица #worldmodels #ИИ #симуляция #агенты
———
@tsingular | Max | YouTube | RuTube | VK | VK Video | Дзен