GameNGen: Нейросетевой движок генерирует DOOM в реальном времени

Исследователи создали GameNGen - первый игровой движок на нейронной модели.
Система интерактивно симулирует DOOM со скоростью 20+ кадров в секунду на одном TPU.
Качество генерации сопоставимо с JPEG-сжатием (PSNR 29.4).
Архитектура включает RL-агента для игрового процесса и диффузионную модель для генерации кадров.
Применены техники стабилизации для длительной авторегрессивной генерации.
Люди с трудом отличают реальную игру от симуляции на коротких отрезках.

Скоро нейросети будут генерировать игры быстрее, чем мы успеем в них играть! 🎮🤖

Когда мощность чуть подтянут - можно будет генерить миры неотличимые от реального в реальном времени.

Wake up Neo! Matrix has you.

#GameNGen #DOOM #neuralrendering
-------
@tsingular