🎑 AI-агенты собирают 3D-сцены по одному фото - но не понимают, получилось ли у них

Исследователи представили подход Image-to-Code: кодирующий агент получает единственную фотографию и пишет программу для Blender. Агент работает итеративно - генерирует код, запускает, смотрит на результат и правит, пока сцена не совпадёт с исходником. Поскольку на выходе программа, в ней явно зафиксированы объекты, геометрия, компоновка и позиция камеры: сцену можно запускать, проверять и редактировать как обычный код.

Для оценки создали LEGO-Bench - 208 изображений из 104 сцен и 443 ассета. Картинки отрендерены из профессионально собранных симуляторных сцен: выглядят естественно, но точная геометрия и разметка объектов остаются скрытым «ключом ответов». Метрики три: валидность, точность реконструкции видимой геометрии и визуальное сходство с оригиналом.

Все шесть протестированных конфигураций GPT почти всегда выдавали рабочую сцену, но точность разнилась радикально: GPT-6 Astra - 53,4% на интерьерах и 39,6% на улице, слабые конфигурации - около 15%. Улица сложнее интерьеров, и чем сложнее сцена, тем хуже результат. Главная находка: модели не умеют оценивать собственную работу - выбирая из двух версий более близкую к оригиналу, они попадали в геометрические суждения на уровне случайного угадывания. Даже Astra в поздних итерациях ломала свою же сцену, падая с 33,9% до 4,4%.

🎨 qvabo.studio/tg · картинки и видео

#AI #3D #Blender #Agents #Grading #LEGOBench