AI × 3D

К сожалению, пока что генерация полноценных 3D моделей с помощью нейросетей получается плохо и медленно (последний раз, когда я пытался, сетка работала 2 часа и на выходе получилось качество 10 шакалов из 10)

Зато вот с ре-проекциями можно поработать. Я это уже делал: генерировал с помощью DALLE лица с макияжами, затем с помощью фейстрекинга Spark AR извлекал текстуру с лица и натягивал обратно на 3D-модель (или другое лицо).

А вот тут чуваки заморочились и использовали похожий подход для 3D-окружений: отрендерили сцену в виде черно-белого каркаса, сгенерили поверх него нейронкой текстуры и спроецировали обратно. Делается легко, получается красиво.

Процесс на видео с 0:40: https://www.youtube.com/watch?v=jZskAizpzRU

Буквально вчера писал про то, что Мидджони не будет упираться в видео генерацию, а намерен пойти в сторону textTo3D. Все тридешники сделали стойку, а сегодня интернет-неройросети принесли принесли вот такую новость.

Apple опубликовал (и запатентовал) технологию генерации трехмерных сцен из текстовых подсказок (и картинок тоже, чтобы все как у людей). Типа 3DALLE. С названием, ошеломляющим своей фантазией: GAUDI.

Грубо говоря, это text2nerf (о которых я уже исписался). Но дальше есть моменты, ибо трехмерная сцена не просто сложнее 2Д-картинки, она считывается по другому, поэтому задача решается, скажем так, медленно и сложно.

Если хотите лонгрида, то читайте следующий пост Гауди.
https://github.com/apple/ml-gaudi

https://medium.com/mlearning-ai/how-to-generate-3d-scenes-from-text-descriptions-2345bfb321

Apple GAUDI - что внутри.

Гугль еще в 2021представил Dream Fields - ИИ, который сочетает в себе способность NeRF генерировать 3D-изображения и способность CLIP от OpenAI оценивать содержимое изображений.

Но в то время как Google занимается генерацией отдельных объектов с помощью Dream Fields, генерация неограниченных 3D-сцен остается пока нерешенной проблемой.

Одной из причин этого является ограничение возможных положений камеры: в то время как для отдельного объекта все возможные разумные положения камеры могут быть отображены на купол(dome), в 3D-сценах эти положения камеры заслоняются такими препятствиями, как, например, объекты и стены. Если их не учитывать при генерации, то созданная 3D-сцена будет непригодна.

Apple GAUDI берется решать такие (под)задачи по созданию 3D-интерьеров(подкласс 3Д) из текстовой подсказки.

Он(а?) решает эту проблему с помощью трех специализированных нейросеток:

- декодер позы камеры делает предсказания для возможных положений камеры и гарантирует, что на выходе получается правильное положение для интерьера 3D-сцены.

- декодер сцены предсказывает трехплоскостное представление, которое является своего рода 3D- холстом

- на котором radiance field decoder рисует последующее изображение, используя уравнение объемного рендеринга.

Apple также демонстрирует, что GAUDI может генерировать новые движения камеры в 3D-сценах внутри помещений. Генерация может быть случайной, начинаться с изображения или управляться текстовой подсказкой - например, "пройти через коридор" или "подняться по лестнице".

Качество видео, генерируемого GAUDI, конечно, полный шлак. InstantNeRF от Нвидия это практически 8К по сравнению с PAL от Эппле. Но сама идея скрещивать нерфы и text2image будет, по моим ощущениям взлетать очень сильно. И, думаю, стоит ждать ответа от Nvidia - если поженить их GauGAN и NeRF и закатать это в Omniverse, то получится textTo3D на стероидах.
Просто подумайте о генерации игровых уровней: "Хей, Сири, захреначь мне проход-портал из Киберпанка в Вольфенстайн".

Кстати, что-то обобщенно похожее делает Андрей Максимов из Promethean AI, но там чистый объектный генератив в 3Д и никаких нерфов.

Ну и, конечно, в работе Эппле видно, насколько результат зависит от подкапотного датасета - там есть видео разных версия Гауди обученных на Vizdoom, Replica, VLN-CE and ARKITScenes.

Поглядите видео на гитхабе, там занятные пролеты и примеры текстовых подсказок для генерации.

А если почитать между строк теории заговора, то можно предположить, что все это безобразие разрабатывается для будущего создание цифровых локаций для гарнитуры Apple XR, про которую все говорят, но никто не видел.
https://github.com/apple/ml-gaudi

Обратите внимание на дату и заголовок. Оказывается прошло уже 4.5 года.

Вот вы упорно отказывались выпивать за иллюстраторов и фотографов. Мы не такие! Они не такие!
Даже кейс с обложкой Cosmopolitan вас не убедил - "там все сложно и долго".
Но ничего, ИИ хохочет и идет в народ.
Inc Russia проиллюстрировал свои материалы картинками из Midjourney.
Получилось убойно, мрачно, местами по-черному смешно, местами очень грустно.
Щас придут блохоловы искать ошибки в композиции, но могу сказать, что ИИ отлично попал в материал. Ибо цепляет.
https://incrussia.ru/switch/midjourney/
Забрал тут: https://t.me/leraneuralpics

Все, что вы хотели спросить - спрашивайте у ИИ.

Похоже, что тема трансформации поисковых запросов к Гуглу в промпты для ИИ, о которой я писал, имеет под собой все основания.
Ибо все сводится к одной простой формуле: "Брат, а покажи мне что-то на тему XYZ".
Текстом ли, картинками ли.

Смотрите, какую историю из жизни подсмотрел у Димы Шурова (ex.CGF) в фейсбучике:

"У меня на работе возникла задача сделать автоматизацию рассылки писем внутри компании. Как обычно начал гуглить, но результаты не радовали. В какой-то момент пришла мысль попробовать спросить GPT-3: "Suggest 3 free mailing services to send emails using Python API".

Через секунду получаю следующий результат:
1. Mailgun
2. SendGrid
3. Mailjet

Гуглю Mailgun, открываю, регистрируюсь... И понимаю, что это ровно то, что нужно. Офигеваю.
Думаю, чего бы еще спросить. Друг предлагает идею

"Write an essay on a topic: "Can an Artificial Intelligence lead us to a better life?".

На что получаем ответ:

"Yes, an artificial intelligence can lead us to a better life. It can help us to better understand and predict the world around us, and make better decisions".

Чтож, верю."

Так что покайтесь и несите на паперть свои запросы.

Исходник

Продолжая тему поиска ответов у ИИ, можно добавить что фейсбучек тоже включился в эту гонку.
Ибо тренирует своего нового разговорного бота с помощью кожаных мешков.
Если вкратце, они запустили типа исследовательский проект под названием BlenderBot 3, чат-бот, который рыщет в Интернете, чтобы поддерживать разговор на практически на любую тему.

Модель, данные и код BlenderBot 3 открыты(!). Можете встраивать.

BlenderBot 3 предназначен для улучшения разговорных навыков за счет обратной связи от людей, которые общаются с ним. Обучение с кожаным подкрепление.

Основная фишка - возможность постоянно лайкать и дизлайкать бота в процессе общения.

BlenderBot 3 создан на основе общедоступной языковой модели OPT-175B, которая примерно в 58 раз больше, чем BlenderBot 2.

https://about.fb.com/news/2022/08/blenderbot-ai-chatbot-improves-through-conversation/

А вот что получается, если за дело берутся олдскульные взрослые мальчики, которые используют дорогое кастомное оборудование, ацкий инхаусный ИИ и шейдеры кожи, отображающие поры.

Каждой задаче свое решение и Digital Domain не торопясь спускается с горы и пилит свою Зоуи в своем же Шарлатане.

Референс для всех мокаперов, фейскапчеров, влогеров и втюберов.

Поглядите, что творит Ромбик Белов сотоварищи!

Выкатили KeenTools 2022.2: продвинутая детализация в FaceBuilder и поддержка MetaHuman!

Переработали модель деформации FaceBuilder — теперь 3D модели гораздо больше похожи на людей с фотографий!

Более того, вы можете переносить все эти модели в движки. Mesh to MetaHuman позволяет обернуть любой меш головы, в том числе сделанный с FaceBuilder, топологией MetaHuman, а после создать персонажа и использовать его в Unreal Engine.

Полная совместимость: новая UV-развертка ‘MH’ полностью совпадает с развёрткой MetaHuman, её можно использовать для создания реалистичной текстуры со всеми деталями с фотографий.

Похоже, что комбинация FaceBuilder и MetaHuman — это сейчас самый простой и удобный способ переноса человека с фотографии в игровой движок!

Подробности: https://link.keentools.io/2022-2-tg-news

Ну и спокойных вам субботних снов.
Все еще хотите в Метаверсик?
Музей истории науки и медицины в Нидерландах может вам показать его изнутри.
https://twitter.com/KutadguBilim/status/1553817972891852800

Видео к посту выше. Оцените креатив. Ничего, что соврали, зато красиво получилось.

Поглядите, как инди-студия Team Cognition использует Midjourney для быстрой проверки некоторых идей и поиска вдохновения(!). Cognition Method также применяют Midjourney для создания монстра для игры - на каждом уровне игрока преследует «тень», которая выглядит как непропорциональный силуэт человека и представляет собой проекцию существа из другого пространства.
https://80.lv/articles/using-midjourney-for-concept-and-asset-creation/
https://dtf.ru/gamedev/1299149-byvshiy-hudozhnik-cyberpunk-2077-pokazal-kak-ego-studiya-ispolzovala-neyroset-midjourney-dlya-sozdaniya-monstra-dlya-igry

Кому ИИ-фотограмметрии на мобилках?

Пишут, что апп использует ИИ для автоматического удаления шумов из 3D-сканирования. Сама обработка выполняется в облаке: пользователи загружают изображения, выбирают одну из трех предустановок качества и загружают сгенерированную модель в формате OBJ или FBX.

Бесплатные аккаунты предоставляют три экспорта в неделю и ограничивают пользователей 70 фотографиями на проект, негусто.

https://www.kiriengine.app/

Амазон знает, что потребляете каждый день. Амазон знает, где вы живете. Теперь Амазон знает, КАК вы живете. Потому что он легким движением руки на 1.7 млрд долларов проник в ваши дома. Через пылесос.
И теперь знает все про планировку вашего дома.
Короче, Амазон купил производителя роботов-пылесосов iRobot. С потрохами.
А потроха - это данные с планами помещений, которые киберпанк-пылесосы так тщательно собирали все эти годы по всей планете. Пылесосили все ваши жилищные данные днем и ночью.
Теперь эти данные у Амазона. Также как и данные производителя видеозвонков Ring, также как данные производителя вайфай раутеров Eero, которых Амазон пожрала недавно. Также как данные сети первичной медицинской помощи One Medical, которые Амазон вот-вот пожрет в рамках сделки на сумму $3,49 млрд.
А еще у Амазон есть домашний дрон и робот Астро(пока только по инвайтам). Так что скоро ваш дом будет уже не ваш дом, точно также как ваши данные сейчас - это давно не ваши данные.
Амазон будет знать КАК вы живете и делать предложения, от которых сложно отказаться. А робот и дрон помогут вас убедить.

Вишенка. iRobot вначале делали вояки для своих нужд. Но он вышел настолько ловким, что его быстро сделали продуктом двойного назначения. И вот круг замкнулся. Робот разведчик выполнил свою миссию. Скормил все данные Амазону.

Все еще упоминаете слово "приватность" с умным видом? Скоро оно исчезнет из языка, как фотограф или иллюстратор.
https://www.wired.com/story/amazon-irobot-roomba-acquisition-data-privacy/

Сорри, что не про ИИ или Метаверсик, но уж больно интересные цифры. И про Маска давно не писал.
Смотрите как "электрички" проникают на рынок.
В 2011 году по всему миру было продано около 55 000 электромобилей (EV). 10 лет спустя, в 2021 году, эта цифра выросла почти до 7 миллионов автомобилей.

В 2014 году крупнейшим рынком электромобилей были США, за которыми следовали Китай, Нидерланды, Норвегия и Франция. Теперь Китай просто уничтожает всех на этом рынке.
В 2021 году китайцы продали больше электромобилей, чем весь остальной мир вместе взятый в 2020 году.

В Китае можно купить почти 300(!) моделей электромобилей, больше, чем в любой другой стране, а также здесь находятся четыре из 10 крупнейших мировых производителей аккумуляторов.

В штатах доминирует Тесла - в 2021 году на Tesla приходилось более 50% продаж электромобилей, у конкурентов просто мизерные доли, в десять-двадцать раз меньше, чем у Теслы.

Киберпанк явно заходит через Китай...
https://elements.visualcapitalist.com/visualizing-10-years-of-global-ev-sales-by-country/