А вот еще один довольно горячий анонс с GDC 2021.

Безмаркерный фуллбоди и лицевой мокап в Notch.
Пока я тут пел дифирамбы Снапчату, ребята из интерактива тоже не сидели сложа руки. И прикрутили в Нотч мокап с любой камеры и удаление фона.
Дело в том, что мокап тела (с камеры!), это, теперь, часть Maxine SDK, на котором, например, построен NVidia Broadcast App.
А на GTC2021 NVIDIA как раз и анонсировала это новое обновление Maxine SDK, и среди новых возможностей SDK - отслеживание скелета тела и удаление фона.
На видео человек поворачивается на 360 градусов перед обычной камерой, и мокап не разваливается, что само по себе уже очень круто.
Еще раз, просто с обычной камеры. Без маркеров.
По идее, любой может запилить такую штуку через Maxine SDK. Ждем ответа от Блендера!

Про удаление фона пишут, что лучше всего работает на погрудном плане и на говорящих головах. И понятно почему, учили на зум-сессиях и переговорах.
Ну и он там в конце специально акцентирует: на что снимаем, тем и трекаем (камерой), виртуальный продакшен без костюма.

А я еще вчера подумал, глядя на очаровательную девушку из демонстрации Maxine, ведь ее лицо полностью "мокапят" и передают face-кодеком, то есть грубо говоря, мокап-данными, которые потом накладывают на маску лица на оконечном устройстве. Правда 3Д там по дороге не возникает, и лицо рендерится (опять же грубо говоря) дипфейковым методом. Но кто мешает брать эти захваченные с камеры данные и трактовать их как мокап? Тем более, что есть Maxine SDK.

https://medium.com/notchblog/new-nvidia-broadcast-technologies-now-available-in-notch-5c8480e8f35

В общем полку говорящих аватаров, пляшущих в полных рост под дудку ИИ прибывает.
А у меня еще за пазухой есть новости от Сбера. И там такое...

#AR
AR-приглашение на презентацию Apple 20 апреля. Ходят слухи, что покажут VR-гарнитуру и умные AR-очки😎

Интересные AR-штуки от Гугл.
https://experiments.withgoogle.com/collection/webxr
Самая крутая - это Floom.
Наводите телефон на пол, он вам рисует спиральный тоннель, кликаете по нему и вам показывают, что находится на противоположной стороне глобуса. С учетом того, большую часть планеты занимает океан, большая чать пользователей будут в него и попадать.

Там еще есть Picturescape , сервис превращает изображения из «Google Фото» в пространство вокруг пользователя, создавая «парящее слайд-шоу».
Measure Up , виртуальная рулетка для измерения площади, объема и длины вещей вокруг пользователя. Может работать из веба без необходимости скачивать приложение.

Пользователям иФонов просьба не беспокоиться, только Андроид, только ARCore и последняя версия Chrome.

Кому 50 метахьюманов и ранний доступ?
Go Early Access

https://www.unrealengine.com/en-US/metahuman-creator

Пока я исследую чертоги NFT не могу не поделиться этой историей.

Историк искусства Бен Льюис создал NFT арт-объекта - Спасатель Мира, который держит пачку стодолларовых купюр (у Леонардо да Винчи Salvator Mundi держит полупрозрачную сферу).

Предположительно Льюис создал эту работу как насмешку над арт-дилерами и аукционными домами.

Семья Хендри из Батон-Руж, Луизиана, согласно исследованию Льюиса, продала Спасителя за 1175 долларов в 2005 году, получив всего лишь 700 долларов после уплаты сборов.

Арт-дилеры Роберт Саймон и Александр Пэрриш купили это произведение на распродаже в том же году за 10 000 долларов. В 2013 году они продали его более чем за 75 миллионов долларов швейцарскому дилеру Иву Бувье, который тут же перепродал его российскому коллекционеру Дмитрию Рыболовлеву за 127,5 миллиона долларов.

Рыболовлев продал картину на аукционе Christie’s четыре года спустя, заработав более чем 400 миллионов долларов.

Это в 571000 раз больше, чем получили Хендри. А кто-то еще удивляется стоимости NFT.

​​От всевидящего ока к всезнающему богу.
Дроны учат ИИ понимать наши действия.
Даже самые крутые из современных систем распознавания лиц, поз и жестов – просто детские игрушки по сравнению с системами слежки ближайшего будущего. Новое поколение таких систем будет всевидящим оком, скрыться от которого будет не просто.
Более того.
Такие системы будут понимать, что мы делаем – гуляем, читаем, удим рыбу, играем на смартфоне, садимся в машину, открываем зонтик и т.д. и т.п. Они будут способны понимать (!) поступки людей и прогнозировать их ближайшие намерения, подобно всезнающему богу.

Все эти фантастические возможности ИИ получит, если обучать его с помощью данный, собираемых специально оснащенными дронами.

Ведь в чем сейчас заминка? Просто не хватает данных, чтобы научить ИИ понимать поведение человека. Откуда бы этим данным взяться? Не посадишь же тысячи волонтеров неделями, например, открывать и закрывать зонт, чтобы ИИ научился распознавать эти два примитивных действия.

Прорывная идея оказалась в том, что можно использовать дроны, которые будут наблюдать за людьми. Причем не просто смотреть на их действия, а видеть эти действия так, как люди просто не могут: меняя углы зрения, широкоугольным охватом объектива «рыбий глаз» (180+ градусов), ночным видением, RGB, в инфракрасном диапазоне и т.д.

Новейшая разработка – система «Дрон-Человек» (UAV-Human) позволяет собирать море данных о любых действиях людей, решая тем самым проблему наборов данных для обучения ИИ. Данные собираются в различных погодных условиях и в различных модальностях (диапазонах), включая съемку в специальных режимах, когда дрон спускается, движется и вращается или зависает на месте.

И вполне может статься, что очень скоро проблем застреленных полицией по ошибке парней станет куда меньше. Ибо убивать будут уже не они. Всевидящее с неба око за миллисекунды распознает не только остроту инцидента с полицией, но и что за штуку потянул из кармана парень с не самым незапятнанным прошлым. Ну а всезнающий бог еще за несколько миллисекунд вынесет приговор и приведет его в исполнение.

На приложенной картинке реальные примеры видео действий в наборе данных «Дрон-Человек». Первая строка показывает различные модальности данных. Второй и третий ряды показывают две видеопоследовательности значительных движений камеры и вариаций вида, вызванных непрерывно меняющимися ориентациями полета, скоростями и высотами. Последние три строки отображают больше образцов действий этого набора данных, показывая различные виды, места захвата, погоду, масштабы и размытие движения.
https://arxiv.org/abs/2104.00946
#БПЛА #БольшойБрат

Первый сочный обзор MetaHuman Creator.
Да ещё и на русском, да ещё и с подробностями и хорошими комментариями на русском языке.
Го читать и смотреть на дтф.


Как я делал идеальное существо в MetaHuman Creator — инструменте от Epic Games для создания реалистичных людей — Gamedev на DTF
https://dtf.ru/gamedev/703504-kak-ya-delal-idealnoe-sushchestvo-v-metahuman-creator-instrumente-ot-epic-games-dlya-sozdaniya-realistichnyh-lyudey

Интересно, что скоро мокап может стать просто еще одной менюшкой в 3Д софтах. Была бы камера под рукой.
Вот уже и в Touch Designer встроили лицевой мокап на базе Maxine SDK (бывший Nvidia's Face Tracking AR SDK, расширенный и улучшенный). Там прям Face Track CHOP/SOP. Ждем ответа от Худини.
Кстати про Touch Designer - в школе реалтайм прям щас идет набор на курс (17 апреля) по Тачу, уникальный по целому ряду причин:
- во-первых, он первый такой в России - 81 час, 9 недель (занятия очные или через зум, 3 часа вечером по вторникам и 6 по субботам)
- он всеобъемлющ. Если посмотреть программу курса, то в нем есть вообще ВСЕ про Тач, кроме GLSL (по нему будет отдельный курс)
- его ведет Денис Новиков, а Денис - пожалуй, один из самых крутох спецов по Тачу в России.
Кому интересно, подробности тут:
https://realtime.ru/touchdesigner-basics-realtime-school

Для тех, кто забыл (или не знал) как было на онлайне в декабре, то было вот так.
И мы можем и хотим повторить в конце мая. Сегодня последний день дешевых билетов.
https://cgevent.ru/tickets

Видео выше: вот что происходит в мозгу человека, читающего мою ленту. Умнеет за 16 часов чтения.
Шутка.

Nvidia GTC 2021: амбиции растут.

Nvidia анонсировала Morpheus, «облачную» платформу приложений на базе искусственного интеллекта для кибербезопасности.
Morpheus выявляет, фиксирует и устраняет угрозы и аномалии, включая утечки конфиденциальных данных, попытки фишинга и вредоносное ПО. Грубо говоря, отслеживает вторжение в систему. Помните как в Матрице они отслеживали Neo? На видео выглядит ровно также.

Любопытно, что этот сервис Нвидия тоже пилит сама, и таким образом число ее решений на «внешних полянах» становится все больше. И вот уже антивирусы и другие производители софта посматривают на зеленых с опаской.

Ну а история с новым собственным процессором заставляет нервничать уже и железных производителей.

Интересно, увидим ли мы в скором времени, например, зеленые телефоны от Nvidia или ноутбуки от Nvidia. Да что, там видеокамеры от Nvidia! С полным набором ИИ и CV на борту.
Ябкупил

Зеркальные нейроны?

Вот такой вот цифровой Эйнштейн.
Честно сказать, после выхода MetaHuman Creator выглядит уже, как вчерашний день.
А вообще в области digital humans сегодняшний день уже вечером выглядит как вчерашний.
https://digitalhumans.com/digital-einstein/

Потрясающее видео, сделанное с помощью Google Earth, а точнее функции 3D-TimeLapse, которая должна быть уже доступна в новой версии.
Этакая генеративная графика, основанная на реальных спутниковых снимках Земли.
На видео можно посмотреть как менялась Земля с 1984 по 2000 гг. Насколько на ландшафты повлиял климат, а насколько человек. Ну и когда смотришь на все это, то понимаешь, насколько маленький шарик, и насколько можно быстро его укатать.
Чтобы создать трехмерное покадровое изображение Google использовала более 24 миллионов спутниковых снимков, сделанных с 1984 по 2020 год, чтобы создать одну видеомозаику размером 4,4 тера-пикселя.
Вот тут полное видео и некоторые из 800 примеров, которые Гугль выложил для скачивания.
https://www.theverge.com/2021/4/15/22383964/google-earth-3d-timelapse-climate-change

Ух, вот это МетаХьюман!
Тот случай, когда понимаешь, что эмоция - это не только реалистичность, текстурки, освещение и пресловутое моделирование. Это картинка в целом. От подергушек камеры и точной анимации, до ракурсов и работы с блюром.
Да, щас приберут искусствоведы и скажут всёговно, но давайте подумаем, сколько бы времени ушло на создание такой работы год назад.
Ждем дальше, когда поднимут веки взрослые мальчики и доберутся до нового МетаХьюмана.
Cпасибо за наводку каналу @CGIT_Vines
https://www.youtube.com/watch?v=Z_VpV8srwPw

GANverse3D - ворота в Omniverse

Мы уже видели много бумаг про проеобразование 2Д в 3Д, то есть попыток восстановления трехмерного меша из фотографии. Самый выразительный проект даже дорисовывал спину девушки по фотографии спереди.
Но все это было экпериментальное качество и скорее исследовательские разработки.
А теперь на эту поляну приходят взрослые мальчики. Нет, взрослые медведи.
Нет, годзиллы.
В общем на эту поляну приходит Нвидия и неслучайно. Ибо Omniverse, обретающий уже реальные (или виртуальные, я запутался) очертания, требует заселения и застройки нового мира многочисленным трехмерным контентом.
Не намоделишься.
Поэтому Нвидия только что выкатила вот такую штуку:

GANverse3D

Это движок глубокого обучения, который создает 3D-модели из стандартных 2D-изображений и может, например, оживить культовые автомобили, такие как KITT Knight Rider на базе ИИ в NVIDIA Omniverse. GANverse3D, преобразует плоские изображения в реалистичные 3D-модели, которые можно визуализировать и контролировать в любых виртуальных средах и прежде всего в Omniverse.

Посыл такой: помочь архитекторам, дизайнерам, разработчикам игр и просто энтузиастам легко добавлять новые объекты в свои 3Д-миры, не требуя опыта в 3D-моделировании или большого бюджета, который можно потратить на визуализацию.
Также интересно вот это: «Поскольку мы обучались на реальных изображениях, а не на типичном конвейере, который полагается на синтетические данные, модель ИИ лучше обобщается на реальные приложения»

Сначала можно подумать, что это сетка обученная только на автомобилях:
"Чтобы воссоздать машину KITT, разработчики просто скармливали обученной модели изображение автомобиля, позволяя GANverse3D предсказывать соответствующую трехмерную текстурированную сетку, а также различные части автомобиля, такие как колеса и фары. Затем они использовали NVIDIA Omniverse Kit и инструменты NVIDIA PhysX для преобразования предсказанной текстуры в высококачественные материалы, которые придали KITT более реалистичный вид и поместили ее в динамическую последовательность движения"

Однако если почитать внимательно: "GANverse3D можно использовать для преобразования стандартных изображений автомобиля, здания или даже лошади в трехмерную фигуру, которую можно настроить и анимировать в Omniverse."

В общем за моделлеров!

Ассетное мышление, 3Д-стоки, сборка сцен и миров - все как мы любим. А теперь еще 2Д в 3Д.

Подробности тут:
https://blogs.nvidia.com/blog/2021/04/16/gan-research-knight-rider-ai-omniverse/

Будущее рядом: автомобиль Тесла отомстил дядечке за порез колёс и помог ФБР поймать поджигателя церкви Мартина Лютера Кинга-старшего в Спрингфилде, штат Массачусетс. Поджигателем оказался Душко Вулчев, которому не нравились чёрные прихожане.

Одним из доказательств против обвиняемого стали снимки, которые сделала Тесла, когда Вулчев портил на ней колеса.

Фото из уголовного дела.