А вот одно из направлений, которое я ожидаю от развития MetaHumans.
Если исследования института Макса Планка удастся скрестить с Эпиковскими МетаХьюманами - то это будет очередной прорыв в области создания Digital Humans
Институт Макса Планка (мега-авторитетная контора во всем что касается работы с лицами, восстановлением формы, работы со звуком и пр) анонсировал новую модель DECA - восстановление анимируемых(!), еще раз - анимируемых 3Д-шейпов лица по одной фотке.
Learning an Animatable Detailed 3D Face Model from In-The-Wild Images
https://deca.is.tue.mpg.de/
"Мы представляем первый подход, который регрессирует трехмерную форму лица и анимируемые детали, характерные для человека и меняющиеся с выражением лица. Наша модель, DECA (Детальный захват и анимация выражений), обучена создавать карту UV-смещения из низкоразмерного латентного представления, которое состоит из специфичных для человека деталей и общих параметров выражения, в то время как регрессор обучен предсказывать детали, параметры формы, альбедо, выражения, позы и освещения из одного изображения"

То есть все морщины, мешки под глазами, опухший вид - все это будет передаваться вместе с анимацией. Поглядите видео в статье, там перенос эмоций и выражений показан во всей красе.

В общем ждем, когда вся эта фантастика скрестится с реальными тулзами для производства цифровых людей. Кстати, на гитхабе есть код, Институт Макса Планка код на ветер не бросает, а выкладывает на гитхаб.

Так что готовьте ваши лица, их 3Д-отпечатки будут сразу готовы к анимации.

На CG EVENT DIGITAL HUMANS поговорим об этом подробнее.

Интересный фидбек приходит от тех, кто работает с MetaHumans.
Народ ощущает некую .. эмоциональную связь.
Звучит несколько .. нереалистично, но отмахиваться от этого было бы недальновидно, если мы хотим и дальше понимать, в какую сторону будет дальше развиваться все это безобразие.

И тут я продолжу наш дискурс с Дан Золотаренко о том, чем отличаются цифровые люди от анимационных персонажей.

Судя по фидбеку, один из маркеров отличия - появление "отношений" между создателями и созданиями. Да, звучит как вторичный сценарий для уже виденных фильмов и текст для яндекс-дзена, но фидбек не сотрешь, а записывать в психи вполне себе вменяемых друзей я не намерен. Более того, я считаю, что так и должно быть, и что инструмент наконец-то достиг такого уровня интерактивного взаимодействия, что эта связь начинает ощущаться.

И вопрос явно выходит из плоскости cg в область психоанализа.

Тем интереснее.

​​Привет любителям VR! Выше упомянутый институт Макса Планка вместе с Facebook Reality Labs выкатили крутую статью об анимации виртуальных аватаров с проработкой деформации одежды. Результаты огонь!

В отличие от существующих моделей человеческого тела (например, всемирно известной SMPL), предложенная модель симулирует не только деформацию тела при изменении позы, но и реалистичное движение и складки одежды. Работает это все в real-time - 38 FPS на одной RTX Quadro 8000.

На вход подается последовательность скелетов, задающих движение аватара и 3D mesh актёра в стандартной позе. Тут работает сразу несколько нейронных сеток. Одна предсказывает грубую деформацию для сабсета вершин, другая более детальные сдвиги каждой оригинальной вершинки в 3D моделе. Обе используют графовые конволюции, так как преобразуют mesh. Затем две другие сетки моделируют детализированные текстуры и освещение, которое меняется при повороте камеры. Всё это отрисовывается, используя дифференцируемый рендеринг, и сравнивается с кадрами из тренировочных видео.

Обучается такая модель для одного персонажа в течение трёх дней на четырех RTX Quadro 8000, используя примерно 13-минутное тренировочное видео синхронно снятое с сотни камер (!). И для каждого нового аватара все нужно тренировать заново! Плюс актера нужно заранее отсканировать в 3D, вручную разметить жёсткость каждой вершины (для одежды жёсткость ниже чем для кожи) и нарисовать скелет (rigging). Развлечение, кхм, если мягко сказать, не для кухонных датасаентистов. Плюс только в том, что не нужны 3D данные для обучения модели анимации (а обычно нужны), достаточно только 100 синхронных видеопотоков.

Пока тут нужно 100 камер и несколько дней для создания аватара, эта технология далековата до применения обычным пользователем VR-очков у себя дома. Но если представить будущий прогресс (вполне реальный на горизонте 1-2 года): купили вы новомодные VR-очки, отсняли себя с мобилы, подождали денёк, пока на серваке компании все обучится и закешируется, отредачили немного внешность (там убрали пивной животик), и можете шпилить своим цифровым двойником в игры, либо тусить со своими кентами в VR.

Все подробности тут.

Этот текст написал очень хорошо знакомый многим из вас (типа технический) человек. Попробуйте угадать кто (только не подглядывать). Я сам был в шоке, когда получил это. Как же круто, когда люди позволяют себе роскошь поразмышлять не над фичами и тулзами, а над тем, что лежит гораздо глубже.
"Человек начал изображать лицо сразу же, как начал рисовать на сводах древних пещер. Техника, реализм росли, и в истории искусства был не один десяток раз, когда казалось, что совершенство достигнуто и дальше технику развивать некуда. И тогда начинался период экспериментаторства и творческих поисков, и так до новой технической революции, когда цикл запускался заново.
Сегодня мы снова на пороге нового витка этой спирали — так что самое время вспомнить, какие этапы воссоздания лиц уже прошло человечество, лучше осознать, где мы сейчас и куда движемся теперь, и конечно же пофантазировать, о том что нас ждет в будущем и постараться очертить круг задач, которые еще предстоит решить."

Закон Мура все еще действует.
IBM сделала 2-нанометровый чип.
Вот тут подробности: https://www.anandtech.com/show/16656/ibm-creates-first-2nm-chip

В статье говорится, что разработка IBM 2-нм техпроцессов улучшит производительность на 45% при той же мощности или снизит потребление на 75% при той же производительности по сравнению с современными 7-нм процессорами.
Как я понимаю, IBM десять лет назад продала свое производство чипов компании GlobalFoundries и теперь занимается только разработкой (develops IP).

Нейро-Риг в городе!

А вот щас риггерам, аниматорам и эфиксерам одежды стоит приподнапрячся.

Институт Макса планка окончательно распоясался (см вчерашний пост, кстати).
Вместе с Facebook Lab они выпустили работу, где показывают, как выводок нейросетей делает анимацию персонажа принимая на вход движение скелета (читай мокап и ручную анимацию).
Грубо говоря, это Нейро-Риг.
Причем на выходе не только деформация туши персонажа (по нашему скининг), но и деформация одежды (без всякой симуляции и вот этого вот всего). Просто все эти безнравственные нейросетки уже обучены заранее и "знают" как надо двигать нужные вершины мешей (туши и одежды).
И все это работает, внимание, в реалтайме! Ну точнее инференс там 38FPS на AMD EPYC 7502P processing unit and a Nvidia Quadro RTX 8000. Так что на Гефорсах тоже будет >24fps.
И там еще и дифференциальный рендеринг с учетом освещения и генерацией текстур, содранных с 3Д-скана актера.

Также стоит упомянуть, почитав пдф, что сетап такого персонажа недешев и нескор. Они там берут 100 штук 4К камер и снимают 13 минут обучающего видео, для того чтобы получить данные о каждом новом персонаже, и также делают 3Д скан актеришки. А потом, о боги, сажают уволенных за ненадобностью риггеров, которые красят веса скинов туловища и вертексов одежды (дохнуло буднями анимации). И так для каждого перса. А потом берется 4 NVIDIA Quadro RTX 8000 with 48GB of memory и считается 4 дня (We iterate 720,000
times which takes 4 days)

Зато после этого свежеиспеченный персонаж может петь и плясать в реальном времени.

А теперь берем калькулятор и считаем, что дешевле - кожаный риггер с майской лицензией или вот это вот добро выше. Риггер, зараза, конечно просить есть, пить и спать. Но похоже пока дешевле содержать его в хозяйстве.
Впрочем, все мы стремительно катимся в сторону сервисов, так что, возможно, скоро наряду с рендерфермами, появятся (близкие к телу нвидия) фермы по разведению вот таких вот нейроперсонажей на реалтаймовых нейроригах. Ну и осталось уговорить Эпик и Автодеск вструмить вот это вот все внутрь своих продуктов. А Блендер и сам подтянется.

Ну и вкупе со вчерашней работой от Макса Планка, где по одному селфи вы получали меш своей морды, готовый к анимации, эти фермы персонажей будут плодить как ваши копии в полный рост, так и все ваши влажные фантазии. С нейроригом внутри.

Которыми мы заселим весь этот грядущий омниверс.
Метахуманы грядут...

Вот тут вся инфо: https://people.mpi-inf.mpg.de/~mhaberma/projects/2021-ddc/

Какой кайфовый ролик, идеально иллюстрирующий концепт заселения параллельного мира диджитал хуманами (и даже котами).
Пока вы тут втыкаете в мониторы и телефоны, ваши цифровые двойники ведут насыщенную, полную солнца и тепла виртуальную жизнь.
Айда на диджитал пляж, на дворе цифровое лето. https://youtu.be/MWAGNisWvFc

Люблю потроллить владельцев ифонов.
В прошлом году сидел два месяца на нем, пока ждал новый хуавей.
Сбежал в ужасе.
А теперь вот такие сюрпризы.

Выпущенный осенью 2018 года iPhone XR превзошел более свежие iPhone 11 и iPhone 12 в тестах производительности

В разных тестах iPhone XR набрал больше баллов, чем его последователи, в частности, лучший результат был зафиксирован во многоядерном тесте Geekbench и Wild Life в 3DMark.

В тестах на время загрузки, скорость открытия приложений, рендеринг видео новые аппараты тоже обосрались по сравнению со старичком из 2018.

А народ уже занимает очереди за новыми моделями...

Почему эппле ещё не делает AppleCoin?
https://www.zdnet.com/article/iphone-xr-beats-iphone-11-and-iphone-12-in-benchmark-tests/

Очередной рывок дипфейков в сторону полной девальвации доверия к картинке.
Всё, что вам нужно - это набрать новый текст, который вы хотите вложить в уста президента.. ээ.. оппонента.
Дальше ИИ сам сгенерит липсинк, скорректирует(!) мимику, добавит жесты и даже может по вашему голосу сгенерить не только нужную аудио дорожку, но и недостающие слова.
В общем есть у вас видео, на котором человек говорит "нефть дорожает, доллар должен падать", и все что вам надо это набить дрожащим пальцем "рубль никогда не растёт, держитесь там"
А дальше ИИ и голос сгенерит, и видео поправит и подмигнет сочувственно.

Достаточно глянуть первую минуту, чтобы поверить.

https://youtu.be/iXqLTJFTUGc

TikTok, Zoom, Spotify, Snap, MS Remote Desktop и MS One Note в официальном магазине Oculus??

Ну все, можно не вылезать из шлемака.

Если они реально запустят туда все аппы для андроид, то это с одной стороны будет экологическая катастрофа и перенаселение уютного vr-мирка, а с другой стороны будет резкий рост эко системы.

https://telegra.ph/Oculus-testiruet-Android-prilozheniya-dlya-Quest-2-05-10

https://cgevent.ru/archives/33684
Давно читаю канал Сергея Карелова "Малоизвестное интересное" (@theworldisnoteasy).
Я знаю Сергея еще с 90-х, когда он возглавлял российский офис Silicon Graphics, а я осваивал азы Power Animator на SGI Indy в Steepler Graphics Group. Бывал в офисе SGI, где познакомился с Евгений Агарков и другими ребятами из удивительной компании.
Размышляя над DIGITAL HUMANS и думая над программой конференции, я вдруг понял, что выступление Сергея украсит наш графический киберпанк малоизвестной, но очень интересной футурологией.
Я написал Сергею и он, к моей несказанной радости, согласился.
https://cgevent.ru/archives/33684

Хотите узнать как устроена Digital Human Group в Digital Domain? Приходите.
Заодно узнаете про то как родился Masquerade I, как он превратился в Masquerade II и как потом трансформировался в Masquerade Live.
Чем занимается Autonomous Virtual Human и как дипфейки привели к появлению Шарлатана.
Короче, как там внутри все устроено. Под капотом. На русском.
https://cgevent.ru/archives/33719
И лучше успеть до 15 мая.

Интересно, как история движется по спирали.

В нулевых появились первые симуляторы одежды и волос. Там речь не шла о реалтайме, там было чудо, что все это вообще работает. Шьешь одежду в Maya Cloth, нажимаешь кнопку Play и она, зараза, потихоньку усаживается на персонаж, главное в нужный момент сказать "стопэ" и принять эту форму как новую одежду. А дальше пытаться шевелить персонаж и смотреть, как все эти партиклы на пружинках будут носиться вслед за движениями тела. Магия была в симуляции как таковой. Что все это автоматом. К черту детали, это как-то работало. Примерно также было с волосами, через пару лет.

А сейчас, то и дело вспыхивают анонсы "реалтаймовая одежда для UE", "груминг в реальном времени". Да, похоже пришло время, когда все старые фишки, прикрученные к DCC-софтам еще в нулевых, получают новые жизни - только теперь они крутятся в реальном времени. Без вот этого вот всего: симуляция, кеш, плейбек. И теперь под капотом GPU-ускорение и даже местами реалтаймовый рендер. История разгоняется до 30fps.

3D тупо переползает в реалтайм. Причем, как оказалось, недостаточно проапгрейдить железо, чтобы традиционные софты могли наконец-то разогнаться и фигачить в реалтайме. Требуются как новые подходы к самим солверам (включая то же GPU-ускорение), так и подходы к интерфейсу и удобству работы.
Вот интересный материал про triMirror 3D Draper, солвер одежды, которому уже 10 лет. Но который сумели прикрутить к Epic MetaHumans (через UE widget). У них там никакого ИИ, традиционный mass-spring и старомодное ограничение на 32k vertex limit.
Но будучи прикрученным к UE и MetaHumans, 3D Draper получает, как говаривали в старину, хорошую прессу и анонс в духе нулевых - еще один движок одежды, но уже на новый лад.
Хотя видео явно из прошлого.

https://www.fxguide.com/quicktakes/trimirror-looks-to-dress-metahumans-in-real-time/

И сдается мне последнее слово будет прежде всего на Эпиками, ибо прикручивать волосы и одежду к чужому API и уже тем более в реалтайме - это отвага и безумие, а вот к своему API - вполне себе задача для новых версий. Ну и Марвелоус тоже должен как-то расчехлиться, ибо отсиживаться в омуте традиционных пакетов становится неблагоразумно. Новые агрессивные игроки выпрыгивают на реалтаймовый рынок, а тема одежды стреляет неожиданно стремительно. Ибо всех этих нарождающихся DIGITAL HUMANS надо во что-то одевать, и желательно побыстрее, в реальном времени.
Ну и, кстати, у нас на Ивенте про одежду будет, и немало: https://cgevent.ru/?p=33257
Сейчас поищу ссылке про прогресс в области Cloth Solvers - там очень наглядно:

https://www.youtube.com/watch?v=rzIiuGrOZAo

Сегодня, во вторник, 11 мая, в 20-00 по москве буду жечь про весь наш визуальный киберпанк. Часть из моих боянов вы уже наверняка тут читали, но думаю, что благодаря неожиданным вопросам от @k8boss меня занесет в полный deep mind и мы набрейнстормим сто тыщ идей дня стартапов (как это у меня тут обычно бывает).
https://youtu.be/xUnWENvn16U
Обложко - огоньогонь.

Просто охеревшее преобразование видео из GTA V в реалистичное с помощью нейронок. Получается очень правдоподобно!

Все подробности в свежей статье от Intel Research и Владлена Колтуна (он, кстати, говорит по-русски).

Больше сравнений и результатов тут.

Вчера на стриме с @k8boss гадали, наступил киберпанк или ещё нет.
Илон развёл сомнения.
Тесла за doge-coin..

В общем-то, если вы помните, у facebook reality labs была разработка по переносу анимации глаз и мимики с датчиков VR шлемов на виртуальных аватаров, дак вот теперь на сигграфе показали прикрученный риалтаймовый релайт на основе датчиков с камер.

Полное видео