​​Привет любителям VR! Выше упомянутый институт Макса Планка вместе с Facebook Reality Labs выкатили крутую статью об анимации виртуальных аватаров с проработкой деформации одежды. Результаты огонь!

В отличие от существующих моделей человеческого тела (например, всемирно известной SMPL), предложенная модель симулирует не только деформацию тела при изменении позы, но и реалистичное движение и складки одежды. Работает это все в real-time - 38 FPS на одной RTX Quadro 8000.

На вход подается последовательность скелетов, задающих движение аватара и 3D mesh актёра в стандартной позе. Тут работает сразу несколько нейронных сеток. Одна предсказывает грубую деформацию для сабсета вершин, другая более детальные сдвиги каждой оригинальной вершинки в 3D моделе. Обе используют графовые конволюции, так как преобразуют mesh. Затем две другие сетки моделируют детализированные текстуры и освещение, которое меняется при повороте камеры. Всё это отрисовывается, используя дифференцируемый рендеринг, и сравнивается с кадрами из тренировочных видео.

Обучается такая модель для одного персонажа в течение трёх дней на четырех RTX Quadro 8000, используя примерно 13-минутное тренировочное видео синхронно снятое с сотни камер (!). И для каждого нового аватара все нужно тренировать заново! Плюс актера нужно заранее отсканировать в 3D, вручную разметить жёсткость каждой вершины (для одежды жёсткость ниже чем для кожи) и нарисовать скелет (rigging). Развлечение, кхм, если мягко сказать, не для кухонных датасаентистов. Плюс только в том, что не нужны 3D данные для обучения модели анимации (а обычно нужны), достаточно только 100 синхронных видеопотоков.

Пока тут нужно 100 камер и несколько дней для создания аватара, эта технология далековата до применения обычным пользователем VR-очков у себя дома. Но если представить будущий прогресс (вполне реальный на горизонте 1-2 года): купили вы новомодные VR-очки, отсняли себя с мобилы, подождали денёк, пока на серваке компании все обучится и закешируется, отредачили немного внешность (там убрали пивной животик), и можете шпилить своим цифровым двойником в игры, либо тусить со своими кентами в VR.

Все подробности тут.

Этот текст написал очень хорошо знакомый многим из вас (типа технический) человек. Попробуйте угадать кто (только не подглядывать). Я сам был в шоке, когда получил это. Как же круто, когда люди позволяют себе роскошь поразмышлять не над фичами и тулзами, а над тем, что лежит гораздо глубже.
"Человек начал изображать лицо сразу же, как начал рисовать на сводах древних пещер. Техника, реализм росли, и в истории искусства был не один десяток раз, когда казалось, что совершенство достигнуто и дальше технику развивать некуда. И тогда начинался период экспериментаторства и творческих поисков, и так до новой технической революции, когда цикл запускался заново.
Сегодня мы снова на пороге нового витка этой спирали — так что самое время вспомнить, какие этапы воссоздания лиц уже прошло человечество, лучше осознать, где мы сейчас и куда движемся теперь, и конечно же пофантазировать, о том что нас ждет в будущем и постараться очертить круг задач, которые еще предстоит решить."

Закон Мура все еще действует.
IBM сделала 2-нанометровый чип.
Вот тут подробности: https://www.anandtech.com/show/16656/ibm-creates-first-2nm-chip

В статье говорится, что разработка IBM 2-нм техпроцессов улучшит производительность на 45% при той же мощности или снизит потребление на 75% при той же производительности по сравнению с современными 7-нм процессорами.
Как я понимаю, IBM десять лет назад продала свое производство чипов компании GlobalFoundries и теперь занимается только разработкой (develops IP).

Нейро-Риг в городе!

А вот щас риггерам, аниматорам и эфиксерам одежды стоит приподнапрячся.

Институт Макса планка окончательно распоясался (см вчерашний пост, кстати).
Вместе с Facebook Lab они выпустили работу, где показывают, как выводок нейросетей делает анимацию персонажа принимая на вход движение скелета (читай мокап и ручную анимацию).
Грубо говоря, это Нейро-Риг.
Причем на выходе не только деформация туши персонажа (по нашему скининг), но и деформация одежды (без всякой симуляции и вот этого вот всего). Просто все эти безнравственные нейросетки уже обучены заранее и "знают" как надо двигать нужные вершины мешей (туши и одежды).
И все это работает, внимание, в реалтайме! Ну точнее инференс там 38FPS на AMD EPYC 7502P processing unit and a Nvidia Quadro RTX 8000. Так что на Гефорсах тоже будет >24fps.
И там еще и дифференциальный рендеринг с учетом освещения и генерацией текстур, содранных с 3Д-скана актера.

Также стоит упомянуть, почитав пдф, что сетап такого персонажа недешев и нескор. Они там берут 100 штук 4К камер и снимают 13 минут обучающего видео, для того чтобы получить данные о каждом новом персонаже, и также делают 3Д скан актеришки. А потом, о боги, сажают уволенных за ненадобностью риггеров, которые красят веса скинов туловища и вертексов одежды (дохнуло буднями анимации). И так для каждого перса. А потом берется 4 NVIDIA Quadro RTX 8000 with 48GB of memory и считается 4 дня (We iterate 720,000
times which takes 4 days)

Зато после этого свежеиспеченный персонаж может петь и плясать в реальном времени.

А теперь берем калькулятор и считаем, что дешевле - кожаный риггер с майской лицензией или вот это вот добро выше. Риггер, зараза, конечно просить есть, пить и спать. Но похоже пока дешевле содержать его в хозяйстве.
Впрочем, все мы стремительно катимся в сторону сервисов, так что, возможно, скоро наряду с рендерфермами, появятся (близкие к телу нвидия) фермы по разведению вот таких вот нейроперсонажей на реалтаймовых нейроригах. Ну и осталось уговорить Эпик и Автодеск вструмить вот это вот все внутрь своих продуктов. А Блендер и сам подтянется.

Ну и вкупе со вчерашней работой от Макса Планка, где по одному селфи вы получали меш своей морды, готовый к анимации, эти фермы персонажей будут плодить как ваши копии в полный рост, так и все ваши влажные фантазии. С нейроригом внутри.

Которыми мы заселим весь этот грядущий омниверс.
Метахуманы грядут...

Вот тут вся инфо: https://people.mpi-inf.mpg.de/~mhaberma/projects/2021-ddc/

Какой кайфовый ролик, идеально иллюстрирующий концепт заселения параллельного мира диджитал хуманами (и даже котами).
Пока вы тут втыкаете в мониторы и телефоны, ваши цифровые двойники ведут насыщенную, полную солнца и тепла виртуальную жизнь.
Айда на диджитал пляж, на дворе цифровое лето. https://youtu.be/MWAGNisWvFc

Люблю потроллить владельцев ифонов.
В прошлом году сидел два месяца на нем, пока ждал новый хуавей.
Сбежал в ужасе.
А теперь вот такие сюрпризы.

Выпущенный осенью 2018 года iPhone XR превзошел более свежие iPhone 11 и iPhone 12 в тестах производительности

В разных тестах iPhone XR набрал больше баллов, чем его последователи, в частности, лучший результат был зафиксирован во многоядерном тесте Geekbench и Wild Life в 3DMark.

В тестах на время загрузки, скорость открытия приложений, рендеринг видео новые аппараты тоже обосрались по сравнению со старичком из 2018.

А народ уже занимает очереди за новыми моделями...

Почему эппле ещё не делает AppleCoin?
https://www.zdnet.com/article/iphone-xr-beats-iphone-11-and-iphone-12-in-benchmark-tests/

Очередной рывок дипфейков в сторону полной девальвации доверия к картинке.
Всё, что вам нужно - это набрать новый текст, который вы хотите вложить в уста президента.. ээ.. оппонента.
Дальше ИИ сам сгенерит липсинк, скорректирует(!) мимику, добавит жесты и даже может по вашему голосу сгенерить не только нужную аудио дорожку, но и недостающие слова.
В общем есть у вас видео, на котором человек говорит "нефть дорожает, доллар должен падать", и все что вам надо это набить дрожащим пальцем "рубль никогда не растёт, держитесь там"
А дальше ИИ и голос сгенерит, и видео поправит и подмигнет сочувственно.

Достаточно глянуть первую минуту, чтобы поверить.

https://youtu.be/iXqLTJFTUGc

TikTok, Zoom, Spotify, Snap, MS Remote Desktop и MS One Note в официальном магазине Oculus??

Ну все, можно не вылезать из шлемака.

Если они реально запустят туда все аппы для андроид, то это с одной стороны будет экологическая катастрофа и перенаселение уютного vr-мирка, а с другой стороны будет резкий рост эко системы.

https://telegra.ph/Oculus-testiruet-Android-prilozheniya-dlya-Quest-2-05-10

https://cgevent.ru/archives/33684
Давно читаю канал Сергея Карелова "Малоизвестное интересное" (@theworldisnoteasy).
Я знаю Сергея еще с 90-х, когда он возглавлял российский офис Silicon Graphics, а я осваивал азы Power Animator на SGI Indy в Steepler Graphics Group. Бывал в офисе SGI, где познакомился с Евгений Агарков и другими ребятами из удивительной компании.
Размышляя над DIGITAL HUMANS и думая над программой конференции, я вдруг понял, что выступление Сергея украсит наш графический киберпанк малоизвестной, но очень интересной футурологией.
Я написал Сергею и он, к моей несказанной радости, согласился.
https://cgevent.ru/archives/33684

Хотите узнать как устроена Digital Human Group в Digital Domain? Приходите.
Заодно узнаете про то как родился Masquerade I, как он превратился в Masquerade II и как потом трансформировался в Masquerade Live.
Чем занимается Autonomous Virtual Human и как дипфейки привели к появлению Шарлатана.
Короче, как там внутри все устроено. Под капотом. На русском.
https://cgevent.ru/archives/33719
И лучше успеть до 15 мая.

Интересно, как история движется по спирали.

В нулевых появились первые симуляторы одежды и волос. Там речь не шла о реалтайме, там было чудо, что все это вообще работает. Шьешь одежду в Maya Cloth, нажимаешь кнопку Play и она, зараза, потихоньку усаживается на персонаж, главное в нужный момент сказать "стопэ" и принять эту форму как новую одежду. А дальше пытаться шевелить персонаж и смотреть, как все эти партиклы на пружинках будут носиться вслед за движениями тела. Магия была в симуляции как таковой. Что все это автоматом. К черту детали, это как-то работало. Примерно также было с волосами, через пару лет.

А сейчас, то и дело вспыхивают анонсы "реалтаймовая одежда для UE", "груминг в реальном времени". Да, похоже пришло время, когда все старые фишки, прикрученные к DCC-софтам еще в нулевых, получают новые жизни - только теперь они крутятся в реальном времени. Без вот этого вот всего: симуляция, кеш, плейбек. И теперь под капотом GPU-ускорение и даже местами реалтаймовый рендер. История разгоняется до 30fps.

3D тупо переползает в реалтайм. Причем, как оказалось, недостаточно проапгрейдить железо, чтобы традиционные софты могли наконец-то разогнаться и фигачить в реалтайме. Требуются как новые подходы к самим солверам (включая то же GPU-ускорение), так и подходы к интерфейсу и удобству работы.
Вот интересный материал про triMirror 3D Draper, солвер одежды, которому уже 10 лет. Но который сумели прикрутить к Epic MetaHumans (через UE widget). У них там никакого ИИ, традиционный mass-spring и старомодное ограничение на 32k vertex limit.
Но будучи прикрученным к UE и MetaHumans, 3D Draper получает, как говаривали в старину, хорошую прессу и анонс в духе нулевых - еще один движок одежды, но уже на новый лад.
Хотя видео явно из прошлого.

https://www.fxguide.com/quicktakes/trimirror-looks-to-dress-metahumans-in-real-time/

И сдается мне последнее слово будет прежде всего на Эпиками, ибо прикручивать волосы и одежду к чужому API и уже тем более в реалтайме - это отвага и безумие, а вот к своему API - вполне себе задача для новых версий. Ну и Марвелоус тоже должен как-то расчехлиться, ибо отсиживаться в омуте традиционных пакетов становится неблагоразумно. Новые агрессивные игроки выпрыгивают на реалтаймовый рынок, а тема одежды стреляет неожиданно стремительно. Ибо всех этих нарождающихся DIGITAL HUMANS надо во что-то одевать, и желательно побыстрее, в реальном времени.
Ну и, кстати, у нас на Ивенте про одежду будет, и немало: https://cgevent.ru/?p=33257
Сейчас поищу ссылке про прогресс в области Cloth Solvers - там очень наглядно:

https://www.youtube.com/watch?v=rzIiuGrOZAo

Сегодня, во вторник, 11 мая, в 20-00 по москве буду жечь про весь наш визуальный киберпанк. Часть из моих боянов вы уже наверняка тут читали, но думаю, что благодаря неожиданным вопросам от @k8boss меня занесет в полный deep mind и мы набрейнстормим сто тыщ идей дня стартапов (как это у меня тут обычно бывает).
https://youtu.be/xUnWENvn16U
Обложко - огоньогонь.

Просто охеревшее преобразование видео из GTA V в реалистичное с помощью нейронок. Получается очень правдоподобно!

Все подробности в свежей статье от Intel Research и Владлена Колтуна (он, кстати, говорит по-русски).

Больше сравнений и результатов тут.

Вчера на стриме с @k8boss гадали, наступил киберпанк или ещё нет.
Илон развёл сомнения.
Тесла за doge-coin..

В общем-то, если вы помните, у facebook reality labs была разработка по переносу анимации глаз и мимики с датчиков VR шлемов на виртуальных аватаров, дак вот теперь на сигграфе показали прикрученный риалтаймовый релайт на основе датчиков с камер.

Полное видео

А вот это забавно. Дефицит чипов и перебои в поставках заставляют шевелиться взрослых мальчиков.

Apple, Microsoft Corp, Google, и примкнувшие к ним AT&T, Cisco Systems, General Electric, Hewlett Packard Enterprise, Verizon Communications Inc., присоединяются к ведущим производителям микросхем, таким как Intel, чтобы создать новую группу лоббистов и требовать государственных субсидий на производство микросхем.

Недавно созданная Semiconductors in America Coalition, в которую также входит Amazon, заявила во вторник, что обратилась к законодателям США с просьбой предоставить финансирование для закона «CHIPS for America Act,», для которого президент Джо Байден попросил Конгресс предоставить 50 миллиардов долларов.

«Надежное финансирование Закона CHIPS поможет Америке создать дополнительный потенциал, необходимый для создания более устойчивых цепочек поставок, чтобы гарантировать, что критически важные технологии будут там, когда они нам понадобятся», - говорится в письме группы лидерам демократов и республиканцев в обеих палатах Конгресса. Конгресс США.

При этом автомобильное лобби потребовало от администрации Байдена обеспечить поставку чипов для автомобильных заводов. Но на прошлой неделе агентство Reuters сообщило, что официальные лица администрации неохотно использовали закон о национальной безопасности для перенаправления компьютерных чипов автопроизводителям, потому что это могло нанести ущерб другим отраслям.

Всем сестрам по чипам. Которых нет.

https://www.reuters.com/technology/tech-giants-join-call-funding-us-chip-production-2021-05-11/

GoogleAI выкатил обновление своей риалтайм системы распознавания позы человека BlazePose. Быстрее, точнее, сильнее!

Теперь BlazePose превосходит по качеству не только Apple Vision, но и серверный AlphaPose, при этом оставаясь в реальном времени как на телефоне, так и в браузере. Есть легка и тяжелая версия модели — на все случаи жизни.

Потыкать в веб-демо на жабаскрипте можно тут. Как запустить на Python, JS, Android and iOS читать тут.

Пы сы, не многие знают, но проектом BlazePose в GooleAI сейчас занимаются ребята из бывшего белорусского стартапа AIMATTER, который гугл купил в 2017 году.