Ну, за аниме-аниматоров! Не чокаясь!
AnimeGANv2 in action.

Кто желает похлестаться в реддите, тому сюда: https://www.reddit.com/r/MachineLearning/comments/qo4kp8/r_p_animeganv2_face_portrait_v2/

Рендер или видео?

Я сначала немного приподупал со стула.
Слева реальная кожаная коспллерша имитирует движения анимационного персонажа из Отеля Трансильвания.

И как!

Да, там сверху навалено фильтров, но кожаная анимация (мимика и тело) впечатляет.

С учетом того, что творит Снап в этой области, я реально начинаю переживать за аниматоров.

Ну вот вам история для размышления.
Когда в конце 90-х мы привезли первый взрослый мокап (Асценшен) на студию Пилот, то был устроен кастинг для мокап-актеров.

Обосрались все.

И только одна категория граждан идеально и с большим отрывом подошла на эту роль.

Знаете кто?

Мимы.

P/S/ А Серега Лобанков, который после этого стал лучшим актером мокапа в России (и одним из лучших в мире), согласился рассказать, какой угар сейчас творится в мире мокапа.

Вот косплеерша: https://twitter.com/seeu_cosplay

Вот Серега: https://cgevent.ru/archives/34239

Звучит, конечно, цинично, но факт остаётся фактом: когда в прошлом году Трэвис Скотт выступал в Fortnite, шоу в реальном времени посмотрели 12 млн человек, инцидентов не было; концерт стал культовым событием, регулярно поминаемым как пример успеха метавселенной. Когда в этом году на его шоу Astroworld в Хьюстоне собрались 50 тысяч, случилась давка и паника, восьмерых задавили насмерть, много людей в больницах, второй день шоу отменили. В некотором смысле и некоторых ситуациях цифровая сторона мира полезней для здоровья, чем материальная.
https://www.nbcnews.com/news/us-news/8-dead-after-panic-houston-astroworld-music-festival-n1283397

Программа расширяется, скидки заканчиваются...
https://www.cgevent.ru/

Обновил википедию...

Перебеседовали с Джамой. Он в деле.
Джама нырнул в Метаверс когда еще про Окулус никто не знал. Он погружал нас в VR и протометаверс прямо в большом зале, создавая ассеты и миры прямо в реальном времени на глазах у зрителей.
Джама раньше всех осознал всю мощь ассетного мышления и создал фабрику по производству ассетов запредельного качества для кино и игр "Big Medium Small".
И после многих лет обитания в Метаверсе Джама нашел способ притаскивать в реальный кожаный мир артефакты из мира виртуального. Осязаемые, настоящие, реальные.
Подробности сами знаете где.

Многие, вернувшись сегодня с ковикул, растерянно поглядели в календарь и увидели, что скидки закончились!
Для таких пострадавших скидки продлены до 9 ноября!

А дальше будут адские обновления в программе и такие же адские цены.

Ну а Метавселенная программы CG EVENT METAVERSE 2021 продолжает расширяться.

Метасталкер Джама Джурабаев.

Мега-титры к "Майор Гром" от студии "Добро".

Нейрофизиология визуального восприятия и основы выживания в метаверсе для одарённых и гениев.

Новые волшебные слова: *Blockchain, DAO, Fractionalization, цифровая недвижимость, соц-сети 2.0, web 3.0, Play2Earn, Bid2Earn, DeFi* от DappCraft

Все про USD и Omniverse от гиков

Виртуальные и синтетические персонажи для новых метавселенных от Mailivar

NFT: новое искусство, венчурная экономика или очередная пирамида от стартаперов

Органические Кристаллы от Данила Криворучко

Making of Love, Death & Robots от Vivix

Вселенная Birchpunk от создателей

Криптоанимация и пилот Take My Muffin от Toonbox

https://cgevent.ru/?p=34277

⭐️Мы возвращаемся с крутыми новостями и открываем регистрацию на второй митап New Layer! Спикеры Wargaming, Кирилл Дроздович и Семен Ажипа, расскажут о том, как мы сделали виртуальную студию для первого стрима, а также, как использовали realtime-движок в клипе Sabaton.

🗓Дата и время: 9 ноября, 17:00 (UTC+3)

✅Регистрация: https://bit.ly/NewLayerReg
После ее прохождения вам будет доступна ссылка на трансляцию и возможность добавить напоминание в календарь.

До встречи!

Сегодня начинается онлайн конференция NVIDIA GTC.

А пока разминаемся вот таким решением уже пристегнутым к Omniverse:
У Нвидии есть инструмент в бета-версии, который позволяет быстро и легко создавать выразительную анимацию лица из одного источника звука или файла. Audio 2Face позволяет генерить анимацию 3D-персонажей для игры, фильма, цифровых помощников в реальном времени и других проектов. Можно в реальном времени или с просчетом.
(Тут опять помянем часть аниматоров).
Примечательно, что Омниверс явно метит в технологическую платформу для создания метаверсов всех цветов и размеров. Там из создание миров и вот уже работа с аватарами (в реальном(на минутку) времени.
Также примечательно, что Диджитал Дага мы уже видели (Digital Domain)
Диджитал Майка тоже - Майк Семур (FX Guide)
Встречайте Диджитал Марка! Нового аватара от Нвидии!
Тонко, а?
https://www.nvidia.com/gtc/

https://www.nvidia.com/en-us/omniverse/apps/audio2face/

https://onsetfacilities.com/ai-real-time-facial-animation-in-nvidia-omniverse/

Вот мне реально интересно, как завтра зажжот Мета-Дженсен?

За стоп-моушен аниматоров. Стоя. Чокаясь.
Это ж какой адский труд, поглядите до конца чтобы понять разницу масштабов времени.

EditGAN: High-Precision Semantic Image Editing

NVidia продолжает наступать на пятки компании Adobe, предложив EditGAN. Этот метод, позволяет пользователям редактировать изображения. EditGAN может манипулировать изображениями с беспрецедентным уровнем детализации и свободы, сохраняя при этом полное качество изображения.

EditGAN - это первая система редактирования изображений на основе GAN, которая одновременно (i) обеспечивает очень высокую точность редактирования, (ii) требует очень мало аннотированных обучающих данных (и не полагается на внешние классификаторы), (iii) может работать интерактивно в реальном времени, (iv) обеспечивает простую композицию нескольких правок, (v) и работает на реальных встроенных, сгенерированных GAN и даже внедоменных изображениях.

код обещают soon

🖥 Проект
📎 Статья

#GAN #editing #images

Пока общими мазками про GTC 2021.

Итак, Дженсен Хуанг бахнул свое видение в области ИИ, робототехники и аватаров Omniverse на своем киноуте для GTС.

Как мы все и ожидали, Хуанг представил NVIDIA Omniverse Avatar(!) и NVIDIA Omniverse Replicator, среди множества других анонсов и демонстраций.

И да, NVIDIA Omniverse позиционируется как платформа для (если буквально по тексту) трехмерных рабочих процессов и объединяет различные ключевые технологии в области цифровых людей и аватаров. Читаем – для создания метаверсов и его обитателей.

Причем в области Аватаров Хуанг сделал акценты не на моделировании, или риге, или конструкторе, а на том, что будет у них под капотом (в мозгах). Ибо, пока все вокруг лепят цифровых инфлюенсеров в чем попало, никто не знает, как их толком оживлять, кроме как на фотках в инстаграме.

А оживлять придется, ибо Метаверс грядет.

И тут Nvidia демонстрирует Omniverse Avatar – это полный фарш из наработок Нвидия в области речевого ИИ, компьютерного зрения, понимания естественного языка, механизмов рекомендаций и технологий моделирования.

Аватары, созданные на платформе - это интерактивные персонажи в 3Д и с рейтрейсом, которые могут видеть, говорить, разговаривать по широкому кругу вопросов и понимать естественные устные коммуникации.

В общем виртуальные Андроиды.

Из примеров Omniverse Avatar:

Project Tokkio – это было весело. Хуанг предстал перед коллегами, участвующим в разговоре в реальном времени, как аватар, созданный в виде игрушечной копии его самого и беседующим на такие темы, как биология и климат. И это было мило и отнюдь не кринжово, в отличие от обрубков от Меты и Микрософта.

NVIDIA DRIVE Concierge и Chauffeur – ИИ-технологии, предназначенные для снятия стресса и напряжения от повседневного вождения. Этакий цифровой опыт(читай нанометаверс) внутри автомобиля. Тема для отдельного поста.

Project Maxine- решение для видеоконференцсвязи, о котором я писал в апреле. Там есть возможность расширения видео и аудио функций в программах для видеозвонков и создания контента. На демо спикер(ша) отображается на видеозвонке в шумной кафе, но ее можно четко слышать без фонового шума. Ее слова транскрибируются в субтиры и переводятся в реальном(!) времени на немецкий, французский и испанский с ее же голосом(!) и интонацией(!).

Подробнее об этих и других проектах в следующих постах.

А пока Нвидия продолжает делать одну из самых сильных, стильных и мощных конференций в онлайне. Без нарциссизма как у Эппле, без воды как у Меты и планктона как у Микрософта.
И там еще столько хардкора впереди.
Вот мои закладки:

-A New Era of Realism: Building Breathtaking Cinematic Renderings in Omniverse
-Bridging Digital Technologies and Visual Storytelling
-GTC 2021 Keynote Rebroadcast
-General Use of GANs for Media & Entertainment
-Imagineering the Metaverse: A Fireside Chat with Disney Imagineer Bei Yang
-Discover iClone to Omniverse: The Complete Character Animation Workflow
-"Exploring Omniverse, USD, and Real-time Rendering to Transform Global Film Production and Workflows"