Перебеседовали с Джамой. Он в деле.
Джама нырнул в Метаверс когда еще про Окулус никто не знал. Он погружал нас в VR и протометаверс прямо в большом зале, создавая ассеты и миры прямо в реальном времени на глазах у зрителей.
Джама раньше всех осознал всю мощь ассетного мышления и создал фабрику по производству ассетов запредельного качества для кино и игр "Big Medium Small".
И после многих лет обитания в Метаверсе Джама нашел способ притаскивать в реальный кожаный мир артефакты из мира виртуального. Осязаемые, настоящие, реальные.
Подробности сами знаете где.

Многие, вернувшись сегодня с ковикул, растерянно поглядели в календарь и увидели, что скидки закончились!
Для таких пострадавших скидки продлены до 9 ноября!

А дальше будут адские обновления в программе и такие же адские цены.

Ну а Метавселенная программы CG EVENT METAVERSE 2021 продолжает расширяться.

Метасталкер Джама Джурабаев.

Мега-титры к "Майор Гром" от студии "Добро".

Нейрофизиология визуального восприятия и основы выживания в метаверсе для одарённых и гениев.

Новые волшебные слова: *Blockchain, DAO, Fractionalization, цифровая недвижимость, соц-сети 2.0, web 3.0, Play2Earn, Bid2Earn, DeFi* от DappCraft

Все про USD и Omniverse от гиков

Виртуальные и синтетические персонажи для новых метавселенных от Mailivar

NFT: новое искусство, венчурная экономика или очередная пирамида от стартаперов

Органические Кристаллы от Данила Криворучко

Making of Love, Death & Robots от Vivix

Вселенная Birchpunk от создателей

Криптоанимация и пилот Take My Muffin от Toonbox

https://cgevent.ru/?p=34277

⭐️Мы возвращаемся с крутыми новостями и открываем регистрацию на второй митап New Layer! Спикеры Wargaming, Кирилл Дроздович и Семен Ажипа, расскажут о том, как мы сделали виртуальную студию для первого стрима, а также, как использовали realtime-движок в клипе Sabaton.

🗓Дата и время: 9 ноября, 17:00 (UTC+3)

✅Регистрация: https://bit.ly/NewLayerReg
После ее прохождения вам будет доступна ссылка на трансляцию и возможность добавить напоминание в календарь.

До встречи!

Сегодня начинается онлайн конференция NVIDIA GTC.

А пока разминаемся вот таким решением уже пристегнутым к Omniverse:
У Нвидии есть инструмент в бета-версии, который позволяет быстро и легко создавать выразительную анимацию лица из одного источника звука или файла. Audio 2Face позволяет генерить анимацию 3D-персонажей для игры, фильма, цифровых помощников в реальном времени и других проектов. Можно в реальном времени или с просчетом.
(Тут опять помянем часть аниматоров).
Примечательно, что Омниверс явно метит в технологическую платформу для создания метаверсов всех цветов и размеров. Там из создание миров и вот уже работа с аватарами (в реальном(на минутку) времени.
Также примечательно, что Диджитал Дага мы уже видели (Digital Domain)
Диджитал Майка тоже - Майк Семур (FX Guide)
Встречайте Диджитал Марка! Нового аватара от Нвидии!
Тонко, а?
https://www.nvidia.com/gtc/

https://www.nvidia.com/en-us/omniverse/apps/audio2face/

https://onsetfacilities.com/ai-real-time-facial-animation-in-nvidia-omniverse/

Вот мне реально интересно, как завтра зажжот Мета-Дженсен?

За стоп-моушен аниматоров. Стоя. Чокаясь.
Это ж какой адский труд, поглядите до конца чтобы понять разницу масштабов времени.

EditGAN: High-Precision Semantic Image Editing

NVidia продолжает наступать на пятки компании Adobe, предложив EditGAN. Этот метод, позволяет пользователям редактировать изображения. EditGAN может манипулировать изображениями с беспрецедентным уровнем детализации и свободы, сохраняя при этом полное качество изображения.

EditGAN - это первая система редактирования изображений на основе GAN, которая одновременно (i) обеспечивает очень высокую точность редактирования, (ii) требует очень мало аннотированных обучающих данных (и не полагается на внешние классификаторы), (iii) может работать интерактивно в реальном времени, (iv) обеспечивает простую композицию нескольких правок, (v) и работает на реальных встроенных, сгенерированных GAN и даже внедоменных изображениях.

код обещают soon

🖥 Проект
📎 Статья

#GAN #editing #images

Пока общими мазками про GTC 2021.

Итак, Дженсен Хуанг бахнул свое видение в области ИИ, робототехники и аватаров Omniverse на своем киноуте для GTС.

Как мы все и ожидали, Хуанг представил NVIDIA Omniverse Avatar(!) и NVIDIA Omniverse Replicator, среди множества других анонсов и демонстраций.

И да, NVIDIA Omniverse позиционируется как платформа для (если буквально по тексту) трехмерных рабочих процессов и объединяет различные ключевые технологии в области цифровых людей и аватаров. Читаем – для создания метаверсов и его обитателей.

Причем в области Аватаров Хуанг сделал акценты не на моделировании, или риге, или конструкторе, а на том, что будет у них под капотом (в мозгах). Ибо, пока все вокруг лепят цифровых инфлюенсеров в чем попало, никто не знает, как их толком оживлять, кроме как на фотках в инстаграме.

А оживлять придется, ибо Метаверс грядет.

И тут Nvidia демонстрирует Omniverse Avatar – это полный фарш из наработок Нвидия в области речевого ИИ, компьютерного зрения, понимания естественного языка, механизмов рекомендаций и технологий моделирования.

Аватары, созданные на платформе - это интерактивные персонажи в 3Д и с рейтрейсом, которые могут видеть, говорить, разговаривать по широкому кругу вопросов и понимать естественные устные коммуникации.

В общем виртуальные Андроиды.

Из примеров Omniverse Avatar:

Project Tokkio – это было весело. Хуанг предстал перед коллегами, участвующим в разговоре в реальном времени, как аватар, созданный в виде игрушечной копии его самого и беседующим на такие темы, как биология и климат. И это было мило и отнюдь не кринжово, в отличие от обрубков от Меты и Микрософта.

NVIDIA DRIVE Concierge и Chauffeur – ИИ-технологии, предназначенные для снятия стресса и напряжения от повседневного вождения. Этакий цифровой опыт(читай нанометаверс) внутри автомобиля. Тема для отдельного поста.

Project Maxine- решение для видеоконференцсвязи, о котором я писал в апреле. Там есть возможность расширения видео и аудио функций в программах для видеозвонков и создания контента. На демо спикер(ша) отображается на видеозвонке в шумной кафе, но ее можно четко слышать без фонового шума. Ее слова транскрибируются в субтиры и переводятся в реальном(!) времени на немецкий, французский и испанский с ее же голосом(!) и интонацией(!).

Подробнее об этих и других проектах в следующих постах.

А пока Нвидия продолжает делать одну из самых сильных, стильных и мощных конференций в онлайне. Без нарциссизма как у Эппле, без воды как у Меты и планктона как у Микрософта.
И там еще столько хардкора впереди.
Вот мои закладки:

-A New Era of Realism: Building Breathtaking Cinematic Renderings in Omniverse
-Bridging Digital Technologies and Visual Storytelling
-GTC 2021 Keynote Rebroadcast
-General Use of GANs for Media & Entertainment
-Imagineering the Metaverse: A Fireside Chat with Disney Imagineer Bei Yang
-Discover iClone to Omniverse: The Complete Character Animation Workflow
-"Exploring Omniverse, USD, and Real-time Rendering to Transform Global Film Production and Workflows"

Ниже видео с демонстрации проекта Tokkio с Nvidia GTC 2021.

Смотрим и помним, что все это в реальном времени. Анимация(вся), липсинк и рейтресный рендер.
В реалтайме.

Наливаем. Встаем. Молчим. Не чокаясь, за аниматоров и далее по списку...

Потом возвращаемся (кто остался) на GTC 2021..

Там, говорят, за бродкастеров выпивают с какой-то Maxine.

Что под капотом у Tokkio:

- Распознавание речи основано на NVIDIA Riva (привет Riva TNT!), пакете разработки программного обеспечения, который распознает речь на нескольких языках. Riva также используется для генерации речевых ответов с использованием возможностей преобразования текста в речь.

- Понимание естественного языка основано на большой языковой модели Megatron 530B, которая может распознавать, понимать и генерировать человеческий язык. Megatron 530B - это предварительно обученная модель, которая может, с минимальным обучением или без него, завершать предложения, отвечать на вопросы большой предметной области, резюмировать длинные сложные истории, переводить на другие языки и воспринимать многие области, в которых она не была(!) специально обучена.

- Механизм рекомендаций предоставляется NVIDIA Merlin, фреймворком, который позволяет компаниям создавать рекомендательные системы глубокого обучения, способные обрабатывать большие объемы данных для составления разумных предложений.

- Возможности восприятия поддерживаются NVIDIA Metropolis, фреймворком компьютерного зрения для видеоаналитики. Го Гуглить!!

- Анимация аватара основана на технологиях NVIDIA Video2Face и Audio2Face, 2D и 3D лицевой анимации и рендеринга, и все это на основе искусственного интеллекта, куда ж без него.

Проект Tokkio! Читаем выше

Tokkio—a “talking kiosk”

Нашим цифровым двойникам в Метаверсе надо где-то жить и на чем-то ездить.
Моделить машинки, мебель и роботов-трансформеров мы худо-бедно научились, но кто научит машинки и роботов правильно ездить и манипулировать?

Правильно, ИИ.

А кто научит ИИ? Правильно синтетические данные. Ибо размечать реальные улицы и города немного затратно.

Поэтому проще построить цифровые двойники и тренировать умные тупые железки на них.

Соответственно, NVIDIA анонсировала на GTC механизм генерации синтетических данных Omniverse Replicator для обучения нашего ИИ.

Первые приложения на основе Omniverse Replicator - это DRIVE Sim и Isaac Sim – для тренировки машинок и роботов- манипуляторов.

Это два виртуальных мира Omniverse, созданные на базе законов физики, позволяют разработчикам запускать модели ИИ, заполнять пробелы в реальных данных и маркировать данные так, как это не могут сделать люди. Данные, генерируемые в этих виртуальных мирах, могут охватывать широкий спектр разнообразных сценариев, включая редкие или опасные условия, которые нельзя безопасно создавать в реальном мире.

Автономные машины и роботы, созданные с использованием этих данных, могут овладевать навыками в различных виртуальных средах, прежде чем применять их в физическом мире.

Omniverse Replicator также позволяет генерировать данные, которые трудно или невозможно маркировать людям, например, скорость, глубину, закрытые объекты, неблагоприятные погодные условия или отслеживание движения объектов между датчиками.

В общем, синтетика – это мета-реальность, на которой ИИ изучает нашу кожаную реальность. А Репликатор – это просто мета-зеркало.
https://nvidianews.nvidia.com/news/nvidia-announces-omniverse-replicator-synthetic-data-generation-engine-for-training-ais

Проект Репликатор! Не путать с Репликантами

На стриме притапливал за то, что рано или поздно мы все будем увешаны датчиками (на одежде ли, под кожей или в часах). И что всю эту ораву данных надо будет обрабатывать, а еще лучше - визуализировать.
Полез читать, что Нвидия выкатила на GTC новый Джетсон - суперкомпьютер размером с ладонь на Ampere, и наткнулся на то, что для обработки этой оравы данных в принципе все готово "снизу". Это платформа с дивным названием Clara Holoscan.

Jetson AGX Orin лежит в основе NVIDIA Clara Holoscan - новой вычислительной платформы для индустрии здравоохранения, которая позволяет разработчикам создавать программно определяемые медицинские устройства, позволяющие запускать потоковые edge-приложения с низкой латентностью. Такая вычислительная мощность необходима устройствам типа компьютерных томографов и камер в отделениях интенсивной терапии, чтобы передавать данные с датчика в конвейер для принятия решений с помощью ИИ. Это позволяет разработчикам создавать микросервисы ИИ, которые запускают потоковые приложения с малой задержкой на устройствах, одновременно передавая более сложные задачи в центр обработки данных.

Зачитался про Холоскан и подумал - вот он цифровой двойник кожаного мешка в чистом виде, порезанный на слайсы в томографе и обновляющийся с датчиков каждую секунду.
Были бы датчики, да Oleg Dre?

Про Джетсон с ладошку:
Построенный на архитектуре Ampere, Jetson AGX Orin обеспечивает в 6 раз большую вычислительную мощность в прежнем форм-факторе и совместим со своим предшественником Jetson AGX Xavier. Будучи размером с ладонь, он выполняет 200 триллионов операций в секунду, что сравнимо с сервером на базе GPU.
https://www.nvidia.com/en-us/clara/medical-devices/

Вторая часть демонстрации проекта Tokkio.

Все-таки чем дальше от антропоморфных аватаров, тем лучше. Зловещая долина превращается в мимими-ущелье.

Но когда смотришь на это (вспоминая, что это не сцена из Минорити репорт, отрендеренная за месяц, а реал-факинг-тайм), то дыхание киберпанка начинает шевелить бумаги на столе.

А перед этим Дженсен обстоятельно говорит, что за этой милой тварью стоит огромный технологический стек. Ибо все это в реальном времени.

А мы пока выпьем за остатки аниматоров детских мультиков.

И тут приподразогнанные владельцы ютюб каналов с треш-анимацией для двухлеток вылезают из могил и взвывают "пиастры!". Ибо качество для ютюба здесь - огонь.

Я малость позеленел сегодня от новостей с GTC 2021. Ибо их есть.

Вот вам видео на ночь, как Тесла воссоздает в 3Д(!) наш утлый мир, пользуясь только(!) своими камерами.

Никаких лидаров, 3Д сканов и вот этого вот всего.

Дижитал Твин на окном, в реальном времени, в 3Д. Вот он, призрачный метаверс, в shaded mode.

Один.

На всех.

Так вот почему биток дважды за сутки пробил 68 тысяч долларов..
Ждем Байдена и соточку.

Когда ИИ спалился, что жрал в Макдональдсе и что кормили его джанкфудом со стоков, бесплатных притом.

Юнити отхватили у Питера Джексона кусок Вета Диджитал.
Жирный.
Весь VFX Tech дивизион.

Эпик такой: эээ, а что так можно было?!

https://variety.com/2021/digital/news/unity-acquires-weta-digital-1235107544/

А вот интересно, что теперь будет с WetaH, WetaM?
WetaU?
MetaWeta?

Unita!

Какой-то ядреный компот получается. Плагины и модули от Веты, софты от Сайдов и Автодеска, и все это под крышей Юнити?

To the Metaverse and beyond, как говорится в этом видео.

А если серьезно, то это еще один признак того, что обустройство Метавселенной вытеснило с питч-арены и ИИ, и бигдату, и криптаверсы.
Все они теперь на побегушках у владычицы морской. Как микросервисы в Метаверсе.