Ниже видео с демонстрации проекта Tokkio с Nvidia GTC 2021.

Смотрим и помним, что все это в реальном времени. Анимация(вся), липсинк и рейтресный рендер.
В реалтайме.

Наливаем. Встаем. Молчим. Не чокаясь, за аниматоров и далее по списку...

Потом возвращаемся (кто остался) на GTC 2021..

Там, говорят, за бродкастеров выпивают с какой-то Maxine.

Что под капотом у Tokkio:

- Распознавание речи основано на NVIDIA Riva (привет Riva TNT!), пакете разработки программного обеспечения, который распознает речь на нескольких языках. Riva также используется для генерации речевых ответов с использованием возможностей преобразования текста в речь.

- Понимание естественного языка основано на большой языковой модели Megatron 530B, которая может распознавать, понимать и генерировать человеческий язык. Megatron 530B - это предварительно обученная модель, которая может, с минимальным обучением или без него, завершать предложения, отвечать на вопросы большой предметной области, резюмировать длинные сложные истории, переводить на другие языки и воспринимать многие области, в которых она не была(!) специально обучена.

- Механизм рекомендаций предоставляется NVIDIA Merlin, фреймворком, который позволяет компаниям создавать рекомендательные системы глубокого обучения, способные обрабатывать большие объемы данных для составления разумных предложений.

- Возможности восприятия поддерживаются NVIDIA Metropolis, фреймворком компьютерного зрения для видеоаналитики. Го Гуглить!!

- Анимация аватара основана на технологиях NVIDIA Video2Face и Audio2Face, 2D и 3D лицевой анимации и рендеринга, и все это на основе искусственного интеллекта, куда ж без него.

Проект Tokkio! Читаем выше

Tokkio—a “talking kiosk”

Нашим цифровым двойникам в Метаверсе надо где-то жить и на чем-то ездить.
Моделить машинки, мебель и роботов-трансформеров мы худо-бедно научились, но кто научит машинки и роботов правильно ездить и манипулировать?

Правильно, ИИ.

А кто научит ИИ? Правильно синтетические данные. Ибо размечать реальные улицы и города немного затратно.

Поэтому проще построить цифровые двойники и тренировать умные тупые железки на них.

Соответственно, NVIDIA анонсировала на GTC механизм генерации синтетических данных Omniverse Replicator для обучения нашего ИИ.

Первые приложения на основе Omniverse Replicator - это DRIVE Sim и Isaac Sim – для тренировки машинок и роботов- манипуляторов.

Это два виртуальных мира Omniverse, созданные на базе законов физики, позволяют разработчикам запускать модели ИИ, заполнять пробелы в реальных данных и маркировать данные так, как это не могут сделать люди. Данные, генерируемые в этих виртуальных мирах, могут охватывать широкий спектр разнообразных сценариев, включая редкие или опасные условия, которые нельзя безопасно создавать в реальном мире.

Автономные машины и роботы, созданные с использованием этих данных, могут овладевать навыками в различных виртуальных средах, прежде чем применять их в физическом мире.

Omniverse Replicator также позволяет генерировать данные, которые трудно или невозможно маркировать людям, например, скорость, глубину, закрытые объекты, неблагоприятные погодные условия или отслеживание движения объектов между датчиками.

В общем, синтетика – это мета-реальность, на которой ИИ изучает нашу кожаную реальность. А Репликатор – это просто мета-зеркало.
https://nvidianews.nvidia.com/news/nvidia-announces-omniverse-replicator-synthetic-data-generation-engine-for-training-ais

Проект Репликатор! Не путать с Репликантами

На стриме притапливал за то, что рано или поздно мы все будем увешаны датчиками (на одежде ли, под кожей или в часах). И что всю эту ораву данных надо будет обрабатывать, а еще лучше - визуализировать.
Полез читать, что Нвидия выкатила на GTC новый Джетсон - суперкомпьютер размером с ладонь на Ampere, и наткнулся на то, что для обработки этой оравы данных в принципе все готово "снизу". Это платформа с дивным названием Clara Holoscan.

Jetson AGX Orin лежит в основе NVIDIA Clara Holoscan - новой вычислительной платформы для индустрии здравоохранения, которая позволяет разработчикам создавать программно определяемые медицинские устройства, позволяющие запускать потоковые edge-приложения с низкой латентностью. Такая вычислительная мощность необходима устройствам типа компьютерных томографов и камер в отделениях интенсивной терапии, чтобы передавать данные с датчика в конвейер для принятия решений с помощью ИИ. Это позволяет разработчикам создавать микросервисы ИИ, которые запускают потоковые приложения с малой задержкой на устройствах, одновременно передавая более сложные задачи в центр обработки данных.

Зачитался про Холоскан и подумал - вот он цифровой двойник кожаного мешка в чистом виде, порезанный на слайсы в томографе и обновляющийся с датчиков каждую секунду.
Были бы датчики, да Oleg Dre?

Про Джетсон с ладошку:
Построенный на архитектуре Ampere, Jetson AGX Orin обеспечивает в 6 раз большую вычислительную мощность в прежнем форм-факторе и совместим со своим предшественником Jetson AGX Xavier. Будучи размером с ладонь, он выполняет 200 триллионов операций в секунду, что сравнимо с сервером на базе GPU.
https://www.nvidia.com/en-us/clara/medical-devices/

Вторая часть демонстрации проекта Tokkio.

Все-таки чем дальше от антропоморфных аватаров, тем лучше. Зловещая долина превращается в мимими-ущелье.

Но когда смотришь на это (вспоминая, что это не сцена из Минорити репорт, отрендеренная за месяц, а реал-факинг-тайм), то дыхание киберпанка начинает шевелить бумаги на столе.

А перед этим Дженсен обстоятельно говорит, что за этой милой тварью стоит огромный технологический стек. Ибо все это в реальном времени.

А мы пока выпьем за остатки аниматоров детских мультиков.

И тут приподразогнанные владельцы ютюб каналов с треш-анимацией для двухлеток вылезают из могил и взвывают "пиастры!". Ибо качество для ютюба здесь - огонь.

Я малость позеленел сегодня от новостей с GTC 2021. Ибо их есть.

Вот вам видео на ночь, как Тесла воссоздает в 3Д(!) наш утлый мир, пользуясь только(!) своими камерами.

Никаких лидаров, 3Д сканов и вот этого вот всего.

Дижитал Твин на окном, в реальном времени, в 3Д. Вот он, призрачный метаверс, в shaded mode.

Один.

На всех.

Так вот почему биток дважды за сутки пробил 68 тысяч долларов..
Ждем Байдена и соточку.

Когда ИИ спалился, что жрал в Макдональдсе и что кормили его джанкфудом со стоков, бесплатных притом.

Юнити отхватили у Питера Джексона кусок Вета Диджитал.
Жирный.
Весь VFX Tech дивизион.

Эпик такой: эээ, а что так можно было?!

https://variety.com/2021/digital/news/unity-acquires-weta-digital-1235107544/

А вот интересно, что теперь будет с WetaH, WetaM?
WetaU?
MetaWeta?

Unita!

Какой-то ядреный компот получается. Плагины и модули от Веты, софты от Сайдов и Автодеска, и все это под крышей Юнити?

To the Metaverse and beyond, как говорится в этом видео.

А если серьезно, то это еще один признак того, что обустройство Метавселенной вытеснило с питч-арены и ИИ, и бигдату, и криптаверсы.
Все они теперь на побегушках у владычицы морской. Как микросервисы в Метаверсе.

#battleroyale продолжается, в рамках дела Эпик против Эппл судья вынес прямое указание - разрешить приложениям ссылки и кнопки на оплату, ведущие на сторонние сервисы. Теперь куча приложений перейдут с оплаты через эппл на оплату через свой сайт, потому что это сходу экономия больше 10%.

Требование начинает действие с 9 декабря и эппл по сути с ним уже согласился.
https://www.theverge.com/2021/11/9/22773082/epic-apple-fortnite-lawsuit-ruling-injunction-stay-app-store-anti-steering-rules

А во внутреннем Слаке Unity, конечно, уже началось!
https://twitter.com/aras_p/status/1458334182598483971?t=9p1hYHV9wJIwVnHLU0I4Kw&s=19

Немного утечек про Цифрового Дженсена.
Это к вопросу об аватарах.
Полную версию можно бесплатно смотреть по ссылке ниже.
Там не только и не столько про рендер, а про анимацию всей махины средствами ИИ в том числе.
https://reg.rainfocus.com/flow/nvidia/nvidiagtc/ap2/page/sessioncatalog/session/1630622800683001yiJN

Deepmind выпустил алгоритм, который позволяет генерировать картины разными математическими методами. По дефолту сеть обучена подходу к созданию описанным Рудольфом Арнхеймом теоретиком художественного искусства и кино.

На самом деле даже просто интересно почитать, как алгоритмами пытаются воссоздать техники живописи. А смотреть на процесс просчёта сродни зарождению органики.

Коллаб присутствует, но сам не пробовал, с мобилы не удобно.

https://github.com/deepmind/arnheim/blob/main/arnheim_2.ipynb

🚘 Porsche разработает «цифровых двойников» для автомобилей. Они позволят спрогнозировать необходимость техобслуживания на основе стиля вождения.

Алгоритмы проанализируют информацию с датчиков и «большие данные», чтобы порекомендовать определенный ремонтный сервис. Также они предскажут потенциальные поломки систем до их возникновения.

📆 «Цифровые двойники» появятся после 2022 года. На сегодняшний день компания тестирует технологию среди около 50% владельцев Porsche Taycan. ИИ контролирует пневматическую подвеску электромобиля на предмет ускорения кузова и если водитель преодолевает определенные пороги, система рекомендует посетить техмастерскую.

#Porsche

А вот и метаответ красных! Зеленые жгут по этому поводу на GTC. Ждем симметричного (или нет) ответа от синих.

AMD будет поставлять Фейсбуку, пардон, Мете новые серверные процессоры EPYC для дата-центров. Акции красных сразу выросли на 10%. Мета решает.

Процессоры Genoa предназначены для вычислений общего назначения. У них 96 высокопроизводительных ядер Zen 4, основанных на оптимизированном 5-нм техпроцессе компании TSMC. Их выпуск запланирован на 2022 год.

Чипы Bergamo предназначены для облачных приложений. Они имеют до 128 высокопроизводительных ядер на архитектуре Zen 4c.

Лиза Су, проговорилась анонсированные процессоры EPYC нужны Meta для питания своей инфраструктуры и создания экзафлопсного суперкомпьютера Frontier.

На своем онлайновом мероприятии AMD также объявила о запуске ускорителей серии AMD Instinct MI200, самого быстрого в мире ускорителя для высокопроизводительных вычислений
https://techhq.com/2021/11/amd-strikes-chip-deal-to-power-metas-data-centers/

Ого, это уже интересно! Движемся к единому Метаверсищщу!

На днях говорили с Деном о том, что на дворе полный хаос в части форматов, стандартов, инструментария, да и что далеко ходить, логинов в сельские метаверсы. И что щас начнут возникать многочисленные "бриджи" из одного поселения в другое.

Цукерберг не позвонил, точнее позвонил не не туда, а в Микрософт!

И вот теперь Мета и Микрософт объединяются в части соединения своих реальностей.
Если вы помните, Микрософт строит свой Меш, с планктоном и аватарами. А у фейсбучека есть свой Workplace.

И вот теперь Мета хочет интегрировать свой Meta Workplace с Microsoft Teams.

Интеграция дает клиентам доступ к контенту Workplace в приложении Teams. Кроме того, пользователи могут просматривать видеовстречи Teams в приложении Workplace.

Партнерство между Meta и Microsoft, конечно, ставит вопрос о конкуренции. Однако Workplace и Teams немного разные. Если Workplace ориентирован на широкие, общекорпоративные связи, то Teams - на мгновенное общение между сотрудниками и их непосредственными коллегами.

Эта интеграция, оказывается, уже была запрошена клиентами, типа Vodafone и Accenture, которые одеваются в доспехи метаверса.

Партнерство может оказаться наиболее выгодным для Meta. Ее Workplace значительно отстает от своих конкурентов по количеству пользователей.

В мае Workplace объявил о достижении 7 миллионов платных подписчиков. Microsoft в июле объявила, что ее продукт Teams теперь имеет 250(!) миллионов ежемесячных активных пользователей. Slack, принадлежащий Salesforce, больше не публикует данные о пользователях, но компания заявила, что в сентябре 2019 года у нее было 12 миллионов ежедневных активных пользователей, когда она в последний раз сообщала эту статистику. Число платящих клиентов Slack увеличилось почти на 39% в годовом исчислении в июне 2021 года до 169 000.

Удивительно, как Микрософт с такой оравой прогибается под хайп Меты. Все-таки хайп дорого стоит, о чем нам постоянно напоминают метакойны.

Помимо Teams, Microsoft также предлагает Yammer, программное обеспечение для корпоративных социальных сетей, которое напрямую конкурирует с сервисом Workplace. В августе Microsoft заявила, что использование Yammer удвоилось за год, и число ежемесячных активных пользователей достигло "десятков миллионов".

Тем более удивительно, зачем это Микрософту.

Похоже в метаверсе скоро будет свой FAANG.
Или MMM.
По крайней мере два М там уже есть.
https://www.theverge.com/2021/11/10/22774059/microsoft-teams-meta-facebook-workplace-integration

Пока мы тут лепим мемы на мету, взрослые ребята ворочают мешки в виаре. И пока все делают умный вид, корейцы берут и делают.

Правительство Сеула на днях объявило, что именно город целиком "войдет в метавселенную" под названием Metaverse Seoul. В столице Южной Кореи создадут виртуальную коммуникационную экосистему для всех сфер деятельности муниципальной администрации. Согласно планам, в 2022 году экономический, культурный, туристический, образовательный сектора, а также услуги для граждан будут работать в формате AR/VR.

Они уже инвестировали в проект Metaverse Seoul, предложенный мэром О Се Хуном, 3,9 млрд вон (около $2,8 млрд евро). Планируется, что полностью проект будет завершен к 2030 году.

Жители Сеула вскоре смогут пользоваться VR-гарнитурами, чтобы встречаться с городскими властями для виртуальных консультаций, получения услуг. Они также смогут посещать массовые мероприятия. Например, новый 2022 год горожане отметят не только на площади около колокольни Босингак года, но и в виртуальной реальности