Амд и Интел: а что, так можно было?
Эппле: так так так, время собирать ядра...
Производители памяти: УРА! поднимаем цены дальше.
Геймеры: осталось майнеров пристрелить.
Пост-продакшен: осталось пристрелить майнеров и геймеров.
Датасаентисты: а в чем подвох?

Оно не умеет в свертки. И похоже не только в них.
https://m.habr.com/ru/news/t/551712/

Нуштош, ждем ответа от Союзмультфильма.
Там мемов на полрарибла.

К вопросу о digital human и наших цифровых двойниках.

В 2017 году Амазон купил Body Labs - стартап с технологией 3D-моделирования тела.
В прошлом году Амазон запустил сервис Made for You — он позволяет пользователям создавать кастомные футболки с учетом параметров тела, где покупатели должны указать свой рост, вес, комплектацию и добавить две фотографии, сделанные с помощью приложения Amazon. Их используют для создания «виртуального двойника тела» для моделирования одежды.

А 1 апреля Амазон запатентовал странный компот из фотограмметрии и "настройки" вида тела, на основе введенной информации про измерения этого самого тела.
Пользователь будет фотографировать себя с разных сторон, а потом на основе этих изображений создавать 3D-модель с учетом показателей тела — веса пользователя, длины рук и т.д. И сvотреть, как он мог выглядеть, если бы похудел или нарастил мышечную массу и т.п.

Этакий процедурный двойник-аватар с возможностью поглядеть, а как бы я выглядел, если бы сгонял на Бали, сбросил 12 кило и сделал липосакцию заплывших жиром мозгов.

Вроде как ноги растут из виртуальных примерочных и подбора одежды(и вообще товаров), что в общем-то в духе Амазон.
Но сюда просится всякий фитнес, косметика, неистовая бьютификация (фулл боди), и вообще вся боди-позитивная культура. Виртуальный биохакинг в приложении.

Ну и на поляне работы с телом цифрового двойника, помимо Снапчата, Фейсбука и массы небольших проектов появляются совсем уж крупные бронтозавры.
И пост-продакшен такой, а мы в это умеем уже 20 лет как!
Остальные: а что это за комар пропищал в воздухе?

https://pdfaiw.uspto.gov/.aiw?docid=20210097759
https://vc.ru/services/187710-amazon-zapustil-servis-sozdaniya-personalizirovannyh-futbolok-ih-mozhno-primerit-na-svoyu-3d-model

Пока нейронки(особенно в приложениях) в основном использовались, чтобы приклеить на лицо всякую глупость. А вот пример того, как можно стирать нейронками всякие глупости, которые кожаный мешок нарисовал на себе сам.

Удаление татуировок или AI Tattoo Removal

https://github.com/vijishmadhavan/SkinDeep
Там внутри серьезные парни превращаются в бойскаутов одной кнопкой...

Оказывается к Radeon ProRender уже прикрутили аппаратный рейтрейсинг. И денойзер. Они недавно выпустили Radeon ProRender 3.1 for Blender and Radeon ProRender 3.1 for Maya, я полез читать и обнаружил вот такой вот ответ зеленым: support for Cryptomatte AOVs, a new 16-bit render denoiser, and support for hardware-accelerated ray tracing on AMD’s new Radeon RX 6700 XT GPU. Более, того это было сделано еще в ноябре в версии ядра 2.0.

И пока в играх все ждали ответа на DLSS, в ProRender тихо-мирно прикрутили рейтрейсинг. Я пошел смотреть, а что другие рендер-движки делают для АМД (кроме формальной поддержки OpenCL, которая про другое). И нашел интересный твит от Октана. Напишу отдельный пост.
В общем скоро похоже будет много поводов для тестов.
http://www.cgchannel.com/2021/04/amd-releases-radeon-prorender-3-1-for-blender-and-maya/

Grace CPU от Нвидия!

Nvidia GTC 2021: да, они сделали свой CPU на базе ARM и собираются выкинуть x86 из датацентров (для начала). Называя x86 главным тормозом и бутылочным горлышком.

Nvidia представила свой процессор Grace. Это центральный процессор (ЦП) на базе ARM для искусственного интеллекта и высокопроизводительных вычислительных приложений. «Это первый ЦП Nvidia для центра обработки данных, специально созданный для приложений, работающих в гигантских масштабах»

Стартовала Nvidia GTC. Все в онлайне, все доступно.
Ну и конечно же все началось с keynote от Jensen Huang. Идет прям щас.

Самое интересное (пока), что самой первой темой стала Omniverse. Платформа вот с таким позиционированием в 2021: shared virtual worlds.
И если в прошлом году акцент был в основном на возможность работы над одной сценой из разных мест и одно демо с мраморными шариками, то в этом году риторика поменялась в сторону концепции Digital Twins - возможности создания копии нашего ветхого мира и обитания в нем. Да, создания и обитания.
В этом смысле Дженсен еще раз упомянул Snow Crash и показал пару не то, что примеров, а кейсов ипользования Omniverse, которая выходит из беты.
Там упоминалась ILM с виртуальными декорациями, Activision, которые присунули туда 100 000 своих ассетов и сделали систему работы с ними на базе Omniverse.
WPP показали ... виртуальный продакшен в Omniverse! И тут стало понятно, что амбиции Omniverse лежат далеко за пределами дизайна и коллективной работы.
Bentley показала цифровые двойники заданий и кварталов, которые они проектируют, собранные в Omniverse.
Но круче всех выступила BMW, они показали цифровые копии своих фабрик. Грубо говоря, вместо камер наблюдения и тысяч экранов с видео, там полная 3Д-копия фабрики, по которой можно перемещаться и следить за любыми деталями в реалтайме. Мало того, что там копии роботов, там еще и копии людей. Показали, как инженеры в мокап-костюмах настраивают конвеерную линию в виртуальном пространстве, оптимизируя расположение инструментов и безопасность. Общаясь при этом, как в игре. Чистый киберпанк с копией фабрик, роботов и работников!
В общем Omniverse это реальная киберпанк-амбиция.
Ну и не зря я тут задумал конференцию DIGITAL HUMANS - все эти виртуальные миры надо будет заселять нашими цифровыми двойниками. А для них надо будет сделать годные оболочки. По новым правилам, которых пока никто не знает. Мир стремительно оцифровывается и валит в параллельную вселенную...

P/S/ Ну блин, только что показали Drive Sim - цифровые двойники РЕАЛЬНЫХ автомобилей, которые катятся по виртуальным дорогам копии этого мира. В 3Д. В Омниверсе.
Ладно, я пошел, ищите меня там. Аватар не забудьте.

P/S/S/ Максин просто меня убила. 3Д-женюсь!

А вот это совсем кибер-иронично. Копии роботов тренируются в Омниверсе, а затем ИИ, который руководит всем этим безобразием, рулит настоящими роботам в реальном мире. Наблюдая за ними в копии этого мира. Как скоро мы перестанем различать границу двух миров?
Слоган открывающего выступления на Nvidia GTC был Digital Twins. Близнецов не всегда просто отличить...

Nvidia GTC 2021:
Джарвис поддерживает пока 5 языков среди которых русский!
Jarvis - это фреймворк, который предлагает автоматическое распознавание речи, а также перевод и понимание(?) языка.
Он самый быстрый в мире - конвейер Джарвиса можно запустить менее, чем за 100 миллисекунд и развернуть в облаке, в центре обработки данных или на периферии. Платформа включает модели, обученные более чем 1 миллиарде страниц текста и более 60 000 часов речи, которые можно настраивать, оптимизировать, настраивать с помощью пользовательских данных и адаптировать к различным задачам.
И все это уже прикручено к Максин (см след пост).

Максин допилили до годного.
Она теперь умеет в:
- перевод на лету (например с русского на японский, на лету)
- чит со зрачками (можно читать фб на соседнем мониторе, а собеседники видят твой внимательный взгляд в камеру)
- распознавание речи (полная стенограмма встречи)
- лицевой кодек (вот это вот реально космос - передается ключевая форма лица, а за ней потоком как бы "блендшейпы" распознанного и оцифрованного лица, которые ничего не весят).
И все это работает одновременно.

Все, что вы хотели знать про кожаных мешков.
Пивная колонка за 75 тысяч долларов.
Фантасты прошлого века рыдают...


Видео: Робота-собаку от Boston Dynamics научили... «‎мочиться» пивом

https://itc.ua/blogs/video-robota-sobaku-ot-boston-dynamics-nauchili-mochitsya-pivom/

А пока светлокожаные люди из предыдущего поста делают из роботов за 75К долларов пивные колонки, китайцы занимаются делом.
Любимым делом...

Снова хочется вернуться к вчерашнему Омниверс-киберпанку от NVidia, но уже поспокойнее, с деталями, ценами и подробностями.
Хотя какое спокойнее! Тут подоспели новости про заселение Омниверса цифровыми людьми и картинка начинает быть совсем горячей.

Во-первых, заныривать в Omniverse уже сейчас можно через 3ds Max, Maya, Revit, Rhino, SketchUp и Unreal Engine. Для них уже есть плагины:
https://www.nvidia.com/en-us/omniverse/#apps-connectors

Специально для Дан Золотаренко сделали Reallusion Character Creator Connector for NVIDIA Omniverse!
https://magazine.reallusion.com/2021/04/12/reallusion-releases-character-creator-connector-for-nvidia-omniverse/

Он добавляет пайплайн создания человека к приложениям Omniverse Create и Omniverse Machinima. О которых отдельный разговор, кстати, ибо киберпанк амбиции Омниверса растут с каждым анонсом.

И это прямой намек на будущее заселение Омниверса цифровыми тварями, о которых мы скоро будем говорить на DIGITAL HUMANS 2021: www.cgevent.ru/?page_id=33243


Плагины для Houdini и Blender появятся попозже в этом году. (И тут пользователи Блендера такие "за шо?!")

Бесплатная бета-версия Omniverse в настоящее время доступна для Windows 10 и CentOS 7/Ubuntu 18.04 Linux. Эта версия будет включать платформу и базовые функции. Она никуда не делась, но для взрослых мальчиков и больших киберпанк-корпораций появились цены:

Omniverse Enterprise по подписке с доступом к Create, View, плагинам и RTX Virtual Workstation будет стоить 1800 долларов в год на пользователя плюс 25000 долларов за сервер Nucleus для групп из 25 пользователей.

Для огромных компаний на 500 пользователей, то 1800 долларов за место в год плюс 250 000 долларов за сервер.
https://www.nvidia.com/en-us/omniverse/enterprise/

Ждем дальнейших подробностей и читаем про Omniverse Create и Omniverse Machinima.

А вот еще один довольно горячий анонс с GDC 2021.

Безмаркерный фуллбоди и лицевой мокап в Notch.
Пока я тут пел дифирамбы Снапчату, ребята из интерактива тоже не сидели сложа руки. И прикрутили в Нотч мокап с любой камеры и удаление фона.
Дело в том, что мокап тела (с камеры!), это, теперь, часть Maxine SDK, на котором, например, построен NVidia Broadcast App.
А на GTC2021 NVIDIA как раз и анонсировала это новое обновление Maxine SDK, и среди новых возможностей SDK - отслеживание скелета тела и удаление фона.
На видео человек поворачивается на 360 градусов перед обычной камерой, и мокап не разваливается, что само по себе уже очень круто.
Еще раз, просто с обычной камеры. Без маркеров.
По идее, любой может запилить такую штуку через Maxine SDK. Ждем ответа от Блендера!

Про удаление фона пишут, что лучше всего работает на погрудном плане и на говорящих головах. И понятно почему, учили на зум-сессиях и переговорах.
Ну и он там в конце специально акцентирует: на что снимаем, тем и трекаем (камерой), виртуальный продакшен без костюма.

А я еще вчера подумал, глядя на очаровательную девушку из демонстрации Maxine, ведь ее лицо полностью "мокапят" и передают face-кодеком, то есть грубо говоря, мокап-данными, которые потом накладывают на маску лица на оконечном устройстве. Правда 3Д там по дороге не возникает, и лицо рендерится (опять же грубо говоря) дипфейковым методом. Но кто мешает брать эти захваченные с камеры данные и трактовать их как мокап? Тем более, что есть Maxine SDK.

https://medium.com/notchblog/new-nvidia-broadcast-technologies-now-available-in-notch-5c8480e8f35

В общем полку говорящих аватаров, пляшущих в полных рост под дудку ИИ прибывает.
А у меня еще за пазухой есть новости от Сбера. И там такое...

#AR
AR-приглашение на презентацию Apple 20 апреля. Ходят слухи, что покажут VR-гарнитуру и умные AR-очки😎