Blender + AMD GPU + Cycles + AMD HIP
Ух ты, ответ красных зеленым, синим и вообще всем.
AMD HIP в действии.

Все это порендерено на двух AMD Radeon PRO W6800 в Blender 3.0
И это не ProRender, a Cycles с нативной поддержкой AMD HIP.

Для тех, кто подзабыл: AMD HIP API (Heterogeneous-computing Interface for Portability) заменяет устаревший бэкенд OpenCL, использовавшийся в предыдущей версии Blender 2.9.
AMD HIP позволяет писать унифицированный код для ЛЮБЫХ видеокарт, хоть для AMD, хоть для NVIDIA. А новый Cycles теперь напрямую юзает архитектуры AMD RDNA и AMD RDNA 2.

Новый нормальный OpenCL...

Вся красота, скрины, видосы и сравнения скорости рендера по ссылке.
https://wccftech.com/amd-showcases-video-of-the-mercedes-amg-petronas-f1-w12-car-rendered-in-blender-3-0-using-two-amd-radeon-pro-w6800-gpus/

Чорный киберпанк уже здесь. Кино будущего.

Скажите мне, как сценаристы Черного Зеркала это делают!!?
Одна из моих любимых серий - это Fifteen Million Merits (вторая в первом сезоне). Там где отличный блюз и отслеживание взгляда пользователей, которые обязаны смотреть рекламу.

А теперь читаем, что произошло на днях с сервисом MoviePass (этакий абонемент для походов в кино), который обанкротился в 2019 году и восстал из зада только что. И как восстал!

Новый сервис подписки MoviePass больше не будет предлагать неограниченное количество фильмов, а вместо этого введет многоуровневую систему подписки. По аналогии с фитнес-стартапом Classpass, клиенты MoviePass будут покупать кредиты, которые затем можно будет обменять на сеансы в кино.

Но ТАКЖЕ есть ДРУГОЙ способ, с помощью которого клиенты смогут зарабатывать кредиты: просмотр рекламы и отслеживание их глазных яблок.

Используя функцию под названием "предварительный показ", клиенты MoviePass будут получать кредиты в обмен на просмотр рекламы на своих телефонах. Чтобы убедиться, что они действительно смотрят рекламу, приложение будет отслеживать взгляды пользователей.

"Ваш телефон, ваше устройство использует вашу собственную систему распознавания лиц. Оно не попадает в облако, никто не проходит через что-либо, кроме вас и вашей информации. И вы сами разрешаете это делать".

Ага, ага, гусарам верят на слово.

И называется все это по моде "End to End Cinematic Marketplace" (типа "глаза-в-глаза") с модной же пометкой powered by Web 3 tecnnology.

В общем, смотрите сюда, бандерлоги.
Читайте текст. Глаза не отводить! Иначе бан, дизлайк, репорт, комплейн и минус в карму в крипте.
(Бихевиористы ликуют, конечно).

https://nypost.com/2022/02/10/moviepass-is-back-and-its-going-to-track-your-eyeballs/

Кстати, кто не в курсе, в Хроме появилась новая функция поиска по картинке - не как раньше, загрузкой картинки, а кликом по любой картинке в браузере.

Можно кликнуть правой кнопкой мыши и выбрать Search Image with Google Lens. А потом можно даже регион для поиска выбрать.

Чудовищно удобно.

Протестировал на своем фейсбучике.

https://www.youtube.com/channel/UCMkjxlDGq30aVyYXL3h5HbQ
Немного получше, чем аватары в рекламе Меты.
Что под капотом:
Unreal Engine, Metahumans, Mark IV HMC от Faceware, костюм Xsens Link, перчатки Manus Prime II, плагин Glassbox Technologies Live Client для Faceware Studio, Substance Painter, NVIDIA RTXA6000.
С таким прикидом не стыдно и в метаверс наперевес.

Еще одно приложение для переноса нашего унылого мира в метаверс. На сей раз (опять) от Unity.
Там и Environment Capture, и AR Scene Editing, и Cloud sync, и, как мы любим, - Object Capture, который позволяет сканировать реальные объекты и генерировать 3D-ассеты на основе этих сканов.
Object Capture использует API захвата объектов Apple, поэтому работает только на Маке.
https://blog.unity.com/technology/the-ar-companion-app-is-now-available

Китайский ответ Заку Кингу.
Или что нас ждет в Метаверсе.

Некоторые эффекты просто смешные, а некоторые прям хорошие - нынче китайские подростки на телефоне могут делать то, отчего мы исполняли два раза КУ в начале нулевых.

Клипассо, Амиго!
CLIPasso: Semantically-Aware Object Sketching
Нейронка для перевода любого рисунка в скетч. Причем с управляемым уровнем "детальности" или прорисовки. На основе извлечения "смыслов"(!)

Работа и вправду любопытная, ибо здесь не просто пережевываются пиксели, а анализируется контекст, извлекаются семантические понятия и уже по ним идет генерация скетча. Все как у сами знаете кого.

"В то время как методы создания эскизов часто опираются на наборы данных явных эскизов для обучения, мы используем замечательную способность CLIP (Contrastive-Language-Image-Pretraining) для извлечения семантических понятий из эскизов и изображений. Мы определяем эскиз как набор кривых Безье и используем дифференцируемый растеризатор для оптимизации параметров кривых непосредственно с учетом потери восприятия на основе CLIP. Степень абстракции регулируется путем изменения количества штрихов. Созданные эскизы демонстрируют несколько уровней абстракции, сохраняя при этом узнаваемость, базовую структуру и основные визуальные компоненты нарисованного объекта."

Вот этот вот заход на поле абстракции с использованием language processing вкупе с генерацией картинок - это красивый способ получать ту самую "новизну", в отсутствии которой так любят обвинять ИИ неолуддиты.

https://clipasso.github.io/clipasso/

В общем, я все больше склоняюсь, что метаверс наш (единый и неделимый) будет зиждиться не на олдскульных игровых движках, а на молодых и резвых Нерфах. На нейрорендеринге.

Писал в декабре, вот такой текст: "Мы уже накопили столько данных о нашем утлом мире, что просто бери и одевай эти данные в красивую оболочку и вот он метаверс - ортодоксальный и неделимый.
Просто надо скормить ИИ все многочисленные спутниковые снимки, а он их заНеРФит, то есть пережует нейронным рендерингом и выдаст копию нашего мира в 3Д. И какую!".

И вот смотрите, что выкатила Waymo (да, это те самые, что занимаются беспилотными автомобилями, и которые явно научили своих роботов метаверс-видению).

Взяли и сделали точную 3D-копию квартала в Сан-Франциско из 2,8 миллиона фотографий.
Block-NeRF нейрорендерит данные, собранные в течение нескольких месяцев при различных погодных условиях, а также выравнивает изображение между соседними NeRF-ами, чтобы их можно было совмещать.
На видео - район Сан-Франциско и ночью, и при свете дня. Как бы в 3Д.

И без всяких лидаров, шмидаров и прочих reality capture.
Осталось взять все эти бездонные селфи из инсты, фб и других космических агенств, и скормить их ИИ - и вот уже отнейрорендеренные аватары заселяют оцифрованную планету.

Будете смотреть видео ниже - помните, там никакого 3Д. Только фотки и нейрорендеринг.

К вопросу о модерации в метаверсах...
Вы всерьез думали, что там будет все как в рекламе Меты - бело и пушисто?

Ну и хороший вопрос: а можно ли курить в метаверсе и что там можно курить? С метавейпами, похоже проблемы...

Четыре выхода на 4K-мониторы, энергопотребление 50 Вт и крошечный размер - даже у Матрокса нет таких карт.
Внезапно на рынке появилась вот такая малютка с возможностью подключения четырех 4К-мониторов или двух 8К-мониторов.
3Д на уровне 1650, но это в основном для видеостен.
Цена 400+.
https://www.tomshardware.com/news/nvidias-single-slot-low-profile-pro-gpu-has-8gb-of-memory-four-4k120-outputs

Пользователи VR открывают для себя прелести PBR-текстурирования и переизобретают Subs Painter.
Любят они открывать для себя прелести начала 2000-х: от разрешения экрана до дивных персонажей из рекламы Мета.
https://twitter.com/danielsantalla/status/1400195518249177088

Ну в общем до Метавёрсу пока далеко.
Пользователи VR продолжают открывать для себя винтажные прелести начала 2000-х.
Вот оно, то, о чем вещал Цукерберг.
https://www.youtube.com/watch?v=BO0HCQpdQzs

Хотели метаверса - держите.

Вот пример того, как примерно будет осуществляться переход в тот самый метаверс, которого никто пока не видел.

Что для этого понадобится: камеры, ИИ (а в перспективе датчики или умная одежда). Виар - опционально.

Смотрите, на на Кубке арабских государств FIFA 2021 в конце прошлого года использовались технологии отслеживания игроков и их конечностей, которая позволяют в режиме реального времени создавать трехмерные визуальные представления скелета игроков.

Технология основана на использовании специальной системы камер, установленной под крышей стадиона, которая фиксирует движение всех игроков и мяча. Различные системы, представленные на рынке, обеспечивают до 29 точек данных на каждого игрока, которые составляют анимированный скелет игроков.

В итоге, весь матч можно смотреть в виде анимации с задержкой всего в несколько секунд, что дает возможность техническому персоналу, тренерам и медицинским специалистам изучить матч с новой точки зрения. Например, они смогут проанализировать происходящее с точки зрения конкретного игрока на поле, рассмотреть момент, меняющий ход матча, с идеального (или любого) ракурса или увидеть поле с высоты птичьего полета.

А если обобщить, то мы получаем кусок метаверса в рамках одного взятого стадиона. Слияние двух реальностей - физической и виртуальной, трехмерной.
И это не метаверс от Меты, Микрософта или корейского правительства, а просто отражение реальности в 3Д с помощью камер и ИИ.

Ну и коль скоро камеры и ИИ сейчас появляются на каждом углу, то экстраполируясь за границы стадиона, можно предположить, что метаверс будет расползаться по миру вот такими вот лоскутами, то есть территориями, охваченными камерами и ИИ. Которые будут на лету восстанавливать(отражать) копию нашего кожаного мира в 3Д.
Пока эти лоскуты не покроют значимую для метаверса часть планеты.

Хотите путешествуйте по старинке, хотите ныряйте в 3Д и летайте по охваченным метаверсом территориям.

А чтобы ИИ было полегче распознавать все это хозяйство, на помощь придут разные умные абсолютные трекеры по типу Antilatency, которые будут встраиваться сначала в инвентарь, потом в спортивную или спец-форму, а потом и в одежду с обувью. Один трекер уже всегда с вами - это телефон. Умные браслеты уже идут к вам. Умные трекеры - следующий шаг.
(Стартап - кто сделает модные трекеры, тот снимет сливки).

И вот мы, исторгающие потоки данных с телефонов и датчиков, загораем в лучах камер наблюдения, а умный ИИ переводит все это цифровое извержение в трехмерное представление нашего мира.

А на каком движке все это будет отрисовываться, спросят апологеты Меты, UE4 или нейрорендеринга?

А на каком движке вы читаете этот метабред?

Я на Хромиуме, как и большинство из вас. Эпплеводы на Вебките. Маргиналы на Гекко.

Так что ждем МетаБраузера на МетаХромиуме или МетаГекко. Опенсорсного, ничейного, единого и неделимого.
https://www.fifa.com/en/technical/football-technology/news/limb-tracking-technology-offers-new-array-of-possibilities

Вдогонку к метаверс-видению из предыдущего поста доброшу пример того, что уже сейчас можно добывать с обычных браслетов Fitbit с помощью ИИ, и что можно будет добыть с помощью более точных сенсоров, которые рано или поздно перейдут в разряд постоянно носимых устройств.

Группа ученых из Сингапурского университета NTU разработала приложение, которое может быть использована для выявления людей с повышенным риском развития депрессии.

Программа, получившая название "Ycogni", работает на основе машинного обучения и выявляет риск депрессии, анализируя физическую активность человека, режим сна и циркадные ритмы, полученные из носимых устройств, измеряющих шаги, пульс, энергозатраты и данные о сне.

Для разработки модели Ycogni ученые провели исследование с участием 290 работающих взрослых в Сингапуре. Участники носили устройства Fitbit Charge 2 в течение 14 дней подряд и в начале и в конце исследования заполнили два опросника, в которых проверяли наличие симптомов депрессии.
В ходе испытаний с использованием данных, полученных от групп участников с депрессией и здоровых участников, программа достигла точности 80 процентов в определении людей с высоким риском депрессии и людей без риска.

По оценкам в статье трекеры активности в 2022 будут носить около миллиарда человек, по сравнению с 722 миллионами в 2019 году. Тут возможно завышение, но тренд налицо. Трекеры - новые микроскважины, добывающие новую нефть, то бишь данные из сами знаете кого.

Так что в метаверсе будут не только аватары и развеселые скины к ним, а дикое количество метаданных. И выражение "видеть насквозь" или "кожей чувствовать" приобретут совсем иные смыслы. Что приведет к появлению совсем иных способностей (помните я писал про "чувства биржевых котировок").

Но об этом завтра.
https://www.hackster.io/news/ntu-researchers-create-an-ml-model-ycogni-capable-of-screening-smartwatch-data-for-depression-5299667959bf

Цветовая карта эмоций или как ИИ будет читать нас в метаверсе.

Был проведен любопытный эксперимент. Взяли 700 человек, вызывали у них ряд эмоциональных состояний, а потом просили отмечать, в каких участках тела они их ощущают.
Выяснилось, что вне зависимости от расовой и этнической принадлежности карты эмоций в теле более менее совпадают.

Эмоции явно вызывают изменения в мышечном тонусе, гормональном состоянии, дыхании, сердечном ритме и пр. С помощью смышленых датчиков можно измерить напряжения и изменения в тех или иных частях тела, получая на выходе информацию об эмоциональных состояниях. Которые не всегда считываются по лицу или движениям.

Мало того, что это может быть чудовищно интересно с медицинской точки зрения, так еще и представьте себе такую картину, гуляете вы такой в метаверсе, а навстречу вам идут аватары и над каждым горит надпись "завидует", "удивлен", "горд", "напуган".
А в это время окружающий метаверс подстраивается под ваше эмоциональное состояние, а рекламодатели радостно потирают руки