Пока мы тут отвлеклись на Марка, Beeple взял и продал свой новый NFT-шедевр.
На аукционе Кристи за 28,98 миллиона долларов.

HUMAN ONE это трехмерная видеоскульптура в виде прямоугольника со светодиодными экранами. На них воспроизводится видеоролик с одиноким астронавтом, шагающим по чужой планете. Сам Beeple назвал творение “портретом первого человека, рожденного в метавселенной”. Ни больше, ни меньше!

Предметы, окружающие астронавта, выбираются случайно из пула одноминутных клипов, созданных автором HUMAN ONE и доступных в блокчейне Ethereum. По словам Beeple, он создал неразрывную связь посредством арт-объекта между творцом и настоящим, а также любым из будущих владельцев невзаимозаменяемого токена. Поскольку в дальнейшем художник сможет модифицировать или изменять образы, транслирующиеся на экранах объекта.

Ну и пока мы тут проектируем метаверсы, механики NFT усложняются. В тренд явно входит временнОе измерение и непостоянство(изменяемость) объектов.

P.S. И над этим человеком я издевался на Сигграфе..

Слушайте, это же просто прекрасно.

Переливание силы Метахьюманов!
Смотрится как отличный сериал...

А появление Майка Сеймура - просто находка.
Алекса, Икея - все прекрасно.

Описания тоже доставляют:

Блу хочет использовать силу Метахуманов, чтобы выглядеть реалистично для своих зрителей, но все оказывается не так просто! Это определенно метафорический эпизод, который параллелится с реальностью.

Эпизод 02 - Вливание Метахумана
Этот эпизод - дань уважения команде Metahuman из Epic Games за их безумное цифровое человеческое искусство и технологии для нас, смертных. А боль и борьба Блю за использование этой потрясающей способности были забавным приближением к реальным страданиям, с которыми я (Кори) столкнулся, пытаясь сделать это на самом деле... Метахуманы не так просты.

Го смотреть по ссылке.
https://youtu.be/rSR4bmNX5GE

AR, который мы заслужили. Метаверс атакуэ!

Для тех, кто в танке.
Какое-то время назад, окончательно утомившись перлами гуглоперевода, поставил яндекс.переводчик. Подивился, что он уделывает гугль, видать близость к источнику помогает.
Но недавно открыл для себя DeepL.
Это космос какой-то. Он явно умеет в контексты. Левел ап после гугла и яндекса.
Жалко нет приложения для андроида.

Ну, за ценности.

В посте про последнюю продажу Бипла опять возник вопрос о той самой художественной ценности.
Я всегда притапливал за то, что единственным объективным и (что важно) измеряемым критерием успеха произведения массового искусства типа кино (литературы, изо) являются кассовые сборы (объемы продаж).
Все остальное либо субъективно, либо неизмеряемо.

Однако в эпоху, когда чукчи массово переквалифицируются из читателей в писателей и прочих яростных творцов, продаж на всех, как вы понимаете, не хватит. А подписочные модели и вовсе изничтожают принцип "понравилось, плачу рублем".

За сим на сцену посткапитализьма выходят другие метрики.

Например, читаем: «Игра в кальмара» обошла по популярности легендарную «Игру престолов» на YouTube.
Суммарное количество просмотров видеоконтента, связанного с «Игрой в кальмара» превысило 17 млрд, а число комментариев и реакций достигло 533 млн. В то время как контент, связанный с «Игрой престолов» за десять лет набрал всего 16,9 млрд просмотров и 233 млн комментариев и реакций.

Лайкономика в действии. Измеряемо? Да. Объективно? На больших числах тоже да.

Но конвертацию лайков в деньги по-прежнему крышуют платформы, собирающие контент. Которые, кстати, открещиваются от звания "владеющие контентом", ибо им стразу прилетит за содержание.

Вот чукчи и алкают лайков и чахнут над количеством подписчиков.

NFT-пассионарии и трейдеры-с-реддита регуляно прорывают оборону платформ (но попадают в заложники других платформ) и довольно удачно монетизируют лайки без посредников. Ибо цена на газ ничто по сравнению с комиссией контент-платформ.

А вот как быть чукчам-писателям?


P.S. Да, просится еще одна метрика типа "длительность лайка". Игру лайкают уже 10 лет, а вот вспомнит ли кто-то Кальмара лет через 5.
Но это уже про волатильность и ликвидность. Кто хочет много и сразу, уже давно ушел крипту. А кто-то еще смотрит на акции голубых фишек. Пост с котиком и мемом набирает со скоростью клика, лонгрид про CG и ИИ пробивает рейтинговое дно ударом TLDR сверху вниз.

ProsePainter

Создавайте образы, рисуя словами.
ProsePainter сочетает в себе рисование руками с оптимизацией изображения в реальном времени с помощью машинного обучения. Просто скажите, что вы хотите, и выделите нужную область.

🖥 Код

#CLIP #images #multimodal

У меня всё.
Всё не зря.
Было.
Блэт.
https://m.lenta.ru/news/2021/11/12/meta/

​​О Нейронном Рендеринге

Что такое Нейронный Рендеринг? Если немного сумбурно, то нейронный рендеринг — это когда мы берем классические алгоритмы синтеза изображений из компьютерной графики и заменяем часть пайплайна нейронными сетями (тупо, но эффективно). Нейронный рендеринг учится рендерить и представлять сцену из одной или нескольких реальных фотографий, имитируя физический процесс камеры, которая фотографирует сцену. Ключевая особенность нейронного рендеринга — разделение процесса фотографирования (т.е. проекции и формирования изображения) и представления трехмерной сцены во время обучения. То есть мы учим отдельное представление трехмерное сцены в явном виде (воксели, облака точек, параметрически заданные поверхности) либо в неявном виде (signed distance function), из которого рендерятся наблюдаемые изображения. Чтобы всё это обучать, важно чтобы весь процесс рендеринга был дифференцируемым.

Может вы не заметили, но тема нейронного рендеринга, включая всякие нерфы-шмерфы, сейчас хайпует в компьютерном зрении. Вы скажете, что нейронный рендеринг — это очень медленно, и вы будете правы. Обычная тренировка на небольшой сцене с ~50 фотографиями занимает у самого быстрого метода около 5.5 часов на одной GPU, но прогресс не стоит на месте и методы очень активно развиваются. Чтобы охватить все недавние наработки в этом направлении, очень советую прочитать этот SOTA репорт "Advances in Neural Rendering".

Нашел забавную штуку — библиотека KalidoKit для отслеживания лица, позы и рук.

Исходники тут
А тут можно пощупать эту штуку в онлайн режиме (нужна веб камера)

Метаверс, который мы заслужили.

В кибермузее киберЭрмитажа чуть не произошла киберкража киберкартины

Оказалось, что один из виртуальных NFT-экспонатов не был закреплён и зритель попытался унести картину, но кража была вовремя предотвращена.

Хорошо, что барин распорядился вчера защищать аватары россиян в метаверсе. А то ведь унесут за границу, не сыщешь потом.

https://www.rbc.ru/rbcfreenews/618ea97f9a794713ffa492fb?utm_source=amp_full-link

Накопилось много крутых новостей про Сбер Тех.
Я на неделе пообщался с AR/VR/Lab. И это реально своя метавселенная! Вольюметрическое видео, виртуальный продакшен, digital twins, создание аватаров по одной фотке, оцифровка этого мира камерами 360 и нейросетками. И все это работает. Сберкосмос в общем.

Я не являюсь клиентом Сбера, поэтому не могу сказать ничего про сервисы банка, и, как по мне, им бы, подобно Марку, сделать твист и ребрендинг, и отделить технологическую часть в отдельный бренд. Ибо то, что они делают в области 3Д, VR/AR, а теперь еще и в играх - это реально круто. И мне в общем-то насрать, что там в офисах по приему населения.
Обязательно постараюсь затащить ребят на конференцию, им реально есть что показать для всех этих наших мультиверсов.
А пока вот вам ролик от Сбера и Силы Света, который крутится в Москва-Сити.

Кстати, Илья из Силы Света уже присоединился к Ивенту с рассказом про ассетное мышление и Бипла. Там мы его спросим про подробности

Ну, за музикантов!

Sber представил музыкальный альбом Thriving Machine, созданный с помощью нейронной сети, способной сочинять уникальные музыкальные композиции.

Альбом эклектичный (вся мощь ИИ) - эмбиент, поп, техно, рок, лаунж и классика. Слушать его можно в фирменном сервисе «СберЗвук» по ссылке.

Вишенка: обложкой Thriving Machine стал коллаж из рисунков, сгенерированных нейросетью ruDALL-E по тегам "процветающая вселенная" и "струнный оркестр галактики". Название трекам также(!) дал ИИ - ещё одна нейросетка ruGPT-3.

Команда SberDevices при содействии SberCloud разработала собственную нейросетевую архитектуру SymFormer и обучила нейросеть на суперкомпьютере Кристофари (след пост) при помощи платформы ML Space. Датасет состоял из 160 тысяч композиций в разных стилях — от классики до современной электронной музыки и рока.

SymFormer работает в два этапа. Вначале ИИ получает информацию о стиле и генерит несколько вариантов будущей композиции. На втором этапе создаётся несколько вариантов, соответствующих заданному стилю. Затем дискриминатор выбирает, какие из вариантов наиболее удачны и максимально соответствуют описанию стиля и структуры композиции.

Я давно пользую ИИ-музику. Например для #дедушкапсих. Не надо париться, что фб или ютюб тебя забанят.
https://sber-zvuk.com/release/19253324

Ну, за моделеров, не чокаясь!

Дифференциальный рендер и анизотропический ремешинг в действии.

В начале видео Доктор прямо говорит, чтобы "быстро оцифровать объект и присунуть его в метавселенную".
Выглядит как фантастика.

Ибо нам, как защитникам аватаров от всякой нечисти, только этого и нужно!
Но у нас один вопрос: "Где кнопка, Доктор?! Где большая жирная красная кнопка СДЕЛАТЬ ЭТО?!?!".

А между тем, тема цифровых двойников все ближе и ближе.
Вон уже Порше дублирует свои точилы в цифре (см след пост).

Где, кнопка, Порше?

https://youtu.be/Y6ezNI0Idsc

Синтетические автомобили на синтетических улицах. Метаверс заходит через автосервис.

Я помню, что на прошлом GTC Нвидия показывала цифровой двойник участка дороги. Действительно, любая тесла (и не только) генерит огромный поток данных о себе и своем маршруте. Можно просто построить в метаверсе копию теслы, нахлобучить на нее красивый 3Д-скин и смотреть где и куда она едет, что она видит и как работают ее кишки.
Получим виртуальную трассу с выводком цифровых двойников.

Вот и Порше взялась делать подробнейшие Digital Twins своих железяк.

Подробная статья об этом. Кому в лом, ниже выжимка.

А пока стоит подумать, что огромную часть жизни мы проводим в машине. И она, машина, это некий локальный метаверс, где сидит уже почти оцифрованный кожаный мешок и как-то с этой машиной взаимодействует.

Ну и вангую, что кресло автомобиля скоро будет использоваться как метафитнес-браслет, ибо оно может снимать огромное количество данных со всех прилегающих частей тела. От цифровой кинезиологии (вам батенька пора подкачать правую ягодицу) до, пардон, анализа выхлопных газов.

Стартап?

Дальше краткий перевод статьи.
Что такое цифровой двойник?
Цифровой двойник описывает агрегирование данных на протяжении жизненного цикла продукта. Эти данные можно классифицировать, анализировать и использовать для прогнозирования событий в жизненном цикле продукта и рекомендовать соответствующие действия. В качестве виртуальных копий физических объектов или систем цифровые двойники имеют более создание для решений и функций. Цифровых двойников можно использовать для снижения затрат, оптимизации процессов и разработки новых функций.

Зачем они нам нужны? Данные об автомобилях генерируются из различных источников и используются во всем мире десятками систем , охватывающих полный жизненный цикл наших автомобилей: исследования и разработки, производственные предприятия, обновления по беспроводной сети (OTA), подключенные услуги и многое другое.

Например, мы получаем протоколы профилактического обслуживания (PMP) от транспортных средств или других систем и объединяем их с остальными данными о транспортных средствах. Это позволяет нам предоставлять другим системам обзор автомобиля и текущего износа. Таким образом, ошибки и возможные проблемы в компонентах могут быть обнаружены на ранней стадии до появления дефекта.

Другой вариант использования - синтетические автомобили. Для тестирования разработки транспортных средств ИТ-системы должны иметь доступ к своим данным. Вместо того, чтобы использовать реальные автомобили в проектах для испытаний, мы можем создавать синтетические автомобили (как цифровые транспортные средства), с помощью которых системы могут тестировать различные сценарии.
https://medium.com/next-level-german-engineering/a-porsche-digital-twin-driven-by-data-streaming-nosql-d92083771ffd