Метаверс, который мы заслужили.

В кибермузее киберЭрмитажа чуть не произошла киберкража киберкартины

Оказалось, что один из виртуальных NFT-экспонатов не был закреплён и зритель попытался унести картину, но кража была вовремя предотвращена.

Хорошо, что барин распорядился вчера защищать аватары россиян в метаверсе. А то ведь унесут за границу, не сыщешь потом.

https://www.rbc.ru/rbcfreenews/618ea97f9a794713ffa492fb?utm_source=amp_full-link

Накопилось много крутых новостей про Сбер Тех.
Я на неделе пообщался с AR/VR/Lab. И это реально своя метавселенная! Вольюметрическое видео, виртуальный продакшен, digital twins, создание аватаров по одной фотке, оцифровка этого мира камерами 360 и нейросетками. И все это работает. Сберкосмос в общем.

Я не являюсь клиентом Сбера, поэтому не могу сказать ничего про сервисы банка, и, как по мне, им бы, подобно Марку, сделать твист и ребрендинг, и отделить технологическую часть в отдельный бренд. Ибо то, что они делают в области 3Д, VR/AR, а теперь еще и в играх - это реально круто. И мне в общем-то насрать, что там в офисах по приему населения.
Обязательно постараюсь затащить ребят на конференцию, им реально есть что показать для всех этих наших мультиверсов.
А пока вот вам ролик от Сбера и Силы Света, который крутится в Москва-Сити.

Кстати, Илья из Силы Света уже присоединился к Ивенту с рассказом про ассетное мышление и Бипла. Там мы его спросим про подробности

Ну, за музикантов!

Sber представил музыкальный альбом Thriving Machine, созданный с помощью нейронной сети, способной сочинять уникальные музыкальные композиции.

Альбом эклектичный (вся мощь ИИ) - эмбиент, поп, техно, рок, лаунж и классика. Слушать его можно в фирменном сервисе «СберЗвук» по ссылке.

Вишенка: обложкой Thriving Machine стал коллаж из рисунков, сгенерированных нейросетью ruDALL-E по тегам "процветающая вселенная" и "струнный оркестр галактики". Название трекам также(!) дал ИИ - ещё одна нейросетка ruGPT-3.

Команда SberDevices при содействии SberCloud разработала собственную нейросетевую архитектуру SymFormer и обучила нейросеть на суперкомпьютере Кристофари (след пост) при помощи платформы ML Space. Датасет состоял из 160 тысяч композиций в разных стилях — от классики до современной электронной музыки и рока.

SymFormer работает в два этапа. Вначале ИИ получает информацию о стиле и генерит несколько вариантов будущей композиции. На втором этапе создаётся несколько вариантов, соответствующих заданному стилю. Затем дискриминатор выбирает, какие из вариантов наиболее удачны и максимально соответствуют описанию стиля и структуры композиции.

Я давно пользую ИИ-музику. Например для #дедушкапсих. Не надо париться, что фб или ютюб тебя забанят.
https://sber-zvuk.com/release/19253324

Ну, за моделеров, не чокаясь!

Дифференциальный рендер и анизотропический ремешинг в действии.

В начале видео Доктор прямо говорит, чтобы "быстро оцифровать объект и присунуть его в метавселенную".
Выглядит как фантастика.

Ибо нам, как защитникам аватаров от всякой нечисти, только этого и нужно!
Но у нас один вопрос: "Где кнопка, Доктор?! Где большая жирная красная кнопка СДЕЛАТЬ ЭТО?!?!".

А между тем, тема цифровых двойников все ближе и ближе.
Вон уже Порше дублирует свои точилы в цифре (см след пост).

Где, кнопка, Порше?

https://youtu.be/Y6ezNI0Idsc

Синтетические автомобили на синтетических улицах. Метаверс заходит через автосервис.

Я помню, что на прошлом GTC Нвидия показывала цифровой двойник участка дороги. Действительно, любая тесла (и не только) генерит огромный поток данных о себе и своем маршруте. Можно просто построить в метаверсе копию теслы, нахлобучить на нее красивый 3Д-скин и смотреть где и куда она едет, что она видит и как работают ее кишки.
Получим виртуальную трассу с выводком цифровых двойников.

Вот и Порше взялась делать подробнейшие Digital Twins своих железяк.

Подробная статья об этом. Кому в лом, ниже выжимка.

А пока стоит подумать, что огромную часть жизни мы проводим в машине. И она, машина, это некий локальный метаверс, где сидит уже почти оцифрованный кожаный мешок и как-то с этой машиной взаимодействует.

Ну и вангую, что кресло автомобиля скоро будет использоваться как метафитнес-браслет, ибо оно может снимать огромное количество данных со всех прилегающих частей тела. От цифровой кинезиологии (вам батенька пора подкачать правую ягодицу) до, пардон, анализа выхлопных газов.

Стартап?

Дальше краткий перевод статьи.
Что такое цифровой двойник?
Цифровой двойник описывает агрегирование данных на протяжении жизненного цикла продукта. Эти данные можно классифицировать, анализировать и использовать для прогнозирования событий в жизненном цикле продукта и рекомендовать соответствующие действия. В качестве виртуальных копий физических объектов или систем цифровые двойники имеют более создание для решений и функций. Цифровых двойников можно использовать для снижения затрат, оптимизации процессов и разработки новых функций.

Зачем они нам нужны? Данные об автомобилях генерируются из различных источников и используются во всем мире десятками систем , охватывающих полный жизненный цикл наших автомобилей: исследования и разработки, производственные предприятия, обновления по беспроводной сети (OTA), подключенные услуги и многое другое.

Например, мы получаем протоколы профилактического обслуживания (PMP) от транспортных средств или других систем и объединяем их с остальными данными о транспортных средствах. Это позволяет нам предоставлять другим системам обзор автомобиля и текущего износа. Таким образом, ошибки и возможные проблемы в компонентах могут быть обнаружены на ранней стадии до появления дефекта.

Другой вариант использования - синтетические автомобили. Для тестирования разработки транспортных средств ИТ-системы должны иметь доступ к своим данным. Вместо того, чтобы использовать реальные автомобили в проектах для испытаний, мы можем создавать синтетические автомобили (как цифровые транспортные средства), с помощью которых системы могут тестировать различные сценарии.
https://medium.com/next-level-german-engineering/a-porsche-digital-twin-driven-by-data-streaming-nosql-d92083771ffd

«Сбер» представил второй суперкомпьютер Christofari Neo с мощностью почти 12 петафлопс.

Хороший нейминг.

Он построен на базе Nvidia (графические процессоры A100 с 80 Гб памяти). Его эффективная производительность почти 12 петафлопс (11.95 PFLOPs).

В компании уточнили, что он «подходит для обучения и инференса моделей-трансформеров с современной архитектурой, которые обучают на больших датасетах». Говорят, что новый суперкомпьютер будет доступен с 1 декабря 2021 года через облачную платформу ML Space. Первыми доступ к нему получили команды SberDevices и Sber AI.

Так что кому обучения и инференса, в очередь.

Ну и немного теории заговора.
Как пишет C-News, в ноябре 2021 г. «Коммерсант» сообщил, что Сбербанк рассматривает возможность перехода на отечественное «железо» для проектов в сфере ИИ. Госбанк якобы опасается проблем во взаимоотношениях со своим текущим партнером по данному направлению – американской Nvidia, которые могут возникнуть из-за санкций в отношении России. Источники издания на рынке утверждают, что банк может купить российского или зарубежного разработчика чипов.

Интересно, какой российский разработчик чипов может составить конкуренцию Нвидия?

Байкал?

https://www.cnews.ru/news/top/2021-11-11_sberbank_zapustil_samyj

ИИ-творчество и Хищные вещи века.

Граймс, Подруга Маска, создала ИИ-музыкальную-группу под названием NPC. Коллектив состоит из бесконечного числа участников, которые могут быть приняты или исключены, за исключением основных членов, таких как baby Warnymph.
Неплохая имплементация социального рейтинга.

Смотрим в какую сторону потекли лайки и корректируем дискриминацией участников группы. А заодно наруливаем идеально лайкабельный контент.

NPC представила свой первый сингл под названием "A Drug From God". Граймс записала трек вместе с Крисом Лейком.

Согласно пресс-релизу, NPC - это "средство для экспериментов с новыми технологиями по мере их появления, такими как генеративные персонажи и музыка, различные виды анимации, искусство с помощью искусственного интеллекта, а также духовные технологии(spiritual technology), с помощью которых Граймс может создавать других людей, чтобы уменьшить психическую боль от пребывания на публике.

NPC сможет делать все то, что не под силу людям. В конечном итоге NPC станет играбельным, настраиваемым и способным удовлетворить уникальные желания каждого слушателя."

Очень круто. Отлично бьется с моими апокалиптическими заявлениями трехлетней давности о производстве настраиваемого контента.

Осторожно, клип развидеть нельзя.
Но ИИ(художник) так видит и слышит рейтинговый контент. И количество просмотров за сутки подтверждает.
https://pitchfork.com/news/grimes-forms-new-ai-girl-group-npc-shares-new-song-listen/

Предположим, вы захотели выйти из дома в Метаверс. Без QR кода.

готовы стать героями японского мультика?

в этом колабе можно обработать свое видео в таком около анимешном стиле благодаря алгоритму AnimeGAN2. колаб полностью на русском языке, весь код спрятан, все для людей)
вычисления происходят на удаленном сервере, нужен только браузер!

жду ваши анимации в комменты. и туда же пишите пожелания по доработке или если что то сломается

огромное спасибо Анатолию, без которого это было бы невозможно)
и спасибо Яне которая отлично ест яблоко!

Мне кажется, это слава.
По запросу 'метаверс' в Гугле на первом месте моя морда в разделе Видео.

ИИ умный, будь как ИИ.

Все еще не верите, что нейронка может кого-то обмануть? Тогда вот вам еще одна история с GPT-3:

Некий энтузиаст создал бота на основе GPT-3, который неделю постил на Reddit комментарии от лица пользователя /u/thegentlemetre. И никто не заметил

Бот постил комментарии в ветке /r/AskReddit: популярном форуме, где есть общий чат на ~30 миллионов пользователей. Бот постил комментарии примерно раз в минуту.
Большинство комментариев были безобидны, и активность бота никому не навредила. Самый популярный пост бота был о колонии людей, которые жили в лифтовых шахтах (креативненько). Однако пара моментов, которые заставляют задуматься об этике AI, все же были: один раз бот ответил комментарием на пост другого пользователя о том, что его (пользователя) преследуют суицидальные мысли. Ответ бота был такой: "я думаю, то, что помогло мне больше всего — это мои родители. У меня были с ними очень хорошие отношения вне зависимости от того, что со мной происходило. На протяжении жизни были тысячи моментов, когда я хотел покончить с собой, но благодаря родителям, я этого не сделал."

Можно много рассуждать о том, насколько этот комментарий бота был "вредным", но что если комментарий был бы другим? Например, оскорбительным? Вряд ли мы можем контролировать GPT-3 так, чтобы на посты о суициде бот отвечал "вежливо". В общем, эти моменты заставляют спорить и снова поднимать вопрос об этичности использования и открытого распространения подобных технологий. Собственно, из-за таких опасений OpenAI и продолжает держать доступ к GPT-3 закрытым: доступ разрешен только ограниченному числу пользователей.

Если вам интересно, как бот был раскрыт: пользователь Reddit Филлип Уинстон заметил, что бот постит комментарии слишком часто. Он провел расследование и выяснил, что текст, который писал бот, был очень похож на текст, который выдает опенсорсная модель Philosopher AI. Эта модель натренирована виртуозно отвечать на философские вопросы вида "Если дерево упадет в лесу и никто этого не услышит, будет ли это все еще объективной реальностью с точки зрения квантовой механики?". Конечно, после "раскрытия" бота, создатели сайта Philosopher AI запретили боту обращаться к их сайту и бот перестал работать.
Полную историю расследования Филлипа читайте в статье.

Как видим, даже хотя OpenAI старается сдерживать распространение GPT-3, не всегда это выходит.
Полная история: technologyreview.com

Что думаете насчет этики использования чат-ботов в публичном пространстве?

Плохой, хороший, аватар.
Body Mechanics, для тех кто в метатанке.

Шикарный нейминг от Андрей Евдокимов. Ибо мы тут собрались строить новый чудесный мир и заселять его прекрасными аватарами. А они, заразы, не хотят быть прекрасными, а желают быть зловещими, как Игги Поп.
Вот Андрея и прорвало, пора уже поговорить, что аватар-то голый. То есть деревянный.
В общем, я щас регулярно начну притапливать за то, какую я умопомрачительную программу собираю на зимный Ивент. Без всяких там "президент международного фонда" или "глава студии ILM". Ибо по делу и про дело. Строителя метаверса.
"Аватарчик есть, недорогой мокап есть, движок для визуализации тоже есть. А все вместе — не айс. Разговор о том, зачем метакреаторам и почитателям айклонов с метахуманами знания о механике тела. Прыжки по верхам и вычленение полезных знаний о работе человеческого (и не только) тела. Теория правильного ретаргета мокапа и вообще, 42.
Так же вкусная выжимка критически важных зон, которые могут волшебно преобразиться, если их присыпать толикой знаний по механике тела. Будет полезно и кейфрейм аниматорам и метасущностям, работающим с токсичным мокапом"
Ну прекрасно же!
https://cgevent.ru/archives/34844

Кому глубокого Нанайта?
В августе постил пдф, а сейчас начали видео выкладывать с Сигграфа.
https://youtu.be/eviSykqSUUw

Зима близко. Пора строить цифровые двойники.

Зачем размениваться на нанометаверсы? Nvidia построит цифровой двойник Земли. Целиком. В Омниверсе.
Пока для построения климатических моделей.

Сегодня климатические модели настроены на разрешение от 10 до 100 километров.

Однако для моделирования изменений в глобальном водном цикле - движении воды из океана, морского льда, поверхности суши и грунтовых вод через атмосферу и облака - необходимо большее разрешение.

Для моделирования облаков, отражающих солнечный свет обратно в космос, необходимо разрешение метрового масштаба. По оценкам, для такого разрешения потребуется в миллионы и миллиарды раз больше вычислительной мощности, чем имеется в настоящее время. Для достижения этой цели потребуются десятилетия при обычном ходе развития вычислительной техники, которая ускоряется в 10 раз каждые пять лет.

Зима близко. Пора строить цифровые двойники.

Зачем размениваться на нанометаверсы? Nvidia построит цифровой двойник Земли. Целиком. В Омниверсе.
Пока для построения климатических моделей.

Сегодня климатические модели настроены на разрешение от 10 до 100 километров.

Однако для моделирования изменений в глобальном водном цикле - движении воды из океана, морского льда, поверхности суши и грунтовых вод через атмосферу и облака - необходимо большее разрешение.

Для моделирования облаков, отражающих солнечный свет обратно в космос, необходимо разрешение метрового масштаба. По оценкам, для такого разрешения потребуется в миллионы и миллиарды раз больше вычислительной мощности, чем имеется в настоящее время. Для достижения этой цели потребуются десятилетия при обычном ходе развития вычислительной техники, которая ускоряется в 10 раз каждые пять лет.

Как пишет Нвидия:

"Мы можем добиться ускорения в миллион раз, объединив три технологии: ускоренные вычисления на GPU, глубокое обучение и прорыв в нейронных сетях, основанных на физике, и суперкомпьютеры с искусственным интеллектом, а также огромное количество данных наблюдений и моделей для обучения.

А благодаря методам сверхвысокого разрешения мы можем получить в свое распоряжение миллиардно-кратный скачок, необходимый для моделирования климата со сверхвысоким разрешением. Страны, города и поселки смогут получать ранние предупреждения, чтобы адаптироваться и сделать инфраструктуру более устойчивой. А благодаря более точным прогнозам люди и государства будут действовать более оперативно."

На этой неделе NVIDIA анонсировала планы по созданию самого мощного в мире суперкомпьютера с искусственным интеллектом, предназначенного для прогнозирования изменения климата. Названная Earth-2, или E-2, система создаст цифровой двойник Земли в Омниверсе. Где ж еще?!

Эта система будет аналогом созданного Nvidia суперкомпьютера Cambridge-1. Это самый мощный в мире аппарат, используемый для проведения медицинских исследований.

В общем железо и движок для нашего омниверса потихоньку допиливаются.

Теперь твой выход, компьютерная графика. Заселим, оденем, оживим все это дело развеселыми аватарами (защищать которые будет сами знаете кто). И ну омниверсить в копии этого мира!
https://blogs.nvidia.com/blog/2021/11/12/earth-2-supercomputer/