Синтетические автомобили на синтетических улицах. Метаверс заходит через автосервис.

Я помню, что на прошлом GTC Нвидия показывала цифровой двойник участка дороги. Действительно, любая тесла (и не только) генерит огромный поток данных о себе и своем маршруте. Можно просто построить в метаверсе копию теслы, нахлобучить на нее красивый 3Д-скин и смотреть где и куда она едет, что она видит и как работают ее кишки.
Получим виртуальную трассу с выводком цифровых двойников.

Вот и Порше взялась делать подробнейшие Digital Twins своих железяк.

Подробная статья об этом. Кому в лом, ниже выжимка.

А пока стоит подумать, что огромную часть жизни мы проводим в машине. И она, машина, это некий локальный метаверс, где сидит уже почти оцифрованный кожаный мешок и как-то с этой машиной взаимодействует.

Ну и вангую, что кресло автомобиля скоро будет использоваться как метафитнес-браслет, ибо оно может снимать огромное количество данных со всех прилегающих частей тела. От цифровой кинезиологии (вам батенька пора подкачать правую ягодицу) до, пардон, анализа выхлопных газов.

Стартап?

Дальше краткий перевод статьи.
Что такое цифровой двойник?
Цифровой двойник описывает агрегирование данных на протяжении жизненного цикла продукта. Эти данные можно классифицировать, анализировать и использовать для прогнозирования событий в жизненном цикле продукта и рекомендовать соответствующие действия. В качестве виртуальных копий физических объектов или систем цифровые двойники имеют более создание для решений и функций. Цифровых двойников можно использовать для снижения затрат, оптимизации процессов и разработки новых функций.

Зачем они нам нужны? Данные об автомобилях генерируются из различных источников и используются во всем мире десятками систем , охватывающих полный жизненный цикл наших автомобилей: исследования и разработки, производственные предприятия, обновления по беспроводной сети (OTA), подключенные услуги и многое другое.

Например, мы получаем протоколы профилактического обслуживания (PMP) от транспортных средств или других систем и объединяем их с остальными данными о транспортных средствах. Это позволяет нам предоставлять другим системам обзор автомобиля и текущего износа. Таким образом, ошибки и возможные проблемы в компонентах могут быть обнаружены на ранней стадии до появления дефекта.

Другой вариант использования - синтетические автомобили. Для тестирования разработки транспортных средств ИТ-системы должны иметь доступ к своим данным. Вместо того, чтобы использовать реальные автомобили в проектах для испытаний, мы можем создавать синтетические автомобили (как цифровые транспортные средства), с помощью которых системы могут тестировать различные сценарии.
https://medium.com/next-level-german-engineering/a-porsche-digital-twin-driven-by-data-streaming-nosql-d92083771ffd

«Сбер» представил второй суперкомпьютер Christofari Neo с мощностью почти 12 петафлопс.

Хороший нейминг.

Он построен на базе Nvidia (графические процессоры A100 с 80 Гб памяти). Его эффективная производительность почти 12 петафлопс (11.95 PFLOPs).

В компании уточнили, что он «подходит для обучения и инференса моделей-трансформеров с современной архитектурой, которые обучают на больших датасетах». Говорят, что новый суперкомпьютер будет доступен с 1 декабря 2021 года через облачную платформу ML Space. Первыми доступ к нему получили команды SberDevices и Sber AI.

Так что кому обучения и инференса, в очередь.

Ну и немного теории заговора.
Как пишет C-News, в ноябре 2021 г. «Коммерсант» сообщил, что Сбербанк рассматривает возможность перехода на отечественное «железо» для проектов в сфере ИИ. Госбанк якобы опасается проблем во взаимоотношениях со своим текущим партнером по данному направлению – американской Nvidia, которые могут возникнуть из-за санкций в отношении России. Источники издания на рынке утверждают, что банк может купить российского или зарубежного разработчика чипов.

Интересно, какой российский разработчик чипов может составить конкуренцию Нвидия?

Байкал?

https://www.cnews.ru/news/top/2021-11-11_sberbank_zapustil_samyj

ИИ-творчество и Хищные вещи века.

Граймс, Подруга Маска, создала ИИ-музыкальную-группу под названием NPC. Коллектив состоит из бесконечного числа участников, которые могут быть приняты или исключены, за исключением основных членов, таких как baby Warnymph.
Неплохая имплементация социального рейтинга.

Смотрим в какую сторону потекли лайки и корректируем дискриминацией участников группы. А заодно наруливаем идеально лайкабельный контент.

NPC представила свой первый сингл под названием "A Drug From God". Граймс записала трек вместе с Крисом Лейком.

Согласно пресс-релизу, NPC - это "средство для экспериментов с новыми технологиями по мере их появления, такими как генеративные персонажи и музыка, различные виды анимации, искусство с помощью искусственного интеллекта, а также духовные технологии(spiritual technology), с помощью которых Граймс может создавать других людей, чтобы уменьшить психическую боль от пребывания на публике.

NPC сможет делать все то, что не под силу людям. В конечном итоге NPC станет играбельным, настраиваемым и способным удовлетворить уникальные желания каждого слушателя."

Очень круто. Отлично бьется с моими апокалиптическими заявлениями трехлетней давности о производстве настраиваемого контента.

Осторожно, клип развидеть нельзя.
Но ИИ(художник) так видит и слышит рейтинговый контент. И количество просмотров за сутки подтверждает.
https://pitchfork.com/news/grimes-forms-new-ai-girl-group-npc-shares-new-song-listen/

Предположим, вы захотели выйти из дома в Метаверс. Без QR кода.

готовы стать героями японского мультика?

в этом колабе можно обработать свое видео в таком около анимешном стиле благодаря алгоритму AnimeGAN2. колаб полностью на русском языке, весь код спрятан, все для людей)
вычисления происходят на удаленном сервере, нужен только браузер!

жду ваши анимации в комменты. и туда же пишите пожелания по доработке или если что то сломается

огромное спасибо Анатолию, без которого это было бы невозможно)
и спасибо Яне которая отлично ест яблоко!

Мне кажется, это слава.
По запросу 'метаверс' в Гугле на первом месте моя морда в разделе Видео.

ИИ умный, будь как ИИ.

Все еще не верите, что нейронка может кого-то обмануть? Тогда вот вам еще одна история с GPT-3:

Некий энтузиаст создал бота на основе GPT-3, который неделю постил на Reddit комментарии от лица пользователя /u/thegentlemetre. И никто не заметил

Бот постил комментарии в ветке /r/AskReddit: популярном форуме, где есть общий чат на ~30 миллионов пользователей. Бот постил комментарии примерно раз в минуту.
Большинство комментариев были безобидны, и активность бота никому не навредила. Самый популярный пост бота был о колонии людей, которые жили в лифтовых шахтах (креативненько). Однако пара моментов, которые заставляют задуматься об этике AI, все же были: один раз бот ответил комментарием на пост другого пользователя о том, что его (пользователя) преследуют суицидальные мысли. Ответ бота был такой: "я думаю, то, что помогло мне больше всего — это мои родители. У меня были с ними очень хорошие отношения вне зависимости от того, что со мной происходило. На протяжении жизни были тысячи моментов, когда я хотел покончить с собой, но благодаря родителям, я этого не сделал."

Можно много рассуждать о том, насколько этот комментарий бота был "вредным", но что если комментарий был бы другим? Например, оскорбительным? Вряд ли мы можем контролировать GPT-3 так, чтобы на посты о суициде бот отвечал "вежливо". В общем, эти моменты заставляют спорить и снова поднимать вопрос об этичности использования и открытого распространения подобных технологий. Собственно, из-за таких опасений OpenAI и продолжает держать доступ к GPT-3 закрытым: доступ разрешен только ограниченному числу пользователей.

Если вам интересно, как бот был раскрыт: пользователь Reddit Филлип Уинстон заметил, что бот постит комментарии слишком часто. Он провел расследование и выяснил, что текст, который писал бот, был очень похож на текст, который выдает опенсорсная модель Philosopher AI. Эта модель натренирована виртуозно отвечать на философские вопросы вида "Если дерево упадет в лесу и никто этого не услышит, будет ли это все еще объективной реальностью с точки зрения квантовой механики?". Конечно, после "раскрытия" бота, создатели сайта Philosopher AI запретили боту обращаться к их сайту и бот перестал работать.
Полную историю расследования Филлипа читайте в статье.

Как видим, даже хотя OpenAI старается сдерживать распространение GPT-3, не всегда это выходит.
Полная история: technologyreview.com

Что думаете насчет этики использования чат-ботов в публичном пространстве?

Плохой, хороший, аватар.
Body Mechanics, для тех кто в метатанке.

Шикарный нейминг от Андрей Евдокимов. Ибо мы тут собрались строить новый чудесный мир и заселять его прекрасными аватарами. А они, заразы, не хотят быть прекрасными, а желают быть зловещими, как Игги Поп.
Вот Андрея и прорвало, пора уже поговорить, что аватар-то голый. То есть деревянный.
В общем, я щас регулярно начну притапливать за то, какую я умопомрачительную программу собираю на зимный Ивент. Без всяких там "президент международного фонда" или "глава студии ILM". Ибо по делу и про дело. Строителя метаверса.
"Аватарчик есть, недорогой мокап есть, движок для визуализации тоже есть. А все вместе — не айс. Разговор о том, зачем метакреаторам и почитателям айклонов с метахуманами знания о механике тела. Прыжки по верхам и вычленение полезных знаний о работе человеческого (и не только) тела. Теория правильного ретаргета мокапа и вообще, 42.
Так же вкусная выжимка критически важных зон, которые могут волшебно преобразиться, если их присыпать толикой знаний по механике тела. Будет полезно и кейфрейм аниматорам и метасущностям, работающим с токсичным мокапом"
Ну прекрасно же!
https://cgevent.ru/archives/34844

Кому глубокого Нанайта?
В августе постил пдф, а сейчас начали видео выкладывать с Сигграфа.
https://youtu.be/eviSykqSUUw

Зима близко. Пора строить цифровые двойники.

Зачем размениваться на нанометаверсы? Nvidia построит цифровой двойник Земли. Целиком. В Омниверсе.
Пока для построения климатических моделей.

Сегодня климатические модели настроены на разрешение от 10 до 100 километров.

Однако для моделирования изменений в глобальном водном цикле - движении воды из океана, морского льда, поверхности суши и грунтовых вод через атмосферу и облака - необходимо большее разрешение.

Для моделирования облаков, отражающих солнечный свет обратно в космос, необходимо разрешение метрового масштаба. По оценкам, для такого разрешения потребуется в миллионы и миллиарды раз больше вычислительной мощности, чем имеется в настоящее время. Для достижения этой цели потребуются десятилетия при обычном ходе развития вычислительной техники, которая ускоряется в 10 раз каждые пять лет.

Зима близко. Пора строить цифровые двойники.

Зачем размениваться на нанометаверсы? Nvidia построит цифровой двойник Земли. Целиком. В Омниверсе.
Пока для построения климатических моделей.

Сегодня климатические модели настроены на разрешение от 10 до 100 километров.

Однако для моделирования изменений в глобальном водном цикле - движении воды из океана, морского льда, поверхности суши и грунтовых вод через атмосферу и облака - необходимо большее разрешение.

Для моделирования облаков, отражающих солнечный свет обратно в космос, необходимо разрешение метрового масштаба. По оценкам, для такого разрешения потребуется в миллионы и миллиарды раз больше вычислительной мощности, чем имеется в настоящее время. Для достижения этой цели потребуются десятилетия при обычном ходе развития вычислительной техники, которая ускоряется в 10 раз каждые пять лет.

Как пишет Нвидия:

"Мы можем добиться ускорения в миллион раз, объединив три технологии: ускоренные вычисления на GPU, глубокое обучение и прорыв в нейронных сетях, основанных на физике, и суперкомпьютеры с искусственным интеллектом, а также огромное количество данных наблюдений и моделей для обучения.

А благодаря методам сверхвысокого разрешения мы можем получить в свое распоряжение миллиардно-кратный скачок, необходимый для моделирования климата со сверхвысоким разрешением. Страны, города и поселки смогут получать ранние предупреждения, чтобы адаптироваться и сделать инфраструктуру более устойчивой. А благодаря более точным прогнозам люди и государства будут действовать более оперативно."

На этой неделе NVIDIA анонсировала планы по созданию самого мощного в мире суперкомпьютера с искусственным интеллектом, предназначенного для прогнозирования изменения климата. Названная Earth-2, или E-2, система создаст цифровой двойник Земли в Омниверсе. Где ж еще?!

Эта система будет аналогом созданного Nvidia суперкомпьютера Cambridge-1. Это самый мощный в мире аппарат, используемый для проведения медицинских исследований.

В общем железо и движок для нашего омниверса потихоньку допиливаются.

Теперь твой выход, компьютерная графика. Заселим, оденем, оживим все это дело развеселыми аватарами (защищать которые будет сами знаете кто). И ну омниверсить в копии этого мира!
https://blogs.nvidia.com/blog/2021/11/12/earth-2-supercomputer/

Внимательное прочтение квартального отчета компании Vizio (она производит популярные дешевые телевизоры для рынка США в первую очередь) привело к любопытному открытию:

Производитель телевизоров получил от продажи самих телевизоров $25.6m. А от рекламы и продажи информации о том, что смотрят его пользователи - $57.6m. Т.е. Vizio получает денег от рекламы и слежки за пользователями в два раза больше, чем от самого железа.

Еще раз напоминаю, когда вы получаете что-то даром или дешево - скорее всего вы просто не понимаете как перепродают вас самих https://investors.vizio.com/news/news-details/2021/VIZIO-HOLDING-CORP.-Reports-Q3-2021-Financial-Results/default.aspx

Нейрометаверс.

Я много писал о том, что виар-шлемы - это идеальное место для расположения всяких датчиков для обратной связи. То есть сенсоров, определяющих состояние подопытного.
А развитие рынка носимых нейроинтерфейсов типа Muse просто подталкивает к тому, чтобы идти в метаверс с обратной связью наперевес.

Тут полно применений. Например, сидишь на переговорах и видишь кто в каком эмоциональном состоянии (хотя нейросетки и CV и сейчас в это умеют). Подходит к тебе аватар и просит закурить, а ты сразу понимаешь, про что идет речь.
Китайцы вон уже давно в школах одевают нейроинтерфейсы на учеников, чтобы учитель мог оценить, кто в фокусе, а кто расфокусе. И взять в руки метарозги.

Смотрите какой шикарный кейс обнаружился в Skyrim.

Нейробиолог Мариус Клуг, создал мод для Skyrim VR, который делает ваши внутриигровые магические способности зависимыми от вашей реальной сосредоточенности, концентрации и умственных способностей.

Мод называется Real Virtual Magic и полностью меняет всю систему вознаграждения Skyrim. Мод убирает пассивную регенерацию магии, поэтому единственный возможный способ пополнить синюю полоску - это сосредоточиться и использовать свой реальный мозг. Средняя активность мозга даст вам примерно полбара магии, сосредоточенность, насколько это возможно, удваивает урон, наносимый заклинаниями, а отсутствие сосредоточенности снижает урон.

Мод требует наличия устройства для нейрофидбека Muse 2 или Muse S, используемого для измерения активности мозга, сердечного ритма, дыхания и движений тела во время , подключенного с помощью Bluetooth BLED112, и VR-гарнитуры. Пока мод "является лишь ранней альфа-версией и требует от тестеров больше узнать о BCI, какие алгоритмы эффективны, а какие нет и т.д. BCI - это brain to computer interface.

Мариус Клуг работает в Берлинском техническом университете на кафедре биологической психологии и нейроэргономики, и исследует электроэнцефалографию (ЭЭГ) в VR. Цель создания мода состоит в том, чтобы измерить человеческий мозг в его естественной среде обитания - делая что-то внутри мира, а не сидя неподвижно, уставившись в экран.

Ну а теперь продолжаем фантазировать о возможных применениях, когда у всех в метаверсе будут такие моды. А они будут.
Метафитнес как он есть.

Видео и все пироги по ссылке.

P.S. Про Метафитнес, кстати, не шутка. Прокачка способности управлять концентрацией или любым другим параметром - это реальный полезный скил.

https://www.nexusmods.com/skyrimspecialedition/mods/58489

Только что писал, что не визуальным каналом единым прирастает Метаверс и что нейрофизиологи дадут жару в новых реальностях.
И Мета не разочаровала. Правда по другому, тактильному каналу.
Интернет сегодня орет, что Meta Reality Labs выкатил прототип VR-перчаток. На пневматике.
Тактильное устройство с 15 ребристыми и надувными пластиковыми накладками. Этакие подушечки, которые расположены в районе ладони, на нижней стороне пальцев и их кончиках.
Для того, чтобы задействовать допольнительный канал взаимодействия с Метаверсом.
Щас гусары, конечно, захлебнутся в своих влажных фантазиях, а мы почитаем внимательнее.

На тыльной стороне расположены специальные белые маркеры. Они отслеживают движения и перемещение пальцев в пространстве, что даёт перчаткам возможность служить в трекеров движения. Привет мокап.
Если прикоснуться к виртуальному объекту, то через подушечки можно получить обратную связь. Сенсоры становятся жёстче, если виртуальный объект взять в руку.

https://www.theverge.com/2021/11/16/22782860/meta-facebook-reality-labs-soft-robotics-haptic-glove-prototype

Ну что ж, сначала перчатки, потом носки - ходьба по горячему песку метаверса. А потом и умная одежда, про которую я так яростно топлю.

Продолжим тему омниканальности метаверса.

Сегодня уже обсудили визуальный, тактильный и даже нейро-интерфесы с метаверсом.

Но почему-то все забивают на аудиоканал.
А я вот не поленился, нашел профессионалов в этом деле:

Джордж Лукас однажды сказал, что звук — это 50% ощущений в кино. Спустя десятилетия мы обсуждаем визуальную составляющую будущих метавселенных. Забывая при этом, какую важную роль играет звук при погружении в новые миры. Поговорим о том, как можно конвертировать многолетний опыт работы со звуком в кино в новые технологии воздействия на зрителя в виртуальных мирах

Это Andrey Belchikov и Flysound, монстры кинозвука, которые любезно согласились просветить мамкиных метаверсеров про важность аудио-коммуникаций со зрителем.

Кроме того, Петр Малафеев расскажет про то, зачем в VR нужен звук. Особенности cлухового восприятия разных экранных форматов (телевидение, кино, игры). Глубина погружения и эффект присутствия. И еще очень много чего.

Хотите услышать шепот и трепет метаверса? Ссылки ниже.

https://cgevent.ru/archives/34916

https://cgevent.ru/archives/34920

В роликах ниже — примеры работ Петра Малафеева в Spatial Audio в VR. При просмотре необходимо использовать наушники. Вы можете поворачивать сцену на 360° с помощью круга со стрелками.
https://youtu.be/8gPuoIbCBWY?list=PLqasiVmrdydUyel-OEvn8lbsis9H4-nXt