Кстати, кто не в курсе, в Хроме появилась новая функция поиска по картинке - не как раньше, загрузкой картинки, а кликом по любой картинке в браузере.

Можно кликнуть правой кнопкой мыши и выбрать Search Image with Google Lens. А потом можно даже регион для поиска выбрать.

Чудовищно удобно.

Протестировал на своем фейсбучике.

https://www.youtube.com/channel/UCMkjxlDGq30aVyYXL3h5HbQ
Немного получше, чем аватары в рекламе Меты.
Что под капотом:
Unreal Engine, Metahumans, Mark IV HMC от Faceware, костюм Xsens Link, перчатки Manus Prime II, плагин Glassbox Technologies Live Client для Faceware Studio, Substance Painter, NVIDIA RTXA6000.
С таким прикидом не стыдно и в метаверс наперевес.

Еще одно приложение для переноса нашего унылого мира в метаверс. На сей раз (опять) от Unity.
Там и Environment Capture, и AR Scene Editing, и Cloud sync, и, как мы любим, - Object Capture, который позволяет сканировать реальные объекты и генерировать 3D-ассеты на основе этих сканов.
Object Capture использует API захвата объектов Apple, поэтому работает только на Маке.
https://blog.unity.com/technology/the-ar-companion-app-is-now-available

Китайский ответ Заку Кингу.
Или что нас ждет в Метаверсе.

Некоторые эффекты просто смешные, а некоторые прям хорошие - нынче китайские подростки на телефоне могут делать то, отчего мы исполняли два раза КУ в начале нулевых.

Клипассо, Амиго!
CLIPasso: Semantically-Aware Object Sketching
Нейронка для перевода любого рисунка в скетч. Причем с управляемым уровнем "детальности" или прорисовки. На основе извлечения "смыслов"(!)

Работа и вправду любопытная, ибо здесь не просто пережевываются пиксели, а анализируется контекст, извлекаются семантические понятия и уже по ним идет генерация скетча. Все как у сами знаете кого.

"В то время как методы создания эскизов часто опираются на наборы данных явных эскизов для обучения, мы используем замечательную способность CLIP (Contrastive-Language-Image-Pretraining) для извлечения семантических понятий из эскизов и изображений. Мы определяем эскиз как набор кривых Безье и используем дифференцируемый растеризатор для оптимизации параметров кривых непосредственно с учетом потери восприятия на основе CLIP. Степень абстракции регулируется путем изменения количества штрихов. Созданные эскизы демонстрируют несколько уровней абстракции, сохраняя при этом узнаваемость, базовую структуру и основные визуальные компоненты нарисованного объекта."

Вот этот вот заход на поле абстракции с использованием language processing вкупе с генерацией картинок - это красивый способ получать ту самую "новизну", в отсутствии которой так любят обвинять ИИ неолуддиты.

https://clipasso.github.io/clipasso/

В общем, я все больше склоняюсь, что метаверс наш (единый и неделимый) будет зиждиться не на олдскульных игровых движках, а на молодых и резвых Нерфах. На нейрорендеринге.

Писал в декабре, вот такой текст: "Мы уже накопили столько данных о нашем утлом мире, что просто бери и одевай эти данные в красивую оболочку и вот он метаверс - ортодоксальный и неделимый.
Просто надо скормить ИИ все многочисленные спутниковые снимки, а он их заНеРФит, то есть пережует нейронным рендерингом и выдаст копию нашего мира в 3Д. И какую!".

И вот смотрите, что выкатила Waymo (да, это те самые, что занимаются беспилотными автомобилями, и которые явно научили своих роботов метаверс-видению).

Взяли и сделали точную 3D-копию квартала в Сан-Франциско из 2,8 миллиона фотографий.
Block-NeRF нейрорендерит данные, собранные в течение нескольких месяцев при различных погодных условиях, а также выравнивает изображение между соседними NeRF-ами, чтобы их можно было совмещать.
На видео - район Сан-Франциско и ночью, и при свете дня. Как бы в 3Д.

И без всяких лидаров, шмидаров и прочих reality capture.
Осталось взять все эти бездонные селфи из инсты, фб и других космических агенств, и скормить их ИИ - и вот уже отнейрорендеренные аватары заселяют оцифрованную планету.

Будете смотреть видео ниже - помните, там никакого 3Д. Только фотки и нейрорендеринг.

К вопросу о модерации в метаверсах...
Вы всерьез думали, что там будет все как в рекламе Меты - бело и пушисто?

Ну и хороший вопрос: а можно ли курить в метаверсе и что там можно курить? С метавейпами, похоже проблемы...

Четыре выхода на 4K-мониторы, энергопотребление 50 Вт и крошечный размер - даже у Матрокса нет таких карт.
Внезапно на рынке появилась вот такая малютка с возможностью подключения четырех 4К-мониторов или двух 8К-мониторов.
3Д на уровне 1650, но это в основном для видеостен.
Цена 400+.
https://www.tomshardware.com/news/nvidias-single-slot-low-profile-pro-gpu-has-8gb-of-memory-four-4k120-outputs

Пользователи VR открывают для себя прелести PBR-текстурирования и переизобретают Subs Painter.
Любят они открывать для себя прелести начала 2000-х: от разрешения экрана до дивных персонажей из рекламы Мета.
https://twitter.com/danielsantalla/status/1400195518249177088

Ну в общем до Метавёрсу пока далеко.
Пользователи VR продолжают открывать для себя винтажные прелести начала 2000-х.
Вот оно, то, о чем вещал Цукерберг.
https://www.youtube.com/watch?v=BO0HCQpdQzs

Хотели метаверса - держите.

Вот пример того, как примерно будет осуществляться переход в тот самый метаверс, которого никто пока не видел.

Что для этого понадобится: камеры, ИИ (а в перспективе датчики или умная одежда). Виар - опционально.

Смотрите, на на Кубке арабских государств FIFA 2021 в конце прошлого года использовались технологии отслеживания игроков и их конечностей, которая позволяют в режиме реального времени создавать трехмерные визуальные представления скелета игроков.

Технология основана на использовании специальной системы камер, установленной под крышей стадиона, которая фиксирует движение всех игроков и мяча. Различные системы, представленные на рынке, обеспечивают до 29 точек данных на каждого игрока, которые составляют анимированный скелет игроков.

В итоге, весь матч можно смотреть в виде анимации с задержкой всего в несколько секунд, что дает возможность техническому персоналу, тренерам и медицинским специалистам изучить матч с новой точки зрения. Например, они смогут проанализировать происходящее с точки зрения конкретного игрока на поле, рассмотреть момент, меняющий ход матча, с идеального (или любого) ракурса или увидеть поле с высоты птичьего полета.

А если обобщить, то мы получаем кусок метаверса в рамках одного взятого стадиона. Слияние двух реальностей - физической и виртуальной, трехмерной.
И это не метаверс от Меты, Микрософта или корейского правительства, а просто отражение реальности в 3Д с помощью камер и ИИ.

Ну и коль скоро камеры и ИИ сейчас появляются на каждом углу, то экстраполируясь за границы стадиона, можно предположить, что метаверс будет расползаться по миру вот такими вот лоскутами, то есть территориями, охваченными камерами и ИИ. Которые будут на лету восстанавливать(отражать) копию нашего кожаного мира в 3Д.
Пока эти лоскуты не покроют значимую для метаверса часть планеты.

Хотите путешествуйте по старинке, хотите ныряйте в 3Д и летайте по охваченным метаверсом территориям.

А чтобы ИИ было полегче распознавать все это хозяйство, на помощь придут разные умные абсолютные трекеры по типу Antilatency, которые будут встраиваться сначала в инвентарь, потом в спортивную или спец-форму, а потом и в одежду с обувью. Один трекер уже всегда с вами - это телефон. Умные браслеты уже идут к вам. Умные трекеры - следующий шаг.
(Стартап - кто сделает модные трекеры, тот снимет сливки).

И вот мы, исторгающие потоки данных с телефонов и датчиков, загораем в лучах камер наблюдения, а умный ИИ переводит все это цифровое извержение в трехмерное представление нашего мира.

А на каком движке все это будет отрисовываться, спросят апологеты Меты, UE4 или нейрорендеринга?

А на каком движке вы читаете этот метабред?

Я на Хромиуме, как и большинство из вас. Эпплеводы на Вебките. Маргиналы на Гекко.

Так что ждем МетаБраузера на МетаХромиуме или МетаГекко. Опенсорсного, ничейного, единого и неделимого.
https://www.fifa.com/en/technical/football-technology/news/limb-tracking-technology-offers-new-array-of-possibilities

Вдогонку к метаверс-видению из предыдущего поста доброшу пример того, что уже сейчас можно добывать с обычных браслетов Fitbit с помощью ИИ, и что можно будет добыть с помощью более точных сенсоров, которые рано или поздно перейдут в разряд постоянно носимых устройств.

Группа ученых из Сингапурского университета NTU разработала приложение, которое может быть использована для выявления людей с повышенным риском развития депрессии.

Программа, получившая название "Ycogni", работает на основе машинного обучения и выявляет риск депрессии, анализируя физическую активность человека, режим сна и циркадные ритмы, полученные из носимых устройств, измеряющих шаги, пульс, энергозатраты и данные о сне.

Для разработки модели Ycogni ученые провели исследование с участием 290 работающих взрослых в Сингапуре. Участники носили устройства Fitbit Charge 2 в течение 14 дней подряд и в начале и в конце исследования заполнили два опросника, в которых проверяли наличие симптомов депрессии.
В ходе испытаний с использованием данных, полученных от групп участников с депрессией и здоровых участников, программа достигла точности 80 процентов в определении людей с высоким риском депрессии и людей без риска.

По оценкам в статье трекеры активности в 2022 будут носить около миллиарда человек, по сравнению с 722 миллионами в 2019 году. Тут возможно завышение, но тренд налицо. Трекеры - новые микроскважины, добывающие новую нефть, то бишь данные из сами знаете кого.

Так что в метаверсе будут не только аватары и развеселые скины к ним, а дикое количество метаданных. И выражение "видеть насквозь" или "кожей чувствовать" приобретут совсем иные смыслы. Что приведет к появлению совсем иных способностей (помните я писал про "чувства биржевых котировок").

Но об этом завтра.
https://www.hackster.io/news/ntu-researchers-create-an-ml-model-ycogni-capable-of-screening-smartwatch-data-for-depression-5299667959bf

Цветовая карта эмоций или как ИИ будет читать нас в метаверсе.

Был проведен любопытный эксперимент. Взяли 700 человек, вызывали у них ряд эмоциональных состояний, а потом просили отмечать, в каких участках тела они их ощущают.
Выяснилось, что вне зависимости от расовой и этнической принадлежности карты эмоций в теле более менее совпадают.

Эмоции явно вызывают изменения в мышечном тонусе, гормональном состоянии, дыхании, сердечном ритме и пр. С помощью смышленых датчиков можно измерить напряжения и изменения в тех или иных частях тела, получая на выходе информацию об эмоциональных состояниях. Которые не всегда считываются по лицу или движениям.

Мало того, что это может быть чудовищно интересно с медицинской точки зрения, так еще и представьте себе такую картину, гуляете вы такой в метаверсе, а навстречу вам идут аватары и над каждым горит надпись "завидует", "удивлен", "горд", "напуган".
А в это время окружающий метаверс подстраивается под ваше эмоциональное состояние, а рекламодатели радостно потирают руки

Что-то не так в метаверсе.
Мета движимая разумной завистью к великолепным концертам, которые делает Эпик в Фортнайте, задумала хорошее.
Концерт Foo Fighters. В метаверсе.
Но вышло не очень.
Ну и судя по описанию, получилось примерно на на Горбушке году этак 1987 на концерте группы Телевизор.

Сначала многие не могли попасть в лобби из-за странных и путаных инструкций.

Те, кто попали, оказались перед закрытыми дверьми.
(Ну точно как в прошлом веке - сначала ищешь в темноте Дом Культуры, потом тебя не пускают внутрь).

Большинство онлайн мероприятий, особенно таких масштабных, как этот концерт Foo Fighters, позволяют людям войти в виртуальную комнату ожидания до официально объявленного времени начала - обычно она открывается примерно за 30 минут до начала шоу.
Это предотвращает огромную нагрузку на серверы, когда пользователи наводняют их все сразу, что снижает вероятность сбоев в работе участников.

Мета решила выбрать другую стратегию. Никого не пускали в Метаверс, пока не наступило хорошо разрекламированное время начала.

В 8 часов вечера более 61 000 алчущих зрелищ и After Show Foo Fighter (примерно столько людей зарегистрировались заранее), вломились в Метаверсину, и при этом лобби рухнуло из-за наплыва пользователей, сервера крякнули, все зависло.
(Тут вспоминается, что когда на Горбушке открывали наконец-то дверь в зал, толпа вваливалась внутрь и мчалась занимать первые ряды. Это превращалось в мясорубку, проход был забит упавшими людьми, а самые смышленые (и я в том числе) бежали по спинкам кресел, которые трещали и ломались).

Были и другие способы попасть на концерт через приложение Horizon Venues, но, косяки происходили и там.
(Да иногда мы пытались зайти через черный вход, но там были менты).

На пике максимальное количество зрителей VR достигло лишь 13 000 человек - менее четверти всех желающих.
(Продать в четыре раза больше билетов на концерт на Горбушке - была нормальная практика)

Пользователи Quest, которые смогли присоединиться, обнаружили, что смотрят заранее записанное видео концерта, с неоптимальными углами обзора и операторами, ходящими по сцене. И этот был совсем не тот Виар-Шмиар, который им был обещан.
(Фанера?)

Причем запись лагала под нагрузкой, ибо все вломились в одно время.

Народ развел адский флейм в Твитторах, Мета вяло оправдывалась, уповая на беспрецедентную длину концерта и уникальный контент.
А я вспоминаю, какого качества был звук на концертах на Горбушке.

Что наводит меня на мысль, что Метаверс от Меты даже не в начале нулевых, а в конце 80-х.
https://www.techradar.com/news/metas-foo-fighters-super-bowl-vr-concert-failed-in-the-most-basic-ways

https://spectrum.ieee.org/bionic-eye-obsolete

Иногда децентрализация все же лучше.
Я уже писал про бионические глаза и кохлеарные имплантанты, иллюстрируя примеры невероятной пластичности мозга.
Самый известный на тот момент бионический глаз был Argus, модель II компании Second Sight.
Second Sight частично вернули зрение почти 350 пациентам. Но в 2019 году компания остановила выпуск своих бионических глаз, и к 2020 почти полностью прекратила деятельность.
Потом было неудачное IPO, и 350 человек оказались с устаревшими гаджетами в глазах, прошивки которых, скорее всего, никогда не обновятся.
В феврале 2022 года Second Sight объявила о возможном слиянии с биофармацевтической компанией Precision Medical (NPM). Ни один из руководителей Second Sight не войдет в команду объединенной компании, которая сосредоточится на разработке имплантата для доставки лекарств.
Second Sight не сообщила ни одному из своих пациентов о крахе компании. "Ни письма, ни электронного письма, ни телефонного звонка", - написал Росс Доерр на Facebook после нескольких недель бесплодных попыток связаться с компанией. “Those of us with this implant are figuratively and literally in the dark.”
Вот такой вот мрачный киберпанк...