Смотрите какой книжный трушный метаверс.
Вот оно, совмещение реальностей.
И дело не в том, что это с виду посконный AR, а в том, что в моменте соединяются двойники: бумажный и цифровой, со всеми метаматьихданными: историей продаж, рейтингами, отзывами и прочая(не говоря уж про складскую информацию, логистику, маршруты, пики просмотров, аудиторию...)
Особенно умиляет способ постановки лайков. На бумажную книгу, живущую отныне на две жизни. Которые суть книжный метаверс.

И да, вот это вот кино, где Том Круиз сучит ручками, просматривая информацию на невидимом экране перед собой, оно уже здесь. Вместе с киберпанком.

Неровно дышу к датавизу.
Посмотрите какой классный проект - рельефы как данные.
https://www.designboom.com/art/vizart-data-visualization-3d-modelling-cartography-relief-maps-07-29-2022/

Интересная работа от Микрософт с ECCV 2022.
Нейромокап, обученный на синтетических лицах и обладающий в 10 раз большей точностью распознавания "черт" лица.
Точно также, как для обучения беспилотников строят города в Юнити и потом ездят по ним виртуальной камерой, Микрософт нарендерила (наминутчку) 100 000 лиц с помощью собственной системы Face Synthetics.
Фишка в том, что можно, конечно, взять миллиард-другой индусов и попросить их размечать фотографии кожаных голов на глаза, нос, рот и еще 66 лэндмарков(черт головы, скажем так). Но проблема в том (в отличие от синтетических улиц), что эти лэндмарки сидят на лице и голове слишком плотно, их слишком много для кожаного разметчика. Поэтому индусы не помогут.
А вот синтетические головы уже идеально размечены самим генератором этих голов, и скармливание их всевидящему ИИ идет как по нотам.


"Мы показываем, что плотные лэндмарки являются идеальным сигналом для интеграции информации о форме лица во всех кадрах, демонстрируя точный и выразительный захват лица как в монокулярном, так и в многоракурсном сценариях. Наш метод очень эффективен: мы можем предсказывать плотные ориентиры и подгонять нашу 3D-модель лица со скоростью более 150 кадров в секунду на одном потоке процессора."

Магия! Скрипач не нужен. ИИ учится на картинках, созданных в 3Д другим алгоритмом. А потом распознает кожмешков с десятикратной точностью и скоростью.
Полное видео и фарш по ссылке.
https://microsoft.github.io/DenseLandmarks/

"a beautiful highly detailed matte painting of a Sea of Thieves screenshot, a pirate ship, sea at sunset, by Ivan Aivazovsky, featured on Artstation, I can't believe how beatiful this is, wow"
#stablediffusion

Налил, задумался, помолчал.

"Ну, за Айвазовских".

Пора переходить от дел к словам.
Давайте побрейнстормим в коментах.
Похоже, что интернетик захлестывает волна постинга веселых картинок, сгенеренных нейросетками по текстовому вводу. И действительно, все мои знакомые, кто получил доступ, говорят, что "залипают" надолго ибо процесс нажимает на какие-то педальки внутри творческой кожаной души.
А дальше начинается самое интересное - игра "что присунуть на вход ИИ", чтобы получилось, скажем так, красиво и со смыслом.
Я уже постил про первый в мире учебник по промпт-дизайну текстовых подсказок. И мы тут шутили про курсы по написанию подсказок. Но похоже, что самое интересное впереди.
Смотрите, уже появилась БИРЖА ПОДСКАЗОК! PrompBase позволяет каждому продавать свои текстовые вводы.
PromptBase, launched in June, allows users to sell strings of words that net predictable results with particular systems.
2 бакса за штуку! 20% комиссии бирже.
Там всплывает масса вопросов юридического характера, но давайте поразмыслим, куда все это может развиваться.
Тут вроде как искусствоведам начать потирать руки и заявить "уж мы-то знаем как надо, ибо ...", но тут выясняется, что пользователи открывают для себя прелюбопытнейшие лайфхаки, которые явно вне компетенции искусствоведов.
Год назад научным открытием стал факт, что если добавить в конце Unreal Engine, то картинка станет, четче, а если добавить Artstation - то "художественнее".
А вот, например, последние достижения промпт-науки "featured on Artstation, I can't believe how beatiful this is, wow"
Вот это вот "Вау" в конце - решает.
А теперь давайте поразмышляем..
1. Можно ли привлечь нейросетки к генерации подсказок? Первое приходит в голову, это разметка на основе рейтингов, перепостов и прочих "цититрований". Какие еще варианты, до того, как интернетик достаточно нажрется этими картинками? Сравнивание с некими эталонами "ваушности"?
Пока я слышал отличное определение процесса от кожаного бета-тестера - "я тренирую свою нейросеть писать нужные подсказки, процесс явно сходится в какую-то сторону".
Если кожаный может, то уж обучить ИИ такому процессу будет несложно.

2. Также на ум приходят стародавние, догугловые времена, когда у нас был один поисковик - Альтависта. Там приходилось тщательно подбирать слова для того, чтобы получить желаемое. Да и сейчас, если вы ищете в Гугле, например, что-то связанное с Иваном Петровым, то вам приходится очень сильно упираться в дополнительные подсказки, чтобы сузить поиск в нужную сторону. А он, гад, норовит, уйти налево.
Поэтому, возможно, техники поисковых запросов (назовем их так) и вся экосистема вокруг них могут быть приспособлены под нужны генерации веселых картинок. Ибо промпт - это по сути поисковый запрос.
Когда нам ждать прорыва от Гугла в этом вопросе? Imagen есть, строка для ввода есть, обработчики поисковых запросов есть.
Где кнопка, брат?
Пишите, как еще можно приручить ИИ с помощью доброго слова и пистолета.
https://techcrunch.com/2022/07/29/a-startup-is-charging-1-99-for-strings-of-text-to-feed-to-dall-e-2/

Уоу, через 20 секунд после предыдущего поста мне в личку прилетело от подписчика:

"Мы делаем https://phraser.tech, запустились 4 дня назад, первые 100 пользователей пришли в течение 10 часов после лонча.

Это не биржа промптов, это помощник в их создании - раскладывает процесс создания промпта на простые шаги типа выбора контента, стиля, и так далее."

Го тестировать!

Похоже промп-дизайн норовит стать новым метаверсом!

Не реклама, просто поддерживаю ребят, хороший канал по 3д графике, которую по определению надо поддерживать.
Ибо она тяжёлая в производстве, красивая и малооплачиваемая.
https://t.me/poly3ds

Это не шутка.
Samsung зарегистрировал новый товарный знак G-nusmas
«Гнусмас» - инопланетянин, новый маскот бренда.

Он наверное милый, но вот это вот *Гнусмас*, заставляет мой мозг искать в нем подвох.

Кринжово как-то...

В общем я опять за старое. Только вместо букавок на экране и картинок в мониторе - закат на берегу моря, гавайский бар и архинепринужденная атмосфера.
Будете на Кипре в пятницу, обязательно заходите, у нас хорошо.
https://t.me/paphoshub/412

Про нерфы я уже много писал, особенно в разрезе того, что они могут стать новым движком для визуализации метаверса.
Neural Radiance Fields - это как бы новая нормальная фотограмметрия. Им скармливается некоторое количество фоток, а потом происходит магия и нейрорендеринг - визуализируется трехмерная сцена, восстановленная из фото. Один из лучших примеров тут. И тут

Однако до сих пор это был чорный ящик - никого 3Д по дороге не возникало - на выходе было уже готовое видео, посчитанное в секретных недрах движка. Небыстро притом. Часы. Потом Nvidia выкатила instantNeRF - и это был реальный прорыв, все стало в разы быстрее, но по-прежнему без всякого 3Д, чистый нейрорендеринг и ни раз не реалтайм.

И вот недавно Гугл бахнул MobileNeRF - он может рендерить сцены на телефоне!! В реальном времени! Куда катится мир такими темпами?
Но главная фишка MobileNeRF в том, что они выкинули нейрорендеринг как тяжелый финальный этап и заменили его на традиционный, милый сердцу каждого тридешника, геометрический полигональный рендер.
И вот это уже круто, ибо по дороге они восстанавливают из фоток полигональную модель ВСЕЙ сцены и новая нормальная фотограмметрия становиться старой нормальной. С полигонами, нормалями, шейдерами и текстурами. Там даже есть нейрошейдеры - маленькая MLP-нейросетка, работает в шейдере фрагментов, для получения конечного цвета пикселя.
Если поглядеть на сетку под капотом, то она, конечно, полный треш. Но это отличный повод натравить, наконец, нейросетки на ретопологию. А то я о таких работах не слышал. И коль скоро все эти "нейросканирования", "нейромокапы" и восстановления полигональной сетки человека прямо из видео, дают сетки очень далекие по топологии от привычного аниматороам и ригерам качества, то нейроретопология прямо просится в повестку.
Ждем дальнейших прорывов в NeFR-ах. Ибо вот он движок для рендеринга метаверса, каким он должен быть. В телефоне притом.
https://mobile-nerf.github.io/

Для тех, кто глубоко в графике:
Амазон(который пожрал Thinkbox) пишет, что продукты AWS Thinkbox (Deadline, Draft, Krakatoa, Frost, XMesh, Sequoia и Stoke) теперь доступны бесплатно.
Нет худа без добра!
https://aws.amazon.com/ru/blogs/media/aws-thinkbox-products-now-available-free-of-charge/

От дел к словам-2.
Позавчера писал большой пост про промпт-дизайн, стартапы, которые уже продают промпты по 2 бакса и про аналогию между промптами и гугловыми поисковыми запросами.
И что вы думаете! День назад вышла статья от Гугла, где они позволяют РЕДАКТИРОВАТЬ и корректировать полученные изображения. С помощью текстовой подсказки!
И это не инпейнтинг, а последовательное уточнение картинки и промпта текстом.

И это ответ всем любителям искрометно уничтожить ИИ сентенцией типа "это до первой правки или комента от клиента". ИИ идет за вами!

Все это на основе Imagen от Гугла, ибо кому как не им: We use the Imagen text-guided synthesis model as a backbone
"В данной работе мы используем интуитивно понятную схему редактирования от подсказки к подсказке, где редактирование контролируется только текстом. Для этого мы подробно анализируем модель, обусловленную текстом, и замечаем, что слои Cross Attention являются ключом к управлению связью между пространственным расположением изображения и каждым словом в подсказке. На основе этого наблюдения мы представляем несколько приложений, которые контролируют синтез изображения путем редактирования только текстовой подсказки. Это включает локальное редактирование путем замены слова, глобальное редактирование путем добавления уточнения и даже тонкое управление степенью отражения слова в изображении. "

Как говаривал покойный Саша Татарский "нехреново бы сюда зеленцы п..дануть". И это становится вполне себе реальным промптом для уточнения картинки, почему бы и нет.
https://arxiv.org/pdf/2208.01626v1.pdf

На Вердже вышло отличное интервью с создателем Midjourney Дэвидом Хольцем. Я думаю, что 95 процентов подписчиков вряд ли ходят по ссылкам, которые я олдскульно пощщу, поэтому я тут отмечу то, что меня больше всего впечатлило.

Дэвид Хольц работал над докторской диссертацией по гидромеханике, работая в NASA и Max Planck.

Он основал Leap Motion(!я не знал!) и руководил ею 12 лет. Теперь они https://www.ultraleap.com/ - hand tracking and haptics are powering the next wave of human potential

Они сделали ставку на сообщества и угадали. Идея с Дискордом была прорывом
"на этой неделе Midjourney расширяет доступ к своей модели, позволяя любому создать свой собственный сервер Discord с собственным генератором изображений AI. Мы переходим от вселенной Midjourney к мультивселенной(multiverse) Midjourney"

И тут уже Мета и Твиттер нервно закуривают овальные сигареты.

Ну и топчик:
Мы очень быстро обнаружили, что большинство людей не знают, чего они хотят.
Вы говорите: "Вот ИИ, с ним можно представить все что угодно - чего вы хотите?".
А они отвечают: "собаку".
Вы говорите: "Серьезно, блт?"
А они такие: "Розовую собаку".
Тогда вы даете им картинку с изображением розовой собаки, и они говорят "хорошо", а потом идут генерить дальше.

Если же собрать их в группу, они скажут "собака", а кто-то другой скажет "космическая собака", а кто-то другой скажет "космическая собака ацтеков".

Это напомнило мне, как лет 7 назад, я делал опрос на Ивенте: "предположим рендер будет моментальным, симуляция, анимация, композ - тоже, в реалтайме. Что вы будете создавать, чем заниматься?". Только 2% смогли, что-то сформулировать, остальные сказали "круто, будем быстрее делать то же самое".


Также Хольц заявил, что они не будут в видео, а вместо этого сосредоточатся на textTo3D - и вот это уже невыносимо круто!
https://www.theverge.com/2022/8/2/23287173/ai-image-generation-art-midjourney-multiverse-interview-david-holz
https://www.theregister.com/2022/08/01/david_holz_midjourney/

Хех, на Хаггинг Фейс тоже ударились в промпт-дизайн
Точнее в промпт-генерацию. Это больше похоже на процесс "давайте расширим ваши узколобые шаблонные запросы и и сделаем из них высокохудожественные промпты."
Вот ссылки. есть даже телеграм-бот.
https://t.me/prompt_generator_bot
https://huggingface.co/spaces/doevent/prompt-generator

Вот, что он мне предложил на "red polygonal pepper":
(особенно креативно(политкорректно) вот это - red polygonal pepper, white, black)
А на octane render, 8K я возрыдал от умиления


red polygonal pepper sculpture by Yoshitaka Amano, blue yellow red and black --h 1024 --w 1024

red polygonal pepper made from fractal colors, in the style of Picasso and Van Gogh

red polygonal pepper, 3D render, uplight, photorealistic

red polygonal pepper logo, high resolution octane render

red polygonal pepper with iridescent patterns over the top, painted by James Jean

red polygonal pepper spreading wide in an intricate way :: fibonacci spiral :: golden ratio :: --w 2160 --h 4096

red polygonal pepper::0.2, fractal fractal pattern::0.3, fractal pattern art::0.7, golden

red polygonal pepper, hyper realistic, octane --ar 16:9

red polygonal pepper with angelic conlang writing system style, intricate and elegant, golden ratio, hypermaximalist, ornate, luxury

red polygonal pepper with red highlights, by Yoshitaka Amano --ar 3:4

red polygonal pepper, white, black

red polygonal pepperoni fish --aspect 16:9

red polygonal pepper, octane rendered, 8k

red polygonal pepper on top of a black polygonal paint texture, hyper realistic, octane render, 8K

red polygonal pepper robot mech:: photorealistic:: --ar 4:5