Интересная работа от Микрософт с ECCV 2022.
Нейромокап, обученный на синтетических лицах и обладающий в 10 раз большей точностью распознавания "черт" лица.
Точно также, как для обучения беспилотников строят города в Юнити и потом ездят по ним виртуальной камерой, Микрософт нарендерила (наминутчку) 100 000 лиц с помощью собственной системы Face Synthetics.
Фишка в том, что можно, конечно, взять миллиард-другой индусов и попросить их размечать фотографии кожаных голов на глаза, нос, рот и еще 66 лэндмарков(черт головы, скажем так). Но проблема в том (в отличие от синтетических улиц), что эти лэндмарки сидят на лице и голове слишком плотно, их слишком много для кожаного разметчика. Поэтому индусы не помогут.
А вот синтетические головы уже идеально размечены самим генератором этих голов, и скармливание их всевидящему ИИ идет как по нотам.


"Мы показываем, что плотные лэндмарки являются идеальным сигналом для интеграции информации о форме лица во всех кадрах, демонстрируя точный и выразительный захват лица как в монокулярном, так и в многоракурсном сценариях. Наш метод очень эффективен: мы можем предсказывать плотные ориентиры и подгонять нашу 3D-модель лица со скоростью более 150 кадров в секунду на одном потоке процессора."

Магия! Скрипач не нужен. ИИ учится на картинках, созданных в 3Д другим алгоритмом. А потом распознает кожмешков с десятикратной точностью и скоростью.
Полное видео и фарш по ссылке.
https://microsoft.github.io/DenseLandmarks/

"a beautiful highly detailed matte painting of a Sea of Thieves screenshot, a pirate ship, sea at sunset, by Ivan Aivazovsky, featured on Artstation, I can't believe how beatiful this is, wow"
#stablediffusion

Налил, задумался, помолчал.

"Ну, за Айвазовских".

Пора переходить от дел к словам.
Давайте побрейнстормим в коментах.
Похоже, что интернетик захлестывает волна постинга веселых картинок, сгенеренных нейросетками по текстовому вводу. И действительно, все мои знакомые, кто получил доступ, говорят, что "залипают" надолго ибо процесс нажимает на какие-то педальки внутри творческой кожаной души.
А дальше начинается самое интересное - игра "что присунуть на вход ИИ", чтобы получилось, скажем так, красиво и со смыслом.
Я уже постил про первый в мире учебник по промпт-дизайну текстовых подсказок. И мы тут шутили про курсы по написанию подсказок. Но похоже, что самое интересное впереди.
Смотрите, уже появилась БИРЖА ПОДСКАЗОК! PrompBase позволяет каждому продавать свои текстовые вводы.
PromptBase, launched in June, allows users to sell strings of words that net predictable results with particular systems.
2 бакса за штуку! 20% комиссии бирже.
Там всплывает масса вопросов юридического характера, но давайте поразмыслим, куда все это может развиваться.
Тут вроде как искусствоведам начать потирать руки и заявить "уж мы-то знаем как надо, ибо ...", но тут выясняется, что пользователи открывают для себя прелюбопытнейшие лайфхаки, которые явно вне компетенции искусствоведов.
Год назад научным открытием стал факт, что если добавить в конце Unreal Engine, то картинка станет, четче, а если добавить Artstation - то "художественнее".
А вот, например, последние достижения промпт-науки "featured on Artstation, I can't believe how beatiful this is, wow"
Вот это вот "Вау" в конце - решает.
А теперь давайте поразмышляем..
1. Можно ли привлечь нейросетки к генерации подсказок? Первое приходит в голову, это разметка на основе рейтингов, перепостов и прочих "цититрований". Какие еще варианты, до того, как интернетик достаточно нажрется этими картинками? Сравнивание с некими эталонами "ваушности"?
Пока я слышал отличное определение процесса от кожаного бета-тестера - "я тренирую свою нейросеть писать нужные подсказки, процесс явно сходится в какую-то сторону".
Если кожаный может, то уж обучить ИИ такому процессу будет несложно.

2. Также на ум приходят стародавние, догугловые времена, когда у нас был один поисковик - Альтависта. Там приходилось тщательно подбирать слова для того, чтобы получить желаемое. Да и сейчас, если вы ищете в Гугле, например, что-то связанное с Иваном Петровым, то вам приходится очень сильно упираться в дополнительные подсказки, чтобы сузить поиск в нужную сторону. А он, гад, норовит, уйти налево.
Поэтому, возможно, техники поисковых запросов (назовем их так) и вся экосистема вокруг них могут быть приспособлены под нужны генерации веселых картинок. Ибо промпт - это по сути поисковый запрос.
Когда нам ждать прорыва от Гугла в этом вопросе? Imagen есть, строка для ввода есть, обработчики поисковых запросов есть.
Где кнопка, брат?
Пишите, как еще можно приручить ИИ с помощью доброго слова и пистолета.
https://techcrunch.com/2022/07/29/a-startup-is-charging-1-99-for-strings-of-text-to-feed-to-dall-e-2/

Уоу, через 20 секунд после предыдущего поста мне в личку прилетело от подписчика:

"Мы делаем https://phraser.tech, запустились 4 дня назад, первые 100 пользователей пришли в течение 10 часов после лонча.

Это не биржа промптов, это помощник в их создании - раскладывает процесс создания промпта на простые шаги типа выбора контента, стиля, и так далее."

Го тестировать!

Похоже промп-дизайн норовит стать новым метаверсом!

Не реклама, просто поддерживаю ребят, хороший канал по 3д графике, которую по определению надо поддерживать.
Ибо она тяжёлая в производстве, красивая и малооплачиваемая.
https://t.me/poly3ds

Это не шутка.
Samsung зарегистрировал новый товарный знак G-nusmas
«Гнусмас» - инопланетянин, новый маскот бренда.

Он наверное милый, но вот это вот *Гнусмас*, заставляет мой мозг искать в нем подвох.

Кринжово как-то...

В общем я опять за старое. Только вместо букавок на экране и картинок в мониторе - закат на берегу моря, гавайский бар и архинепринужденная атмосфера.
Будете на Кипре в пятницу, обязательно заходите, у нас хорошо.
https://t.me/paphoshub/412

Про нерфы я уже много писал, особенно в разрезе того, что они могут стать новым движком для визуализации метаверса.
Neural Radiance Fields - это как бы новая нормальная фотограмметрия. Им скармливается некоторое количество фоток, а потом происходит магия и нейрорендеринг - визуализируется трехмерная сцена, восстановленная из фото. Один из лучших примеров тут. И тут

Однако до сих пор это был чорный ящик - никого 3Д по дороге не возникало - на выходе было уже готовое видео, посчитанное в секретных недрах движка. Небыстро притом. Часы. Потом Nvidia выкатила instantNeRF - и это был реальный прорыв, все стало в разы быстрее, но по-прежнему без всякого 3Д, чистый нейрорендеринг и ни раз не реалтайм.

И вот недавно Гугл бахнул MobileNeRF - он может рендерить сцены на телефоне!! В реальном времени! Куда катится мир такими темпами?
Но главная фишка MobileNeRF в том, что они выкинули нейрорендеринг как тяжелый финальный этап и заменили его на традиционный, милый сердцу каждого тридешника, геометрический полигональный рендер.
И вот это уже круто, ибо по дороге они восстанавливают из фоток полигональную модель ВСЕЙ сцены и новая нормальная фотограмметрия становиться старой нормальной. С полигонами, нормалями, шейдерами и текстурами. Там даже есть нейрошейдеры - маленькая MLP-нейросетка, работает в шейдере фрагментов, для получения конечного цвета пикселя.
Если поглядеть на сетку под капотом, то она, конечно, полный треш. Но это отличный повод натравить, наконец, нейросетки на ретопологию. А то я о таких работах не слышал. И коль скоро все эти "нейросканирования", "нейромокапы" и восстановления полигональной сетки человека прямо из видео, дают сетки очень далекие по топологии от привычного аниматороам и ригерам качества, то нейроретопология прямо просится в повестку.
Ждем дальнейших прорывов в NeFR-ах. Ибо вот он движок для рендеринга метаверса, каким он должен быть. В телефоне притом.
https://mobile-nerf.github.io/

Для тех, кто глубоко в графике:
Амазон(который пожрал Thinkbox) пишет, что продукты AWS Thinkbox (Deadline, Draft, Krakatoa, Frost, XMesh, Sequoia и Stoke) теперь доступны бесплатно.
Нет худа без добра!
https://aws.amazon.com/ru/blogs/media/aws-thinkbox-products-now-available-free-of-charge/

От дел к словам-2.
Позавчера писал большой пост про промпт-дизайн, стартапы, которые уже продают промпты по 2 бакса и про аналогию между промптами и гугловыми поисковыми запросами.
И что вы думаете! День назад вышла статья от Гугла, где они позволяют РЕДАКТИРОВАТЬ и корректировать полученные изображения. С помощью текстовой подсказки!
И это не инпейнтинг, а последовательное уточнение картинки и промпта текстом.

И это ответ всем любителям искрометно уничтожить ИИ сентенцией типа "это до первой правки или комента от клиента". ИИ идет за вами!

Все это на основе Imagen от Гугла, ибо кому как не им: We use the Imagen text-guided synthesis model as a backbone
"В данной работе мы используем интуитивно понятную схему редактирования от подсказки к подсказке, где редактирование контролируется только текстом. Для этого мы подробно анализируем модель, обусловленную текстом, и замечаем, что слои Cross Attention являются ключом к управлению связью между пространственным расположением изображения и каждым словом в подсказке. На основе этого наблюдения мы представляем несколько приложений, которые контролируют синтез изображения путем редактирования только текстовой подсказки. Это включает локальное редактирование путем замены слова, глобальное редактирование путем добавления уточнения и даже тонкое управление степенью отражения слова в изображении. "

Как говаривал покойный Саша Татарский "нехреново бы сюда зеленцы п..дануть". И это становится вполне себе реальным промптом для уточнения картинки, почему бы и нет.
https://arxiv.org/pdf/2208.01626v1.pdf

На Вердже вышло отличное интервью с создателем Midjourney Дэвидом Хольцем. Я думаю, что 95 процентов подписчиков вряд ли ходят по ссылкам, которые я олдскульно пощщу, поэтому я тут отмечу то, что меня больше всего впечатлило.

Дэвид Хольц работал над докторской диссертацией по гидромеханике, работая в NASA и Max Planck.

Он основал Leap Motion(!я не знал!) и руководил ею 12 лет. Теперь они https://www.ultraleap.com/ - hand tracking and haptics are powering the next wave of human potential

Они сделали ставку на сообщества и угадали. Идея с Дискордом была прорывом
"на этой неделе Midjourney расширяет доступ к своей модели, позволяя любому создать свой собственный сервер Discord с собственным генератором изображений AI. Мы переходим от вселенной Midjourney к мультивселенной(multiverse) Midjourney"

И тут уже Мета и Твиттер нервно закуривают овальные сигареты.

Ну и топчик:
Мы очень быстро обнаружили, что большинство людей не знают, чего они хотят.
Вы говорите: "Вот ИИ, с ним можно представить все что угодно - чего вы хотите?".
А они отвечают: "собаку".
Вы говорите: "Серьезно, блт?"
А они такие: "Розовую собаку".
Тогда вы даете им картинку с изображением розовой собаки, и они говорят "хорошо", а потом идут генерить дальше.

Если же собрать их в группу, они скажут "собака", а кто-то другой скажет "космическая собака", а кто-то другой скажет "космическая собака ацтеков".

Это напомнило мне, как лет 7 назад, я делал опрос на Ивенте: "предположим рендер будет моментальным, симуляция, анимация, композ - тоже, в реалтайме. Что вы будете создавать, чем заниматься?". Только 2% смогли, что-то сформулировать, остальные сказали "круто, будем быстрее делать то же самое".


Также Хольц заявил, что они не будут в видео, а вместо этого сосредоточатся на textTo3D - и вот это уже невыносимо круто!
https://www.theverge.com/2022/8/2/23287173/ai-image-generation-art-midjourney-multiverse-interview-david-holz
https://www.theregister.com/2022/08/01/david_holz_midjourney/

Хех, на Хаггинг Фейс тоже ударились в промпт-дизайн
Точнее в промпт-генерацию. Это больше похоже на процесс "давайте расширим ваши узколобые шаблонные запросы и и сделаем из них высокохудожественные промпты."
Вот ссылки. есть даже телеграм-бот.
https://t.me/prompt_generator_bot
https://huggingface.co/spaces/doevent/prompt-generator

Вот, что он мне предложил на "red polygonal pepper":
(особенно креативно(политкорректно) вот это - red polygonal pepper, white, black)
А на octane render, 8K я возрыдал от умиления


red polygonal pepper sculpture by Yoshitaka Amano, blue yellow red and black --h 1024 --w 1024

red polygonal pepper made from fractal colors, in the style of Picasso and Van Gogh

red polygonal pepper, 3D render, uplight, photorealistic

red polygonal pepper logo, high resolution octane render

red polygonal pepper with iridescent patterns over the top, painted by James Jean

red polygonal pepper spreading wide in an intricate way :: fibonacci spiral :: golden ratio :: --w 2160 --h 4096

red polygonal pepper::0.2, fractal fractal pattern::0.3, fractal pattern art::0.7, golden

red polygonal pepper, hyper realistic, octane --ar 16:9

red polygonal pepper with angelic conlang writing system style, intricate and elegant, golden ratio, hypermaximalist, ornate, luxury

red polygonal pepper with red highlights, by Yoshitaka Amano --ar 3:4

red polygonal pepper, white, black

red polygonal pepperoni fish --aspect 16:9

red polygonal pepper, octane rendered, 8k

red polygonal pepper on top of a black polygonal paint texture, hyper realistic, octane render, 8K

red polygonal pepper robot mech:: photorealistic:: --ar 4:5

AI × 3D

К сожалению, пока что генерация полноценных 3D моделей с помощью нейросетей получается плохо и медленно (последний раз, когда я пытался, сетка работала 2 часа и на выходе получилось качество 10 шакалов из 10)

Зато вот с ре-проекциями можно поработать. Я это уже делал: генерировал с помощью DALLE лица с макияжами, затем с помощью фейстрекинга Spark AR извлекал текстуру с лица и натягивал обратно на 3D-модель (или другое лицо).

А вот тут чуваки заморочились и использовали похожий подход для 3D-окружений: отрендерили сцену в виде черно-белого каркаса, сгенерили поверх него нейронкой текстуры и спроецировали обратно. Делается легко, получается красиво.

Процесс на видео с 0:40: https://www.youtube.com/watch?v=jZskAizpzRU

Буквально вчера писал про то, что Мидджони не будет упираться в видео генерацию, а намерен пойти в сторону textTo3D. Все тридешники сделали стойку, а сегодня интернет-неройросети принесли принесли вот такую новость.

Apple опубликовал (и запатентовал) технологию генерации трехмерных сцен из текстовых подсказок (и картинок тоже, чтобы все как у людей). Типа 3DALLE. С названием, ошеломляющим своей фантазией: GAUDI.

Грубо говоря, это text2nerf (о которых я уже исписался). Но дальше есть моменты, ибо трехмерная сцена не просто сложнее 2Д-картинки, она считывается по другому, поэтому задача решается, скажем так, медленно и сложно.

Если хотите лонгрида, то читайте следующий пост Гауди.
https://github.com/apple/ml-gaudi

https://medium.com/mlearning-ai/how-to-generate-3d-scenes-from-text-descriptions-2345bfb321

Apple GAUDI - что внутри.

Гугль еще в 2021представил Dream Fields - ИИ, который сочетает в себе способность NeRF генерировать 3D-изображения и способность CLIP от OpenAI оценивать содержимое изображений.

Но в то время как Google занимается генерацией отдельных объектов с помощью Dream Fields, генерация неограниченных 3D-сцен остается пока нерешенной проблемой.

Одной из причин этого является ограничение возможных положений камеры: в то время как для отдельного объекта все возможные разумные положения камеры могут быть отображены на купол(dome), в 3D-сценах эти положения камеры заслоняются такими препятствиями, как, например, объекты и стены. Если их не учитывать при генерации, то созданная 3D-сцена будет непригодна.

Apple GAUDI берется решать такие (под)задачи по созданию 3D-интерьеров(подкласс 3Д) из текстовой подсказки.

Он(а?) решает эту проблему с помощью трех специализированных нейросеток:

- декодер позы камеры делает предсказания для возможных положений камеры и гарантирует, что на выходе получается правильное положение для интерьера 3D-сцены.

- декодер сцены предсказывает трехплоскостное представление, которое является своего рода 3D- холстом

- на котором radiance field decoder рисует последующее изображение, используя уравнение объемного рендеринга.

Apple также демонстрирует, что GAUDI может генерировать новые движения камеры в 3D-сценах внутри помещений. Генерация может быть случайной, начинаться с изображения или управляться текстовой подсказкой - например, "пройти через коридор" или "подняться по лестнице".

Качество видео, генерируемого GAUDI, конечно, полный шлак. InstantNeRF от Нвидия это практически 8К по сравнению с PAL от Эппле. Но сама идея скрещивать нерфы и text2image будет, по моим ощущениям взлетать очень сильно. И, думаю, стоит ждать ответа от Nvidia - если поженить их GauGAN и NeRF и закатать это в Omniverse, то получится textTo3D на стероидах.
Просто подумайте о генерации игровых уровней: "Хей, Сири, захреначь мне проход-портал из Киберпанка в Вольфенстайн".

Кстати, что-то обобщенно похожее делает Андрей Максимов из Promethean AI, но там чистый объектный генератив в 3Д и никаких нерфов.

Ну и, конечно, в работе Эппле видно, насколько результат зависит от подкапотного датасета - там есть видео разных версия Гауди обученных на Vizdoom, Replica, VLN-CE and ARKITScenes.

Поглядите видео на гитхабе, там занятные пролеты и примеры текстовых подсказок для генерации.

А если почитать между строк теории заговора, то можно предположить, что все это безобразие разрабатывается для будущего создание цифровых локаций для гарнитуры Apple XR, про которую все говорят, но никто не видел.
https://github.com/apple/ml-gaudi

Обратите внимание на дату и заголовок. Оказывается прошло уже 4.5 года.

Вот вы упорно отказывались выпивать за иллюстраторов и фотографов. Мы не такие! Они не такие!
Даже кейс с обложкой Cosmopolitan вас не убедил - "там все сложно и долго".
Но ничего, ИИ хохочет и идет в народ.
Inc Russia проиллюстрировал свои материалы картинками из Midjourney.
Получилось убойно, мрачно, местами по-черному смешно, местами очень грустно.
Щас придут блохоловы искать ошибки в композиции, но могу сказать, что ИИ отлично попал в материал. Ибо цепляет.
https://incrussia.ru/switch/midjourney/
Забрал тут: https://t.me/leraneuralpics

Все, что вы хотели спросить - спрашивайте у ИИ.

Похоже, что тема трансформации поисковых запросов к Гуглу в промпты для ИИ, о которой я писал, имеет под собой все основания.
Ибо все сводится к одной простой формуле: "Брат, а покажи мне что-то на тему XYZ".
Текстом ли, картинками ли.

Смотрите, какую историю из жизни подсмотрел у Димы Шурова (ex.CGF) в фейсбучике:

"У меня на работе возникла задача сделать автоматизацию рассылки писем внутри компании. Как обычно начал гуглить, но результаты не радовали. В какой-то момент пришла мысль попробовать спросить GPT-3: "Suggest 3 free mailing services to send emails using Python API".

Через секунду получаю следующий результат:
1. Mailgun
2. SendGrid
3. Mailjet

Гуглю Mailgun, открываю, регистрируюсь... И понимаю, что это ровно то, что нужно. Офигеваю.
Думаю, чего бы еще спросить. Друг предлагает идею

"Write an essay on a topic: "Can an Artificial Intelligence lead us to a better life?".

На что получаем ответ:

"Yes, an artificial intelligence can lead us to a better life. It can help us to better understand and predict the world around us, and make better decisions".

Чтож, верю."

Так что покайтесь и несите на паперть свои запросы.

Исходник

Продолжая тему поиска ответов у ИИ, можно добавить что фейсбучек тоже включился в эту гонку.
Ибо тренирует своего нового разговорного бота с помощью кожаных мешков.
Если вкратце, они запустили типа исследовательский проект под названием BlenderBot 3, чат-бот, который рыщет в Интернете, чтобы поддерживать разговор на практически на любую тему.

Модель, данные и код BlenderBot 3 открыты(!). Можете встраивать.

BlenderBot 3 предназначен для улучшения разговорных навыков за счет обратной связи от людей, которые общаются с ним. Обучение с кожаным подкрепление.

Основная фишка - возможность постоянно лайкать и дизлайкать бота в процессе общения.

BlenderBot 3 создан на основе общедоступной языковой модели OPT-175B, которая примерно в 58 раз больше, чем BlenderBot 2.

https://about.fb.com/news/2022/08/blenderbot-ai-chatbot-improves-through-conversation/