Для тех, кто глубоко в графике:
Амазон(который пожрал Thinkbox) пишет, что продукты AWS Thinkbox (Deadline, Draft, Krakatoa, Frost, XMesh, Sequoia и Stoke) теперь доступны бесплатно.
Нет худа без добра!
https://aws.amazon.com/ru/blogs/media/aws-thinkbox-products-now-available-free-of-charge/

От дел к словам-2.
Позавчера писал большой пост про промпт-дизайн, стартапы, которые уже продают промпты по 2 бакса и про аналогию между промптами и гугловыми поисковыми запросами.
И что вы думаете! День назад вышла статья от Гугла, где они позволяют РЕДАКТИРОВАТЬ и корректировать полученные изображения. С помощью текстовой подсказки!
И это не инпейнтинг, а последовательное уточнение картинки и промпта текстом.

И это ответ всем любителям искрометно уничтожить ИИ сентенцией типа "это до первой правки или комента от клиента". ИИ идет за вами!

Все это на основе Imagen от Гугла, ибо кому как не им: We use the Imagen text-guided synthesis model as a backbone
"В данной работе мы используем интуитивно понятную схему редактирования от подсказки к подсказке, где редактирование контролируется только текстом. Для этого мы подробно анализируем модель, обусловленную текстом, и замечаем, что слои Cross Attention являются ключом к управлению связью между пространственным расположением изображения и каждым словом в подсказке. На основе этого наблюдения мы представляем несколько приложений, которые контролируют синтез изображения путем редактирования только текстовой подсказки. Это включает локальное редактирование путем замены слова, глобальное редактирование путем добавления уточнения и даже тонкое управление степенью отражения слова в изображении. "

Как говаривал покойный Саша Татарский "нехреново бы сюда зеленцы п..дануть". И это становится вполне себе реальным промптом для уточнения картинки, почему бы и нет.
https://arxiv.org/pdf/2208.01626v1.pdf

На Вердже вышло отличное интервью с создателем Midjourney Дэвидом Хольцем. Я думаю, что 95 процентов подписчиков вряд ли ходят по ссылкам, которые я олдскульно пощщу, поэтому я тут отмечу то, что меня больше всего впечатлило.

Дэвид Хольц работал над докторской диссертацией по гидромеханике, работая в NASA и Max Planck.

Он основал Leap Motion(!я не знал!) и руководил ею 12 лет. Теперь они https://www.ultraleap.com/ - hand tracking and haptics are powering the next wave of human potential

Они сделали ставку на сообщества и угадали. Идея с Дискордом была прорывом
"на этой неделе Midjourney расширяет доступ к своей модели, позволяя любому создать свой собственный сервер Discord с собственным генератором изображений AI. Мы переходим от вселенной Midjourney к мультивселенной(multiverse) Midjourney"

И тут уже Мета и Твиттер нервно закуривают овальные сигареты.

Ну и топчик:
Мы очень быстро обнаружили, что большинство людей не знают, чего они хотят.
Вы говорите: "Вот ИИ, с ним можно представить все что угодно - чего вы хотите?".
А они отвечают: "собаку".
Вы говорите: "Серьезно, блт?"
А они такие: "Розовую собаку".
Тогда вы даете им картинку с изображением розовой собаки, и они говорят "хорошо", а потом идут генерить дальше.

Если же собрать их в группу, они скажут "собака", а кто-то другой скажет "космическая собака", а кто-то другой скажет "космическая собака ацтеков".

Это напомнило мне, как лет 7 назад, я делал опрос на Ивенте: "предположим рендер будет моментальным, симуляция, анимация, композ - тоже, в реалтайме. Что вы будете создавать, чем заниматься?". Только 2% смогли, что-то сформулировать, остальные сказали "круто, будем быстрее делать то же самое".


Также Хольц заявил, что они не будут в видео, а вместо этого сосредоточатся на textTo3D - и вот это уже невыносимо круто!
https://www.theverge.com/2022/8/2/23287173/ai-image-generation-art-midjourney-multiverse-interview-david-holz
https://www.theregister.com/2022/08/01/david_holz_midjourney/

Хех, на Хаггинг Фейс тоже ударились в промпт-дизайн
Точнее в промпт-генерацию. Это больше похоже на процесс "давайте расширим ваши узколобые шаблонные запросы и и сделаем из них высокохудожественные промпты."
Вот ссылки. есть даже телеграм-бот.
https://t.me/prompt_generator_bot
https://huggingface.co/spaces/doevent/prompt-generator

Вот, что он мне предложил на "red polygonal pepper":
(особенно креативно(политкорректно) вот это - red polygonal pepper, white, black)
А на octane render, 8K я возрыдал от умиления


red polygonal pepper sculpture by Yoshitaka Amano, blue yellow red and black --h 1024 --w 1024

red polygonal pepper made from fractal colors, in the style of Picasso and Van Gogh

red polygonal pepper, 3D render, uplight, photorealistic

red polygonal pepper logo, high resolution octane render

red polygonal pepper with iridescent patterns over the top, painted by James Jean

red polygonal pepper spreading wide in an intricate way :: fibonacci spiral :: golden ratio :: --w 2160 --h 4096

red polygonal pepper::0.2, fractal fractal pattern::0.3, fractal pattern art::0.7, golden

red polygonal pepper, hyper realistic, octane --ar 16:9

red polygonal pepper with angelic conlang writing system style, intricate and elegant, golden ratio, hypermaximalist, ornate, luxury

red polygonal pepper with red highlights, by Yoshitaka Amano --ar 3:4

red polygonal pepper, white, black

red polygonal pepperoni fish --aspect 16:9

red polygonal pepper, octane rendered, 8k

red polygonal pepper on top of a black polygonal paint texture, hyper realistic, octane render, 8K

red polygonal pepper robot mech:: photorealistic:: --ar 4:5

AI × 3D

К сожалению, пока что генерация полноценных 3D моделей с помощью нейросетей получается плохо и медленно (последний раз, когда я пытался, сетка работала 2 часа и на выходе получилось качество 10 шакалов из 10)

Зато вот с ре-проекциями можно поработать. Я это уже делал: генерировал с помощью DALLE лица с макияжами, затем с помощью фейстрекинга Spark AR извлекал текстуру с лица и натягивал обратно на 3D-модель (или другое лицо).

А вот тут чуваки заморочились и использовали похожий подход для 3D-окружений: отрендерили сцену в виде черно-белого каркаса, сгенерили поверх него нейронкой текстуры и спроецировали обратно. Делается легко, получается красиво.

Процесс на видео с 0:40: https://www.youtube.com/watch?v=jZskAizpzRU

Буквально вчера писал про то, что Мидджони не будет упираться в видео генерацию, а намерен пойти в сторону textTo3D. Все тридешники сделали стойку, а сегодня интернет-неройросети принесли принесли вот такую новость.

Apple опубликовал (и запатентовал) технологию генерации трехмерных сцен из текстовых подсказок (и картинок тоже, чтобы все как у людей). Типа 3DALLE. С названием, ошеломляющим своей фантазией: GAUDI.

Грубо говоря, это text2nerf (о которых я уже исписался). Но дальше есть моменты, ибо трехмерная сцена не просто сложнее 2Д-картинки, она считывается по другому, поэтому задача решается, скажем так, медленно и сложно.

Если хотите лонгрида, то читайте следующий пост Гауди.
https://github.com/apple/ml-gaudi

https://medium.com/mlearning-ai/how-to-generate-3d-scenes-from-text-descriptions-2345bfb321

Apple GAUDI - что внутри.

Гугль еще в 2021представил Dream Fields - ИИ, который сочетает в себе способность NeRF генерировать 3D-изображения и способность CLIP от OpenAI оценивать содержимое изображений.

Но в то время как Google занимается генерацией отдельных объектов с помощью Dream Fields, генерация неограниченных 3D-сцен остается пока нерешенной проблемой.

Одной из причин этого является ограничение возможных положений камеры: в то время как для отдельного объекта все возможные разумные положения камеры могут быть отображены на купол(dome), в 3D-сценах эти положения камеры заслоняются такими препятствиями, как, например, объекты и стены. Если их не учитывать при генерации, то созданная 3D-сцена будет непригодна.

Apple GAUDI берется решать такие (под)задачи по созданию 3D-интерьеров(подкласс 3Д) из текстовой подсказки.

Он(а?) решает эту проблему с помощью трех специализированных нейросеток:

- декодер позы камеры делает предсказания для возможных положений камеры и гарантирует, что на выходе получается правильное положение для интерьера 3D-сцены.

- декодер сцены предсказывает трехплоскостное представление, которое является своего рода 3D- холстом

- на котором radiance field decoder рисует последующее изображение, используя уравнение объемного рендеринга.

Apple также демонстрирует, что GAUDI может генерировать новые движения камеры в 3D-сценах внутри помещений. Генерация может быть случайной, начинаться с изображения или управляться текстовой подсказкой - например, "пройти через коридор" или "подняться по лестнице".

Качество видео, генерируемого GAUDI, конечно, полный шлак. InstantNeRF от Нвидия это практически 8К по сравнению с PAL от Эппле. Но сама идея скрещивать нерфы и text2image будет, по моим ощущениям взлетать очень сильно. И, думаю, стоит ждать ответа от Nvidia - если поженить их GauGAN и NeRF и закатать это в Omniverse, то получится textTo3D на стероидах.
Просто подумайте о генерации игровых уровней: "Хей, Сири, захреначь мне проход-портал из Киберпанка в Вольфенстайн".

Кстати, что-то обобщенно похожее делает Андрей Максимов из Promethean AI, но там чистый объектный генератив в 3Д и никаких нерфов.

Ну и, конечно, в работе Эппле видно, насколько результат зависит от подкапотного датасета - там есть видео разных версия Гауди обученных на Vizdoom, Replica, VLN-CE and ARKITScenes.

Поглядите видео на гитхабе, там занятные пролеты и примеры текстовых подсказок для генерации.

А если почитать между строк теории заговора, то можно предположить, что все это безобразие разрабатывается для будущего создание цифровых локаций для гарнитуры Apple XR, про которую все говорят, но никто не видел.
https://github.com/apple/ml-gaudi

Обратите внимание на дату и заголовок. Оказывается прошло уже 4.5 года.

Вот вы упорно отказывались выпивать за иллюстраторов и фотографов. Мы не такие! Они не такие!
Даже кейс с обложкой Cosmopolitan вас не убедил - "там все сложно и долго".
Но ничего, ИИ хохочет и идет в народ.
Inc Russia проиллюстрировал свои материалы картинками из Midjourney.
Получилось убойно, мрачно, местами по-черному смешно, местами очень грустно.
Щас придут блохоловы искать ошибки в композиции, но могу сказать, что ИИ отлично попал в материал. Ибо цепляет.
https://incrussia.ru/switch/midjourney/
Забрал тут: https://t.me/leraneuralpics

Все, что вы хотели спросить - спрашивайте у ИИ.

Похоже, что тема трансформации поисковых запросов к Гуглу в промпты для ИИ, о которой я писал, имеет под собой все основания.
Ибо все сводится к одной простой формуле: "Брат, а покажи мне что-то на тему XYZ".
Текстом ли, картинками ли.

Смотрите, какую историю из жизни подсмотрел у Димы Шурова (ex.CGF) в фейсбучике:

"У меня на работе возникла задача сделать автоматизацию рассылки писем внутри компании. Как обычно начал гуглить, но результаты не радовали. В какой-то момент пришла мысль попробовать спросить GPT-3: "Suggest 3 free mailing services to send emails using Python API".

Через секунду получаю следующий результат:
1. Mailgun
2. SendGrid
3. Mailjet

Гуглю Mailgun, открываю, регистрируюсь... И понимаю, что это ровно то, что нужно. Офигеваю.
Думаю, чего бы еще спросить. Друг предлагает идею

"Write an essay on a topic: "Can an Artificial Intelligence lead us to a better life?".

На что получаем ответ:

"Yes, an artificial intelligence can lead us to a better life. It can help us to better understand and predict the world around us, and make better decisions".

Чтож, верю."

Так что покайтесь и несите на паперть свои запросы.

Исходник

Продолжая тему поиска ответов у ИИ, можно добавить что фейсбучек тоже включился в эту гонку.
Ибо тренирует своего нового разговорного бота с помощью кожаных мешков.
Если вкратце, они запустили типа исследовательский проект под названием BlenderBot 3, чат-бот, который рыщет в Интернете, чтобы поддерживать разговор на практически на любую тему.

Модель, данные и код BlenderBot 3 открыты(!). Можете встраивать.

BlenderBot 3 предназначен для улучшения разговорных навыков за счет обратной связи от людей, которые общаются с ним. Обучение с кожаным подкрепление.

Основная фишка - возможность постоянно лайкать и дизлайкать бота в процессе общения.

BlenderBot 3 создан на основе общедоступной языковой модели OPT-175B, которая примерно в 58 раз больше, чем BlenderBot 2.

https://about.fb.com/news/2022/08/blenderbot-ai-chatbot-improves-through-conversation/

А вот что получается, если за дело берутся олдскульные взрослые мальчики, которые используют дорогое кастомное оборудование, ацкий инхаусный ИИ и шейдеры кожи, отображающие поры.

Каждой задаче свое решение и Digital Domain не торопясь спускается с горы и пилит свою Зоуи в своем же Шарлатане.

Референс для всех мокаперов, фейскапчеров, влогеров и втюберов.

Поглядите, что творит Ромбик Белов сотоварищи!

Выкатили KeenTools 2022.2: продвинутая детализация в FaceBuilder и поддержка MetaHuman!

Переработали модель деформации FaceBuilder — теперь 3D модели гораздо больше похожи на людей с фотографий!

Более того, вы можете переносить все эти модели в движки. Mesh to MetaHuman позволяет обернуть любой меш головы, в том числе сделанный с FaceBuilder, топологией MetaHuman, а после создать персонажа и использовать его в Unreal Engine.

Полная совместимость: новая UV-развертка ‘MH’ полностью совпадает с развёрткой MetaHuman, её можно использовать для создания реалистичной текстуры со всеми деталями с фотографий.

Похоже, что комбинация FaceBuilder и MetaHuman — это сейчас самый простой и удобный способ переноса человека с фотографии в игровой движок!

Подробности: https://link.keentools.io/2022-2-tg-news

Ну и спокойных вам субботних снов.
Все еще хотите в Метаверсик?
Музей истории науки и медицины в Нидерландах может вам показать его изнутри.
https://twitter.com/KutadguBilim/status/1553817972891852800

Видео к посту выше. Оцените креатив. Ничего, что соврали, зато красиво получилось.