Вот тут фограмметрия на стероидах подоспела.
Создание копии мира вокруг вас с возможность редактирования и интеграция с СAD-ами.
Выглядит как прямая дорога к созданию трушного метаверса - копии окружающего мира.
https://www.prevu3d.com/

А вот уже и туториалы по использованию Midjourney появляются.
Это не про промпт-дизайн, это про то, на какие кнопочки жать, чтобы дойти до первой ИИ-картинки.
https://dtf.ru/u/123828-avtomaticheskaya-podlozhka-dtf/1301241-kak-polzovatsya-neyrosetyu-midjourney-kratkiy-gayd

https://youtu.be/f7yUrLMkgX4
А для тех, кто любит смотреть, видеогайд по Midjourney.
Базовые настройки, сколько стоит, как сохраняться, в общем Quick Start.
От автора мощного канала Нейросети и Блендер Сергея Пирогова.

Тут кое-кто собирается купить Unity.
За 17 миллиардов.
И нет, это не Epic, а продавцы трафла и рекламы AppLoving пытаются сорвать сделку Unity по покупке ironSource(тоже трафло и реклама).
В Юнити сказали, что подумают.

Хотя аналитики пишут вот так:

«Это компания стоимостью 15 миллиардов долларов, пытающаяся купить компанию стоимостью 15 миллиардов долларов. Это отчаянная попытка консолидироваться, и шансы на то, что эта сделка состоится, очень малы».

https://www.3dnews.ru/1071871/mobilnaya-marketingovaya-set-applovin-gotova-kupit-razrabotchika-dvizhka-unity-za-17-mlrd-no-pri-odnom-uslovii/

Куда катится мир?

Ожидаю нового HR-тренда и появления запросов и вакансий типа "ИИ-художник", "Midjourney artist" или просто ИИлюстратор.
Ибо.
Раньше мне часто писали "Порекомендуй толкового риггера, аниматора, моделлера".
За последнюю неделю уже три запроса: "Порекомендуй толкового генератора ИИ-картинок, у нас есть идея/проект/работа".

Пишите в коменты, кто уже прокачался и готов, если что.

В Ванкувере бушует Сигграф, поэтому сейчас будет некоторое количество новостей оттуда.
Там, конечно, в полный рост гарцует Нвидия - поводов для этого у них действительно много.
Первый туз в рукаве - это ACE: Avatar Cloud Engine.
И это не конструктор аватаров или мобильное приложение для анимации лиц.
Это решение для тех, кто по-взрослому интегрирует аватаров в бизнес-процессы.
Avatar Cloud Engine - это для разработиков игр, чат-ботов, цифровых двойников и виртуальных миров, колл-центров, транспорта, хорики и пр. Это набор нативных ИИ-моделей, которые упрощают создание и развертывание интерактивных аватаров.

Большая часть компьюта происходит в облаке - под капотом технологии, которые не будут крутиться на телефоне. Все это построено на Unified Compute Framework от NVIDIA, которая обеспечивает доступ к API, необходимого для использования ИИ-навыков. К ним относятся NVIDIA Riva для разработки приложений речевого ИИ, NVIDIA Metropolis для компьютерного зрения и видеоаналитики, NVIDIA Merlin для высокопроизводительных рекомендательных систем, NVIDIA NeMo Megatron для больших языковых моделей с пониманием естественного языка и NVIDIA Omniverse для анимации с поддержкой ИИ.

Теперь это упаковано в ACE.

Два приложения, о которых я уже писал, созданны на основе ACE: Project Maxine и Project Tokkio от NVIDIA. Project Maxine - работа с видео и аудио в приложениях для создания контента. Project Tokkio позволяет использовать интерактивные аватары, которые видят, воспринимают, разумно общаются и дают рекомендации.

Я поглядел - липсинк конечно так себе, но там идея в том, чтобы дать разработчикам этакой метаконструктор, который работает в облаке, а потом допиливать ИИ-модели.

Первых кейсов стоит ждать от конструкторов аватаров типа Realillusion, которые уже пишут "инструменты Creator и iClone с облачным движком NVIDIA Omniverse Avatar Cloud Engine станут отличным способом создания реалистичных аватаров, которые реалистично взаимодействуют с конечными пользователями".

Похоже Нвидия взялась за трушный метаверс всерьез.

Все ждали, что к Сигграфу Интел бахнет свои топовые карты в серии ARC, о которой они так много пишут. Но они скромно пискнули моделями Arc Pro A40 и Arc Pro A50, у которых характеристики не просто скромные, а никакие.

6 ГБ памяти GDDR6, четыре порта Mini DP 1.4.Производительность 3.5 TFLOPS/4.8 TFLOPS. Если что, производительность дряхленькой Radeon HD 6970 (она вышла под конец 2010 года) — 2,7 TFLOPS.

И хотя у них на странице ARC-ов гордо красуются Blender, HandBrake, Premiere Pro, DaVinci Resolve и даже Gigapixel AI, понятно, что ни о каком современном посте не может быть и речи.

Хотя написано красиво: Professional Graphics Begins Here

Кроме того, как Интел собираются наверстывать отставание в области написания драйверов, которые, собственно говоря, и составляют интеллектуальную начинку, совершенно непонятно.

Что они противопоставят Оптиксу от Нвидия или Адреналину от AMD?

К Сигграфу Nvidia подсобрала свои Neuro SDK в одну кучу и опубликовала их в одном месте под соусом "создания контента для Метаверса".
Там как бы список нейронок для анимации, рендеринга, симуляции и пр.
Выглядит внушительно.

Kaolin Wisp
Instant Neural Graphics Primitives - нерфы
3D MoMa - нейрорендеринг
GauGAN360 - обновление Гаугана!
Omniverse Avatar Cloud Engine (ACE)
NeuralVDB — нейросжатие VDB!
Omniverse Audio2Face
ASE: встраивание навыков анимации
TAO Toolkit оценка поз

Свежий список с деталями тут:
https://blogs.nvidia.com/blog/2022/08/09/neural-graphics-sdk-metaverse-content/

Ну, за панорамщиков! И матте-пайнтеров по дороге.

Как пишет сама Нвидия "Нужна environment map, но нет в библиотеке или под рукой? Неохота таскаться по округе с камерой? Не хотите возиться с HDRI? Тогда ИИ идет к вам!"

Они расширили своего Гогена до разверток для панорам (что напрашивалось).
Теперь можно помахать мышкой и накропать ландшафтов с помощью ИИ, который умеет рисовать морями, горами и долами.

Интерфейс - адищще, и зачем-то убрали текстовый ввод (а ведь было по моде, с промптом, в прошлой версии).

Поглядите видео.

А демо тут:
http://imaginaire.cc/gaugan360/

Помните я распинался про ассетное мышление?
Пошло в массы.
Academy Software Foundation, объявила о выпуске библиотеки ассетов для цифрового производства (DPEL), демонстрирующей масштаб и сложность современного кинопроизводства, включая(в первую очередь) компьютерную графику, визуальные эффекты и анимацию.
DPEL был создан прежде всего для тестирования софта и железа на ассетах из реального продакшена.
DPEL размещает несколько ресурсов при запуске:

Стандартный оценочный материал Американского общества кинематографистов (StEM2), который включает 17-минутный короткометражный фильм «Миссия», предназначенный для стресс-тестирования современных систем обработки изображений и демонстрации с высоким динамическим диапазоном и высокой частотой кадров.

ALab Phase 2 от Animal Logic, полная производственная сцена с более чем 300 ассетами, двумя анимированными персонажами и запеченным процедурным мехом и тканью.
Библиотека объемных облаков Intel, коллекция из 30 облачных ресурсов VDB, включая как плотные, так и разреженные облака, с разным разрешением.

Персонаж Ноа из Amazon Web Services (AWS) — полностью анимируемый главный герой с ригом, геометрией, текстурами и прической, представленный в Maya. Ноа — герой короткометражного фильма «Гаечный ключ», созданного собственной производственной командой AWS FuzzyPixel.

«Когда ассеты из продакшене становятся доступными для сообщества, выигрывают все: разработчики программного и аппаратного обеспечения могут лучше тестировать и демонстрировать свои продукты, исследователи могут проверять свои идеи и вдохновляться, а кинематографисты, в свою очередь, получают более качественные и надежные инструменты для использования. — Эрик Эндертон, директор по технологиям рендеринга фильмов в NVIDIA и председатель технического руководящего комитета DPEL. «Когда Disney выпустила набор данных острова Моана, это вызвало большой ажиотаж. Мы хотим поощрять эти щедрые пожертвования и расширять доступные возможности».

Этакий Опен Сорс для ассетов из поста. Очень круто.

✨ Вышел StableDiffusion — Разбираем подробно что нас ждет дальше и что это такое!

📇 Начнем с новостей:

StableDiffusion вышел в Stage I: ресерчеры смогут получить доступ к модели уже сегодня! Для этого веса нужно будет запросить. Но не стоит расстраиваться.

Публичный релиз состоится в ближайшее время, как только будут завершены последние этапы подготовки модели к "публичной жизни". А еще сегодня ожидается последняя волна инвайтов на закрытое бета тестирование в котором уже приняли участие 10,000 юзеров, генерируя около 1,7M изображений за сутки.

🌬 Что такое StableDiffusion?

StableDiffusion — это самая удачная смесь в Text2Image, а именно гибрид Latent Diffusion и Imagen:

> Latent Diffusion (LDM) позволяет в производить диффузию на в пространстве пикселей, а в латенщине. Вместо разрешения 64х64 — выходит сразу 512, благодаря Encoder-Decoder подходу. Если короче: деталей больше, а вычислений меньше.

> От LDM StableDiffusion отличает тот факт, что интформация от текста течет с frozen LM (а именно CLIP), как в случае с T5 в Imagen.

> Оказалось что CLIP вектора куда лучше шарят изображения и они выходят прям очень-очень крутыми (все же клип учился на изображениях и LM косвенно тоже)! И хотя понимание отношений объектов (кто слева, кто справа, и тд) чуть лучше и T5, но качество картинки у CLIP лучше на порядок!

Модель сделали ребята из StabilityAI и CompVis, обучая SD 0.8B на супер компьютере Ezra-1 AI UltraCluster, состоящим из 4,000 A100, используя для трена 2B пар изображение-текст из датасета LAION 5B, файнтюня модель на LAION-Aesthetics (сабсете).

✨ Для генерации нативного 512x512 изобрадения хватит 10 GB VRAM. Так что все от 2080ti до 3090ti кажется хорошим вариантом для дома! Ну и в Colab модель конечно же тоже влезет, даже в бесплатный!

📇 Blog Post
💻 Code StableDiffusion
👁 Веса Модели (model card)

🤖 Мишин Лернинг ✖️ Н е й р о э с т е т и к а

Unity показывает зубы.

Демо со львами - это явное обозначение границ прайда и демонстрация в духе "посмотрите, наконец, зачем мы купили Weta FX, Ziva, Speedtree и еще много всего".

И все это добро крутится в 4К при 30fps(!). Даже на PS5.

Подробнейший разбор в блоге у Unity.
Там львиная доля про то, как делали волосы и мех, про Wig, GPU-driven clustered hair simulation, про новый плейер Ziva RT Unity, ML, Ziva VFX 2.0, Wētā Digital, SpeedTree, SyncSketch и Unity Editor.

Основное сообщение - а теперь все это можно наруливать очень быстро, а рендерить еще быстрее. В реалтайме.
Ну и ссылки на гитхаб, где волосы от Unity лежат как open source.

Ссылка(обязательна к просмотру):
https://blog.unity.com/technology/new-real-time-demo-lion-unity-art-tools-in-action-and-the-future-of-weta-digital-for

"Для рендеринга волос и меха Unity разработали набор улучшений алгоритма программной растеризации на основе GPU-tile в HDRP со значительной оптимизацией для рендеринга нескольких миллионов уникальных прядей волос. Этот метод обеспечил плавное визуальное отображение с analytic anti-aliasing с независимой от вычислительного порядка прозрачностью для прядей волос, а также улучшил усовершенствованные физические модели освещения для рендеринга волос кинематографического качества.

Этот подход означает, что теперь мы можем визуализировать миллионы отдельных прядей волос, движущихся независимо и уникально, без артефактов. Он точно сохраняет блики волос и то, как свет просвечивает сквозь мягкие волосы, например, на шерсти детеныша или гриве льва в солнечном свете."

Свежие утечки от runwayML.
Выглядит задорно и круто.
Похоже надо пересчитывать оставшихся композеров.

Подробнее тут: https://twitter.com/i/status/1557517982095626241

Что-то день начался с Unity, придется продолжать в том же духе.
Вот видос от Oliver Pavicevic - все это сделано в Unity. Станция Чоп. Гляньте его твиттор, у него там много такого добра. Он даже свой тул под названием Deckard запилил для таких штук.
https://twitter.com/OlixOliver

Тамагоччи на стероидах.
Многие сегодня написали, про симметричный ответ Маску от Xiaomi.
Они анонсировали конкурента Тесла Бота - робота-гуманоида CyberOne.

Однако самое интересное остается, похоже за кадром.
Пусть он неуклюжий и ходит как слегка парализованный, но его основная фишка в распознавании окружающей действительности (некой классификации ея) и, что совсем уж интересно, в распознавании эмоций окружающих его кожаных мешков.

Политкорректный рост ростом 177 см, вес 52 кг (немного!), размах рук 168 см. 21 степень свободы в движении и скорость отклика в реальном времени 0.5 мс для каждой степени свободы.
Про крутящиеся моменты и прочие инженерные подробности почитайте по ссылке.

А я еще раз акцентирую, что эта тварь может реконструировать окружающий аналоговый мир у себя в башке (чувствуете проброс в метаверсик). Для этого у нее под капотом есть собственная система распознавания семантики окружающей среды и система распознавания голосовых эмоций MiAI, что позволяет ему распознавать 85 типов звуков окружающей среды и 45 классификаций человеческих эмоций. Это пока.
Маркетологи уже пишут, что тварюга может определять позитив или грусть и даже утешать кожаных бедняг в моменты духопадения.

Вместо лица у него изогнутый OLED module to display real-time interactive information.

В общем с робособаками разобрались (ибо китайцы уже научились их копировать), теперь разбираемся с робогуманоидами, ибо за дело взялись китайцы, а не только Илончик.

Киберпанк is coming.
https://www.mi.com/global/discover/article?id=2754