Ух ты, три вебинара и практический воркшоп по основам нейронного рендеринга. Все как мы любим: рендеринг и нейроны!
https://t.me/PHYGITALART/864

В далеком 2012 году я делал презентацию на CG EVENT про то, что традиционные cg-пайплайны обрастают .. кэшем. Нет, не деньгами (а было бы здорово), а разными форматами хранения данных - vertex cache, similation cache, молодой тогда еще алембик. Контент стал кешироваться для более быстрого превью и визуализации с ростом дисковых и сетевых возможностей. (Смешная картинка из 2012 в первом коменте).
Прошло 8 лет, и весь этот типа-кеш, сначала уехал в серверную, а потом и вовсе норовит слинять в облако.
И тут возникает вопрос, а что если к этому кешу хочется присоединиться из любого места и покрутить у себя на компьютере?
Нвидия пошла еще дальше.
Представьте, что вы сидите в Майя, или в Блендере, или (о, господи) в Unreal Engine и редактируете свою 3Д-сцену. А она (на лету!) конвертируется в USD и летит в облако, а ваш коллега из условной новой зеландии сидит в Гудини и может видеть эту сцену в реальном времени и (более того) редактировать ее вместе с вами. То есть 3Д-клиент - любой, сцена одна и все это в облаке в usd.
То есть тут доведенная до абсолюта идея референсов, кеша, совместного доступа и произвольного клиента.
Этакий Гугл Док для 3Д, где на локальных компьютерах могут быть разные 3Д-программы, а документ лежит (скорее крутится) в облаке.
Где под капотом USD, на котором все это зиждется, а на клиентах стоят коннекты-плагины.
Это я изложил свое понимание того, как работает Nvidia Omniverse, которая (ибо вселенная) только что вышла в публичную бету.
Звучит фантастически. Естественно хочется посмотреть, как это работает.
И теперь вроде как можно.
Ссылка вот тут:
https://www.nvidia.com/ru-ru/design-visualization/omniverse/
Из деталей:
Omniverse Connectors доступны для Autodesk Maya и Revit, Adobe Photoshop, Substance Designer, Substance Painter, McNeel Rhino, Trimble SketchUp и Epic Unreal Engine. Другие находятся в разработке: Blender, Houdini, 3ds Max и Motion Builder.
Там кстати, еще масса интересной информации между строк, особенно про Шаолинь.
И про Omniverse Audio2Face, приложение для лицевой анимации на базе ИИ; Omniverse Machinima для геймеров GeForce RTX; и Isaac Sim 2021.1 для разработки роботов.
Ну и, конечно, это проброс в сторону концепции Нила Стивенсона «Metaverse» - существование в виртуальных мирах, связанных между собой.

Вот это прекрасно.
Все как мы любим. ИИ, анимация, интерактив и создание визуального контента на лету.
Гугль запилил вот такую игрушку. Можете поиграться сами, у меня получилось вот так с первого раза, мышкой и спросонья.
https://artsandculture.google.com/experiment/blob-opera/AAHWrq360NcGbw

Сразу подумал про виар, мокап-перчатку и пр.
Там внутри ИИ, который заботится о гармоническом благозвучии, так что не бойтесь дать петуха.
И у Гугла, кстати, есть своя ИИ-песочница,
https://experiments.withgoogle.com/collection/ai
где есть разные ИИ-грушки - в этом смысле это некий ответ AI-playground от Nvidia.
https://www.nvidia.com/en-us/research/ai-playground/

Даешь Шоу Голос в 3Д!

Ну, за телеграм-каналы, не чокаясь?
"Соцсеть Facebook разрабатывает специальный новостной сервис для своих пользователей. В отличие от конкурентов, он будет создан на базе искусственного интеллекта, который будет публиковать основные выжимки из новостей. Об этом пишет BuzzFeed со ссылкой на аудиозапись внутренней встречи компании.

Агрегатор будет работать благодаря нейросети под названием TLDR (Too Long Didn’t Read), которая будет показывать пользователю новости в виде маркированного списка. Кроме этого, ИИ сможет озвучивать новости и работать в качестве голосового помощника. Какие ещё у него будут функции, не уточняется."

За свою ленту не очень переживаю.

Во-первых, тут люди, которые не прочь почитать лонг риды.
Во-вторых, стараюсь писать не выжимки или пересказ новостей, а свои странные размышления по поводу тех или иных событий.
Ибо они, повод для размышления, а не для дофаминового скроллинга ленты в духе "а что там еще по телевизору".

Но фейсбучек правильно ловит тренд, скроллинг ленты и вот это вот TLDR (Too Long Didn’t Read) - это прям примета времени и увод от спокойного размышления к истеричному потреблению информации, пускай даже замаскированному под неторопливое пролистывание инсты.

А мозгу, ему ведь нужно время переключиться из режима потребления в режим размышления.

Только кто ж вам даст переключиться? ИИ от фб точно не даст.

https://3dnews.ru/1027949

Интересно, в то время, как Эпик раздает гранты на разработки под собственный движок, Фейсбук вкладывается в опенсорсный движок Годот.

Facebook Reality Labs выдала грант движку Godot для разработки новых фич, среди которых система ввода для VR, OpenXR и Vulkan для Android.
Понятно, что Фейсбуку нужно толкать и двигать свой Horizon - VR-соцсеть, в которой забавные аватары без ног летают как мотыльки.
Любопытно, каким путем она идет к этому.
https://godotengine.org/article/godot-engine-receiving-support-funded-facebook-reality-labs

Пока вернуться к вопросу генерации типа-трехмерных изображений с помощью ИИ.
Как бы трехмерная сцена, но в которой нет ни капли исходного 3Д.
Очередная сеть с дивным название Пиган (как нетрудно догадаться из семейства GAN-ов), генерит (о, радость!) котиков, но уже с разных ракурсов.
На самом деле не только котиков, но в многочисленных перепостах именно котики работают лицом, то есть мордой.
Тот самый тренд, о котором я говорил на закрытии Ивента, вытаскивание максимальной информации про 3Д из обычной картинки и рендеринг этого 3Д принципиально новыми способами.
С одной стороны оцифровка этого утлого мира идет "официальным путем" - через создание трехмерных копий объектов, больших и малых, и сборки копии планеты в 3Д.
С другой стороны мир уже настолько "сфотографирован", что можно вытаскивать информацию о глубине и трехмерности из всего этого вселенского инстаграмма. И там на одном полюсе жирует фотограмметрия на стероидах грядущей тотальной лидаризации. А на другом полюсе галюциногенные ГАН-ы идут своим интересных путем, делая из котиков .. огого-котиков с разных точек зрения.
Следующий пост про охренительную работу от Гугла, превращающую одну(!) фотографию в длительный трехмерный пролет над ландшафтом. Еще один пример вытягивания 2Д в 3Д.
https://marcoamonteiro.github.io/pi-GAN-website/

Ну и обещанный пост про новое залиповецкое видео, а точнее GAN для производства таких залипательных пролетов.
Итак, на входе одна(!) картинка, а выходе - пролет над ландшафтом.
Понятно, что работает это на тех классах картинок, на которых ИИ кормили и тренировали.
Понятно, что там полно артефактов.
Но вектор развития этого класса ГАНов - жутко интересен, особенно с точки зрения постпродакшена.
Я уже постил недавно работу, где по одной фото огня или воды, генерилось отличное (и зацикленное притом) видео живого пламени или движущегося водопада.
А тут этот подход расширяется до пролетов над территорией.
Нужно вам в рекламе баунти или ирисок пролететь пару секунд над пляжем - можно не ехать в бразилию с экспедицией, снимать 2 секунды за много денег (хотя многие не прочь метнуться, был бы бюджет), берете хорошую фотку и ваш мамкин баунти готов.
Вот ссылки, приятного залипания, его там есть:
https://infinite-nature.github.io/

Так, а вот это уже серьезно!
UE4 рендеринг прямо в майском вьюпорте.
То есть у вас в майке во вюпорте крутится Унриаловская картинка.
Ну и это еще не все.
Это как бы live-link между Maya и UE4Все, что вы обновляете в одном пакете, сразу обновляется в другом.
В Майке вы можете создавать унриаловские материалы, назначать и модифицировать их.
Вы можете втягивать унриаловские ассеты в майку и делать там с ними что хотите.
Все это крутится в майском вьюпорте(!) с унрильским качеством.
Для превизов, модизов и прочих быстрых визов - это прям первый шаг в сторону реалтайм-рендеринга не выходя их майки.
Для тех, кому нужны рендер пассы и прочий проброс в композ, пока можно не торопиться.
Ибо рендерить анимацию пока предлагают майским плейбластом.
И между строк прозвучала фраза про rebake all the lights.
Однако по задумке - это прямо попадание в мои ожидания!
Помните я долбал всех вопросом, о том кто будет первый - крутой рендер-вьюпорт в Майке или крутые анимационные тулзы в Унриале?
Похоже, что вариант один начинает и выигрывает.
Интересно, что будут делать Автодеск с Эпиком, глядя на это безобразие?
Ссылка на проект вот такая mirror.virtueal.cn

Можно качать и пробовать, пока даже бесплатно.
Видео тут: https://youtu.be/5v6oHqi2S3o
P.S. У Майки уже был живой коннект в UE, но там все манипуляции в Майке отображались во вьюпорте UE, а теперь этот вьюпорт заявился в гости и встроился прямо в Майку.

Тот случай, когда мне эмоционально не нравится результат. В результате раскашивания в цвет уходят многие мелкие (и не очень) детали. И вроде как фото становится красивее (и даже хайрезнее), но как-то "мылится". В результате глаз как бы соскальзывает с деталей, ему трудно зацепиться за эмоцию, которая в оригинале незаметно генерится всеми этими морщинками и шероховатостями.
Хотя разработчики пишут вот такие сладкие вещи:
"В отличие от обычных способов восстановления изображений, которые применяют разные независимые операции, такие как шумоподавление, раскрашивание и сверхразрешение, мы используем фреймворк StyleGAN2 для проецирования старых фотографий в пространство современных фотографий с высоким разрешением, достигая всех этих эффектов в единой структуре. Уникальность подхода - запечатлеть идентичность и позу объекта фотографии, а не множество артефактов на антикварных фотографиях низкого качества. Наши сравнения с современными фильтрами реставрации показывают значительные улучшения и убедительные результаты для множества важных исторических людей."
Ссылка с отличным названием тут:
https://time-travel-rephotography.github.io/
И да, там опять ребятки из Гугля зажигают.

Не знаю, что и сказать...
Ждем книг и фильмов:
Data Racism
Data Sexism
Data Body Shaming
P. S. Как-то уже все давно обсудили, что ИИ предвзят и biased, ибо обучен на данных про кожаных мешков. Но писать об этом целые книги..
Хайп детектед, ждём сериалов и тв-шоу

А что, так можно было?

Netflix удалил из своей библиотеки в США все фильмы с Джонни Деппом.

Хоп и Delete!

Я чего-то в замешательстве.
Немного напоминает действия китайского правительства или далекие воспоминания из советского детства, когда упоминания о лицах, неугодных партии и правительству тщательно вымарывались из любых медиа.

За пределами США, в том числе и в России, все картины пока на месте.

Под рождество англичане решили пошутить.
Навалили дипфейк на королеву Елизавету.
Вышло на мой вкус довольно кринжово. Но хайпа на фейке они собрали нереально.
Оставляя за рамками чувство меры и довольно тонкий английский юмор, прокомментирую пару моментов.
Да, это использование дипфейка, но чтобы добиться такого результата, Channel 4 нанял не студента с DeepFakeLab, а, на минуточку, Framestore.
Результат, как по мне, по-прежнему, не очень.
У Hulu с Live Sports и у Deepcake с Куравлевым вышло (на мой взгляд) получше.
Это я к тому, что дипфейки пока все еще являются не продакшен инструментом, а конструктором с не очень предсказуемым выходом. Требующим танцев и заклинаний.
Однако, качество исполнения, похоже, перестает быть главным критерием исполнения этого эффекта. Сила воздействия его настолько велика, что левый свет, мамкин композ и липсинк в духе ранних нулевых никому не режет глаз. Ибо инфоповод и хайп.
Танец королевы так бомбанул королевство, что этому были посвящены многочисленные шоу, эфиры, интервью и пр.
Его кстати уже не так просто найти на ютюбе, а пресса цитирует это видео, аккуратно подрезая финал с танцем и заменяя его на слайды о потенциально опасном использовании дипфейков.
Вот оригинал: https://youtu.be/IvY-Abd2FfM?t=137 с момента того самого танца.
В общем, дипфейки только набирают обороты, и набору оборотов способствует тот факт, что сила их воздействия кроется не в качестве исполнения (как мы привыкли в мире розовых пони кино и анимации), а в совсем других вещах, о которых нам еще предстоит узнать.
Framestore проделал огромную работу, вот вам making of этого ролика, кому интересно.
https://www.digitaltrends.com/news/watch-deepfake-queen-perform-tiktok-dance-during-annual-message/
Альтернативное рождественское послание от Channel 4, было снято удостоенным премии BAFTA режиссером Framestore Уильямом Бартлеттом. В роли королевы играет актриса Дебра Стивенсон.

Но, повторюсь, дипфейки по природе своей выбиваются из мира привычных эффектов именно характером воздействия на зрителя.
Ждем нового поколения режиссеров дипфейков. И возможно обучать их будут далеко не в киношколах, а совсем в других учреждениях.

Nvidia, что ты делаешь, прекрати!
Тут люди еще от Ampere в себя не пришли, дефицит еще никак не стихнет, а тут такое...
В общем, похоже 3080 и 3090 это было затишье перед реальным ураганом.
По некоторым данным следующим поколением после Ампера будет Lovelace.
Источники говорят, что GPU AD102, который, вероятно, послужит основой для топовых потребительских карт нового поколения, может получить 18 432 ядра CUDA, что при частоте около 1,8 ГГц обеспечит производительность на уровне 66 TFLOPS. И если говорить о ядрах CUDA, их станет на 71% больше, а это нереальный прирост.
Говорят, что GPU будут производиться по нормам 5 нм, а сами видеокарты выйдут до поколения Hopper (про которое даже говорить страшно).
Кстати, шаблон ADxxx скорее всего выбран в честь графини Лавлейс, более известной как Ада Лавлейс. Она описала вычислительную машину, разработанную Чарльзом Бэббиджем, и составила для этой машины первую в мире программу, поэтому ее принято считать первым программистом.

Мокап конечно переживает второе рождение, благодаря нейронкам и computer vision.
И если с лицом и конечностями вектор развития более менее понятен, то с кистями все всегда было непросто, если говорить о восстановлении информации о движении пальцев по картинке (видео).
Многочисленные перекрытия, сложные жесты, невыпуклые формы, плюс наличие десяти шаловливых взаимодействующих пальцев - все это делает задачу весьма сложной.
Однако Facebook Lab, похоже, вообще ничего не боится.
Alexey Borzykh прислал ссылку на вот такую работу с Siggraph Asia
https://research.fb.com/publications/constraining-dense-hand-surface-tracking-with-elasticity/
Бойцы из ФБ соединили два подхода: они добавили в традиционный трекинг рук физическую деформируемую модель кистей. То бишь, грубо говоря, симуляцию деформации рук на основе входных данных от трекинга. Результаты на видео - потрясающие.
Тут правда стоить заметить, что у них было 124 камеры, а на деформируемой модели 115,618 vertices и 230,912 faces.
И что перчатки обошлись бы дешевле. Однако, перчатки сами по себе такую деформируемую модель не построят и следить за взаимопроникновениями сетки на модели не будут и в этом смысле подход ФБ очень крутой.
Глядишь такая модель кистей доберется и до олдскульного 3Д. И не только до кистей.

P.S. По ссылке есть бумага, там все подробно расписано. Даже про то как они экспериментировали с языком глухонемых.

Ну, за хоррор-комиксистов.
Любитель страшных комиксов скормил ИИ 4800 жутких картинок из комиксов, после чего StyleGAN довольно быстро просек в чем дело, разобрался с формами и спич-бабблами и нагенерил целый комик-бук.
After about 50 hours of training, StyleGAN has gotten pretty good at figuring out panel shape, speech bubbles, and the basics of where text should appear and what it should look like.
Интересно было бы провести тестирование на фан-базе. Насколько любители ужасов буду реально "пугаться".
Ссылка тут:
https://github.com/NaNoGenMo/2020/issues/55
Книжка, сгенеренная ИИ - тут:
http://www.zachwhalen.net/pg/horrrrr/book.pdf

И вот некоторые инстаграмм каналы щас напряглись. Ибо генерация треша перестает быть прерогативой кожаных мешков!