Очень качественная генерация мейкапа глаз под музыку. Просто эстетическое удовольствие. Человек натренил StyleGAN2 на фотокарточках мейкапа и, видимо, сделал так, чтобы генерация была синхронизирована с музыкой. Например, можно конвертнуть звуковые волны в вектора и приклеить их ко входам в StyleGAN, тогда картинка будет танцевать под музыку. Желающие могут попробовать такое сами с помощью этого python-пакета.

SFX или практические эффекты.
Когда нужно быстро затереть кого-нибудь.
На зелёном фоне.

Речь пойдет о том, как привычные анимационные персонажи превращаются в героев соц-сетей.

Какие требования к пайплайну накладывает такой формат?

Как перестроить мышление на 15 секунд?

Технологии под капотом.

Восторг и боль в UE.

Почему Maya.
#cgevent2021 #cgeventonline https://cgevent.ru/archives/33196

Немножко диплернинга из Саудовской Аравии: Генерация Бесконечных Панорам 🔥

Существующие подходы могут генерить картинки фиксированного разрешения и размера. Но мир бесспорно шире чем один кадр. Парни из Саудовской Аравии и Сколтеха предложили метод, который позволяет создавать бесконечные панорамы разнообразных сцен.

Идея такая: семплируем 'latent code'-ы и располагаем их на прямой с определенным шагом, а затем интерполируем между ними. Кажется тривиальным. Но тут пришлось попотеть чтобы это заработало в контексте StyleGAN, так как там на вход конволюций идет всегда фиксированный тензор, а эти коды используются как параметры для слоев нормализации. В общем, ребятки еще переписали слои для нормализации.

Теперь можно генерить картинки, которые естественным образом переходят из одной в другую. Нейронка делает это без какой-либо подготовки и обучается на обычных несвязанных фото (не панорамных). По сути можно взять предобученный StyleGAN, а все трюки нужны только на фазе инференса.

На сайте проекта есть демо

Снова поговорим про настоящее и будущее риалтайм мокапа без костюмов и прочих сложностей. Обычная камера, лицо, туловище и руки. Где перспективы, а для чего можно юзать уже сейчас. Ну и кое-что покажем…
#cgevent2021 #cgeventonline https://cgevent.ru/archives/33189

Киберпанк в натуре.

И пока вы пересматриваете вторю часть Назад в Будущее, Будущее просто за дверью.

На реддите пользователи хлещутся в коментах по поводу того, чтоэтовощебыло.
https://www.reddit.com/r/DidntKnowIWantedThat/comments/mtrdxf/hoverboard_a_real_hoverboard/

А это просто Хантер Ковальд. Простой летающий чувак, как ты или я.

Вот полное видео: https://youtu.be/Pv5JQnmD1Yk
И у него там этого добра много в канале

Забрал отсюда: https://t.me/CGIT_Vines/1019

Далее в программе: мокап, Uncanny Valley и метафизика.
Как вдохнуть жизнь в Голема — мокап системы, что это такое, принципы работы, виды, предназначение, многочисленные недостатки, а так же: как из проблемы сделать концепцию. https://cgevent.ru/archives/33150

Blender форкнул Cycles
Форк будет зваться Cycles X
Как по мне, мысль очень правильная. За 10 лет любой движок обрастает legacy кодом, legacy библиотеками и, обобщенно говоря, legacy мышлением. В мире появляются новые идеи, которые тупо трудно имплементировать на старом ядре. Про 3Д-софты отдельная история для отдельного поста, там все участники родом из 90-х. А вот с рендер-движками все немного проще, там пересаживание пользователя на новую версию движка может быть менее болезненным.

Из интересного:

Акцент на GPU. Там в новом движке прирост в GPU тестах довольно впечатляющий.

Похороны OpenCL. Deprecated. Народ в коментах ворчит по этому поводу "Shame on you Blender Foundation!"

Поддержка OptiX и ставка на Нвидию. В текущем виде это только RTX и все тесты вокруг RTX.

Непонятки с АМД и Интел. Когда и как. We are working with AMD and Intel to get the new kernels working on their GPUs, possibly using different APIs. This will not necessarily be ready for the first release
https://bit.ly/3tUWGJf

UE4, C4D, Mocap, iClone, Фотометрия — все это становится неотъемлемой частью производства видеоконтента. Как же начинать замешивать все это в производство музыкальных видео и рекламы? Как переходить от дорогих съемок и актеров к виртуальному производству. https://cgevent.ru/archives/33182

Нас посчитали! И это отлично. Наконец-то кто-то взял и структурировал информацию про студии, школы, софт и пр.

Константин Харитонов (@khar_khar) сделал новый проект — полноценный бесплатный сайт-каталог со всеми студиями, школами и продуктами в одном месте!

Проект вырос из простой таблицы с информацией по студиям и школам в СНГ, которую много лет лично вел сооснователь Cerebro Костя Харитонов.

В базе содержатся данные тысяч компаний по всему миру. Помимо этого, воедино собраны и другие полезные материалы: крупные анимационные проекты, софт для продакшна, актуальные вакансии, география и ссылки на веб-сайты компаний.

Посмотреть базу и добавить свою компанию: https://staya.vc/db_companies

Го добавляться.

Время немного отдохнуть. Мне кажется это прекрасно.
https://vimeo.com/535017727
А еще у автора есть фильм Ugly, собравший тучу наград.
https://vimeo.com/281529369
Since 2017, Nikita Diakur is a member of the European Film Academy.

AMD красавчики, шеститысячные на пяти гигагерцах и шести нанометрах.

"Частоты Ryzen 6000 (кодовое обозначение Warhol) заметно подрастут в сравнении с Ryzen 5000 и достигнут (а в некоторых случаях, вероятно, превысят) рубеж в 5,0 ГГц. Это, вкупе с другими улучшениями архитектуры (в них дебютирует Zen 3 Refresh), сулит заметную прибавку по части производительности. При этом энергопотребление не должно вырасти сильно, так как CPU будут изготавливаться по 6-нанометровому техпроцессу, а исполнение AM4 и вовсе останется."
https://www.ixbt.com/news/2021/04/25/ryzen-6000-intel-5-0.html

Сбер анонсировал бета-версию платформы Visper. Это не только дикторы и липсинк. Это пример того, как над "text to speech to video" надстраиваются более широкие сервисы.
Грубо говоря, это сервис для производства видео: от репортажей/дикторов до презентаций. Генерация контента под запрос, которой я люблю пугать немаленьких детей.
"Обучающие ролики, презентации, новости. Для работы, учёбы, соцсетей. Без съёмок, оборудования и монтажа. Бесплатно."
Загружаете текст. Также можно добавить PDF-презентацию.
Загружаете фон — фото или видео.
Размещаете персонажа в кадре, как вам нравится, добавьте жесты. Готово!

Липсинк будет улучшаться, жесты - добавляться, антураж насыщаться. В итоге на входе текст, на выходе готовое видео. За кого будем выпивать?

И да, это первые прототипы, со своими недостатками, но уже можно представить в какой киберпанк мы [не]потихонечку движемся.

Недавно общались с Максим Козлов, уговорил его показать их наработки на грядущем CG EVENT DIGITAL HUMANS. Оказывается у Сбера есть еще столько всего в области аватаров и цифровых людей, что все это тянет на отдельный технологический блок. Ждите анонсов, там эксклюзив.
https://visper.tech/

Чип Apple «M2» запускается в массовое производство в этом месяце.
Летом ждем новостей?
Если выпустят iPad на M2, то, чувствую, не выдержу.

Согласно отчету Nikkei Asia, на производство процессоров уйдет три месяца, а отгрузка может начаться в июле. Производственный цикл показывает, что новые процессоры M2 потенциально могут быть включены в новые модели MacBook.
https://wccftech.com/next-generation-m2-apple-silicon-enters-mass-production-this-month/

Интересно, как Nvidia методично превращает Studio Driver в некий комбайн по управлению ускорением для различных приложений. Приложения разные, оптимизация для них тоже разная.

Раньше - поставил драйвер и надеешься, что что-то в нем допилили, что-то пофиксили.

А теперь прям целый центр управления полетами.
Например в DaVinci Resolve – есть оптимизация работы приложения с помощью активации настроек “GPU Processing Mode”, “Use GPU for Blackmagic RAW Decode” и “Use GPU for R3D”.

На текущий момент поддерживается более 30 приложений, включая Adobe Illustrator, Lightroom, Substance Designer, Autodesk AutoCAD и DaVinci Resolve - полный список тут: https://www.nvidia.com/en-us/geforce/geforce-experience/games/#optimal-application-settings
(заголовок там неправильный, кстати, игровой)

В общем, теперь поспродакшен пакеты достукались (благодаря Studio Driver) до уровня игр, для каждого своя оптимизация и свои педальки.

Ну и еще две свежие фишки по мотивам только что прошедшего Nvidia GTC: В Notch интегрирован трекинг SDK от Maxine, который добавляет отслеживание тела в реальном времени с помощью ИИ и виртуальный фон. А OBS Studio добавили Noise Removal из бродкастового SDK для устранения нежелательных звуков.
Прикольно, что только что объявленные фичи сразу появляются в реальных приложениях, а не в бумагах или демках.
Драйвер тут: https://www.nvidia.com/Download/driverResults.aspx/172693/en-us

Вы думали, что ИИ-Сенсей от Адобченко - это нейрофильтры, инпайнтинг и вот это вот все?

Нет, этот самурай теперь умеет во взрослый дата сайенс. И еще какой!

Adobe Customer Journey Analytics, созданный на платформе Adobe Experience Platform, позволяет компаниям объединять многоканальные данные в единое представление, легко визуализировать и анализировать полный цикл взаимодействия с клиентом, а также получать доступ к дашбордам аналитики в реальном времени в любом месте - и все это масштабно и быстро.

Помните мы тут хихикали, типа, а как бы коменты клиента обрабатывать с помощью ИИ.

А пажалста!

"Интеллектуальные оповещения автоматически выявляют идеи, которые в противном случае остались бы незамеченными, и чем больше оповещений используются брендами, тем круче становятся возможности искусственного интеллекта".

В общем звучит как дорога в рай продаж: "Благодаря комплексному кросс-канальному представлению о клиенте руководители могут использовать информацию, полученную с помощью аналитики, чтобы быстро адаптироваться к потребностям клиентов, решать проблемы по мере их возникновения или развивать бизнес-стратегии в режиме реального времени."

В тексте звучит мысль "нет, конечно, мы также отсылаем эти данные дата-аналитикам, но.."
В общем за дата-аналитиков.
Дедушка Сенсей Адобченко уже точит свою ИИ-катану.
https://blog.adobe.com/en/publish/2021/04/27/adobe-announces-new-ai-capabilities-help-businesses-gain-insights-transform-data-into-powerful-digital-experiences.html

Я уже писал про проект https://generated.photos/, который прежде всего знаменит огромной базой (2,686,063 шт) "фото" человеческих лиц, которые ... не существуют.

Если вам нужны модели, а рыться в базах или делать фотосъемки некогда, вам сюда. Если нужна синтетика или прототипы, вам сюда. Кастинг? Прошлый век..
Все цвета и размеры.

Кроме того, там под капотом еще и кейсы с RealIllusion, генерация синтетики для обучения и даже конструктор ИИ-лиц. Можете попробовать сами:
https://generated.photos/face-generator

И про них написали Verge, VICE, BBC, Washington Post, ABC News, The Sun, Der Spiegel, La Reppublica

В общем я не устоял. Мы пообщались с Иван Бойко и на CG EVENT DIGITAL HUMANS Ваня приоткроет закулисье проекта:
о страхах, которые окружают фальшивых людей, о том, как используют генерированную фотографию технологические гиганты, полиция, университеты, производители игр и еды, и где находятся низковисящие яблоки индустрии..

Приходите, не пожалеете: https://cgevent.ru/archives/33572

А еще у Вани сайт https://icons8.ru/ и проекты вокруг него.
А я уже вонзил новых генеративных людей на страницу с программой, прям попадание в замысел конференции.

Современные технологии требуют современных решений ))

Физики такие физики.

Прочитал очень хорошо (нет, фантастически хорошо) написанную статью о положении дел в сегодняшней физике. Я помню, как во время наших заповедных бесед в Дахабе Артем Голиков поразил меня тем, с какой (легкомысленной?) легкостью физики генерят гипотезы и бросаются объяснять мир с их помощью. Статья, где-то об этом и о когнитивных искажениях в науке. Про теорию струн в регионах и вовсе прекрасно.

Позволю пару цитат и в конце приведу свой любимый анекдот.

"Мы прибегаем к математике не потому, что хотим отпугнуть тех, кто не знаком с дифференциальной геометрией или градуированными алгебрами Ли, мы используем ее, ибо глупы. Математика заставляет нас быть честными — не дает нам соврать ни самим себе, ни друг другу. С математикой вы можете ошибаться, но не лгать.

А почему теория струн предоставляет так много рабочих мест? Потому что теория струн малозатратна.

Кого волнует, что вы потратили на это сорок лет своей жизни? Никто и не обещал розового сада. Это рисковое дело. Хочешь определенности — занимайся чем-то другим

Мы уже можем почитать, например, про преоны, сфермионы, дионы, магнитные монополи, симпы, вимпы, вимпзиллы, аксионы, гигантские магноны, максимоны, скирмионы, стерильные нейтрино, про теоретическую физику «нечастиц». И дополняет бестиарий предположительно флаксионами (англ. flaxions), эребонами (erebons), бранонами (branons), кускутонами (cuscutons), планконами (planckons) и «рогами изобилия» (cornucopions). Никто никогда названные частицы не встречал, хотя их свойства описаны во множестве научных статей.

Фермионы сильного ядерного взаимодействия — это кварки, их шесть: нижний, верхний, странный, очарованный, прелестный и истинный.

«Одна из основных причин, по которым люди отвергают науку, связана с тем, что такие ученые, как Стивен Хокинг, Лоуренс Краусс и другие, утверждают, будто наука доказывает, что Бога не существует и тому подобное. А ведь наука не в силах это доказать. <...> Дэвид Юм уже сказал 250 лет назад, что наука не может ни доказать, ни опровергнуть существование Бога. Он был очень аккуратным философом, и ничего с тех пор в этом отношении не изменилось»"

Ну и анекдот:
Физика и математика посадили в вертолет, дали в руки журнал и сказали: фиксируйте все, что увидите внизу.
Вертолет пролетает стадо черных овец.
Запись в дневнике физика: "В Ярославской области водятся черные овцы".
Запись в дневнике математика: "В некоторых точках Ярославской области водятся овцы, черные сверху".

https://gorky.media/reviews/vo-pervyh-eto-nekrasivo-pochemu-uchenym-luchshe-zabyt-ob-esteticheskom-chuvstve/