Эпик недавно выпустил Live Link Face iOS app для трекинг лиц в UE на основе Apple AR Kit (кто не в курсе):
https://www.unrealengine.com/en-US/blog/new-live-link-face-ios-app-now-available-for-real-time-facial-capture-with-unreal-engine
Ждем, когда Эпик доберется до NV Broadcast Engine и в каком виде.
Вот пока список тех, кто уже добрался до этого движка:
https://www.nvidia.com/en-us/geforce/news/nvidia-broadcast-engine-integrations/
В общем 2020 год характеризуется пристальным вниманием к человеческому лицу. Что объяснимо. Раньше люди смотрели на улицах в лицо друг другу и некоторые из них, регулярно ходили в косметические салоны наводить порядок на лице. А сейчас вся бьютификация переезжает в онлайн, стимулируя появление решений для работы с оцифрованным лицом в огромном количестве. А на другом конце вас караулят дипфейки и фейссвапы. А где-то посередине топчутся растерянные аватары, не знаю, куда им бежать - в 2Д и 3Д.

Ждем ответа от Блендера...

Face Tracking просто шествует по планете.
Вот уже и ЗД софты подтягиваются (но не все).
Notch бахнул новость про поддержку фейстрекинга на основе нового движка Nvidia Broadcast.
https://medium.com/notchblog/nvidia-broadcast-engine-coming-to-notch-317bde64b696
Все очень по-взрослому: Using a 3D morphable model to create a 3D mesh representation of a human face with over 6000 polygons and a full 6 degrees of freedom head pose — all in real-time of course.
6 тыщ полигонов, 6 степеней свободы для башки, все в реалтайме.
GPU-accelerated, AI-based - все как мы любим.
Детектирование человеческих лиц, выделение и трекинг черт лица, включая контур, форму лица, губы, глаза и веки, используя до 126(!) ключевых точек.
Оп. И тут намечается любопытное противостояние, между AR Kit от Эппле и Nvidia Broadcast, куда входит AR SDK. Они заходят немного с разных сторон, но в итоге встречаются на поляне Face and Landmark Tracking. Причем чаще всего в реалтайме.

Офигеть, куда катится мир?
В онлайн.
Дисней уходит в онлайн. Точнее переориентирует свой бизнес под стриминговую модель.
Столп и олигарх оффлайна (кинотеатры, мерч, парки развлечений, игрушки) реструктуризирует бизнес и создает единую компанию Disney+, которая будет отвечать за дистрибуцию контента, продажу рекламы и стриминг.
Стриминг был единственным бизнесом Диснея, который вырос за этот год: Disney+ был запущен осенью 2019 года, а сейчас у него уже 60,5 млн пользователей. Больше только у двоих - Netflix и Amazon Prime.
https://www.cnbc.com/2020/10/12/disney-reorganizes-to-focus-on-streaming-direct-to-consumer.html

Я не большой поклонник онлайн-конференций. За последние полгода я посетил некоторое количество оных. Мне просто не хватает личного контакта и той магии, когда есть зал, есть глаза в первых рядах и есть вот эта реакция на действия спикера - смех, вздох восхищения "ух", аплодисменты и вот это "спасибо!" в конце. И вот это вот "О! Привет! Как сам?".
Я провел 29(двадцать девять) CG EVENT-ов в Москве, Киеве, Питере, Вильнюсе.
Этот тридцатый.
Я держался до последнего. Отменил летний Питерский, потом осенний Киевский. Мне трудно представить магию наших Ивентов онлайн.
В начале сентября, когда разрешили выставки и конгрессы, мы обрадовались и начали подготовку к Ивенту в Сокольниках.
Но последние новости, риторика властей и последние распоряжения по Москве делают проведение такого мероприятия осенью очень рискованным как с финансовой, так и с административной точек зрения. А планирование его - стрессовым и безрассудным.
Риски велики, неопределенность велика, а точка принятия решения - сегодня.

Мы даже сделали опрос про онлайн и оффлайн. Чуть больше половины проголосовало за онлайн.
Но я не хочу отменять ежегодную точку сборки всех, кто связал свою жизнь с CG - отмен в этом году и так достаточно.
Мы уходим в онлайн. Надеюсь ненадолго.
CG EVENT 2020 пройдет в этом году 12-13 декабря в онлайн формате. На платформе PINE.
https://cgevent.ru/archives/25798

Все пишут про незрячих людей и про возможность зачитывать содержимое картинок, например, в браузере.
А как по мне, это повод выпить за разметчиков данных.
Пока не на любых датасетах, но время не стоит на месте.
Еще немного, и ИИ разметит этот мир окончательно.
https://vc.ru/ml/167435-microsoft-predstavila-novyy-algoritm-kotoryy-opisyvaet-izobrazheniya-dlya-nezryachih-inogda-pochti-kak-chelovek

Друзья, еще раз прошу поддержать Blindsight. Сайт проекта сегодня появился на Awwwards!

https://www.awwwards.com/sites/blindsight

Вы же посмотрели уже какой ништяк сделали Anton Repponen ((http://repponen.com/) и Astroshock (https://astroshock.ru/)? Тонна информации по созданию каждого ассета, переписка с Уоттсом, интерактивная анимация всех событий романа в Солнечной системе, все что необходимо фанату книжки. Почему Роршах выглядит именно так? Сколько часов моделили скафандры? Господи, там даже Тезей в 3D покрутить можно!

Проголосуйте пожалуйста, если остались силы :)

А вот это уже круто. Вы можете напеть, насвистеть и даже намычать мелодию, а Гугль вам ея разыщет..
Анекдот про Шаляпина приобретает совсем другой коленкор.
Поиск по картинкам сделали.
Поиск по напетым мелодиям тоже.
Дело за поиском по мыслям...
https://blog.google/products/search/hum-to-search

Тут так и хочется сказать "these cards do not exist", но нет, это тот случай, когда "these card do really exist".
Интересно, как маленькая карточка эволюционирует в практически полноценный компьютер со своим блоком питания, системой охлаждения и пр.

Боди-шейминг для аниматоров.
А вот тут аниматорам стоит либо напрячься, либо обрадоваться.
Представим, что режиссер говорит: "а чото персонаж какой-то худой, давайте добавим ему солидности и пяток килограммов".
А у вас уже сделаны анимации походки и прочего.
А вы такие "Легко! Хоть десять!".
Классная работа. Агент способен перестраивать походку, да и любую анимацию, при изменении пропорций скелета и(!) массы тела БЕЗ переобучения.
Я видел что-то подобное только в Cascadeur: Physics-based animation software
Остальные софты делают вид, что ИИ не существует.
Но он есть. Как суслик.
Видео тут: https://youtu.be/XrOTgZ14fJg
Там же ссылка на работу.

Ну что, за актеров и режиссеров дубляжа?!
ИИ переозвучит фильмы оригинальными голосами.
Автоматический перевод с сохранением тембра.
"Resemble AI в первую очередь нацелена на то, что Localize сможет локализировать фильмы в разных странах с использованием оригинального голоса актера."

Вот тут еще круче, сохранение эмоций: "Resemble AI для своих продуктов использует собственный вокодер на основе генеративно-состязательных нейросетей — HooliGAN, который в том числе позволяет генерировать речь на основе небольшого количества данных. Также компания выложила в свободный доступ API и документацию к нему: судя по ней, сторонние разработчики смогут управлять некоторыми параметрами синтеза локализованной речи (например, менять эмоциональный окрас сказанного)."

Щас вот все эти КубикВКубике, НьюСтудио, ЛостФилмс сейчас нервно закурили...
А 1xbet радостно потирает руки...
https://nplus1.ru/news/2020/10/19/localize

А вот это уже жестковато.
В совокупности с моими постами про полную оцифровку реальных городов, распознавание эмоций на камерах наблюдения, фильм Minory Report становится просто обыденностью.
"Следственный комитет РФ внедрил программу по поиску серийных преступников, разработанную на основе искусственного интеллекта"
"ПО анализирует и предлагает наиболее верный портрет преступника за пару минут. Возраст злоумышленника можно определить с точностью 80%, а наличие психических заболеваний — с точностью 81,5%."
https://www.securitylab.ru/news/513156.php

Ротобрашу перепало от Сенсея.
Ротоскоп на ИИ-малках.
Roto Brush 2.0: faster, more accurate AI-powered rotoscoping:
https://youtu.be/FsSazQ1pRBU

А вот наконец и Нейро Фильтры в Фотошопе.
https://youtu.be/215LgUkkUlI
Долго Адобченко запрягал, посмотрим насколько быстро поедет...
Завтра буду разбираться подробнее...

Липсинк, говорящие головы и не только.
Небольшое расследование в области анимации.

Помните Bingo the Clown?
Это первый взрослый персонажный 3Д-мульт, сделанный в Майя. Его делали, обкатывая беты первой версии Maya.
А делал его Chris Landreth.
http://www.chrislandreth.com/

А вот интересное видео, где сравнивают процесс создания анимации лица для короткометражки “The Spine” 2009 от того же Chris Landreth.
Сам процесс разбит на 4 части. Анимация и повороты головы, липсинк, анимация глаз, челюсти и ассиметрия. И занимает 20 часов для этого диалога. Если ручками.

Потом показывают тот же процесс, но сделанный с помощью JALI lip sync and facial animation software. Который занимает полтора часа. Автоматизация всего, включая генерацию движений головы и глаз. И да, deep learning, все как мы любим.
Полное видео: https://youtu.be/qxSnFExiDJE

В общем, за автоматизацию анимации берутся очень взрослые дяденьки.
Если глянуть на сайт JALI
http://jaliresearch.com/

то у них там, очень много чего интересного, включая уже готовые плагины для MAYA, Unity и Unreal Engine.

Кроме того, кроме Chris Landreth, который делал Bingo (Genie 1998), Ryan (Oscar 2005), Spine (Genie nomination 2009), там еще обнаруживается Eugene Fiume, бывший Director of Research at Alias|wavefront. И другие уважаемые ветераны.

А про Криса я уже писал. Он - автор потрясающей работы по авторигу с помощью нейросетей, когда на датасете из уже зариганных персонажей, сетку учат ригать абсолютно произвольного персонажа с нуля.
https://www.facebook.com/sergey.tsyptsyn/posts/2949186168480621
https://zhan-xu.github.io/rig-net/

В общем, после Deep Compositing ждем Deep Animation.

Пощупал новый Фотошоп, то который с нейро-фильтрами и с заменой неба.
Вроде все даже работает. Записал небольшое видео.
Из интересного.
Замена неба работает очень ловко. И быстро. Даже на больших разрешениях.
И в зависимости от цвета неба довольно хорошо перекрашивает основную картинку (хайлайты на краях тоже подстраиваются). С волосами тоде хорошо отрабатывает. Там 25 пресетов, которые можно расширять самому.

Нейрофильтры.
Адобченко уже давно постил массу работ на эту тему в интернете и на конференциях, и вот только сейчас они похоже собрали все это добро в кучу и запихнули в меню Neural Filters.
Их разбили на три категории: типа готовые, бета версии, и "скоро будет".
"Скоро будет" - можно на них покликать и проголосовать, типа я хочу такое.
В готовых Skin Smoothing и Style Transfer - работают нормально. Все очень похоже на работу приложений для телефона.
Самое интересное в Бете.
JPEG Artifacts Removal - надо будет протестить подробнее, но это первое что надо было сделать.
Super Zoom работает норм.
Самый смешной - это смарт портрет. Там масса настроек, от возраста, до поворота головы и направления взгляда.

А теперь внимание. Фильтры у меня довольно сильно тормозили. Хотя вот тут написано, что они прям NVIDIA AI-Powered:
https://blogs.nvidia.com/blog/2020/10/20/adobe-max-ai/
(тут картинки прям зашибись).
Тут я заподозрил, что Винда не сообразила запустить Фотошоп на моем Lenovo Legion с RTX 2080 MaxQ на дискретной графике.
Полез в настройки винды, отругал ее и указал на Фотошоп как надо.
Фильтры ускорились резко, даже не в десять раз, а просто дико быстро. Да, действительно GPU-ускорение и все эти тензорные ядра наконец-то работают.
Так, что будьте внимательны, у кого ноуты с двумя картами, не забудьте рассказать Винде запускать Фотошоп на дискретке.

Фильтры кстати можно поделить еще на три категории.
Одни работают полностью локально, на местном GPU/CPU
Некоторые из них, помеченные облаком, шлют часть данных в облако (какую, пока неизвестно), но процессятся опять же локально.
И только Depth-Aware Haze полностью работает в облаке, получая результат оттуда.
Интернет, как вы понимаете, необходим постоянно.
Подробнее про это тут: https://helpx.adobe.com/photoshop/using/neural-filters-list-and-faq.html

Немного мыслей.
Получается немного противоречивая штука.
Часть фильтров просто приехала из приложений для смартфонов и пейперов по нейросетям. Все эти добавления счастья или гнева, или даже повороты головы, воспринимаются больше как игрушки, чем инструменты, которые прям пойдут в продакшен. Ну и работают они не всегда и не во всем диапазоне параметров. Хотя я подозреваю, что для тиктока и инсты может сойти.
А другие вещи (суперзум, JPG артефакты, работа с кожей и всякая бьютификация) - вполне могут быть полезными.

Тут также надо понимать, что часть фильтров, типа покраски черно-белых изображений, натренирована на определенных датасетах. Они знают, что трава зеленая, а небо синее, но какого цвета кафель у вас на кухне они не догадываются, поэтому и применять часть фильтров имеет смысл в понятных контекстах, а не с целью засунуть рельсу в соломорезку.
Пока все.
P.S. Сегодня выпустили новый Studio Driver, там поддержка всего Адоба, анонсированного на Adobe MAX, и даже Notch-а, пойду обновлю.
https://www.nvidia.ru/Download/driverResults.aspx/166121/ru

На DTF вышла отличная статья про использование процедурной лицевой анимации от JALI на проесте Cyberpunk 2077.

"разработчики из CD Projekt RED отказались от захвата движений — команда искала способ автоматизации анимирования героев. При этом студия хотела, чтобы стандартный липсинк дополнялся полноценной мимикой, зависящей от эмоций говорящего. Задача осложнялась ещё и тем, что эта система должна была работать на десяти разных языках."

Статья жирнейшая. Там много видео и перевод выступления команды JALI и CD Projekt на Siggraph 2020.

"В качестве входных данных разработчики используют аудио и тэги. Затем они устанавливают тайминги для фонем и анализируют запись, чтобы определить громкость, высоту голоса и темп речи. Обученный ИИ определяет, каким должно быть положение губ, языка и челюсти для каждой фонемы."

Там даже про саккады и моргание. Очень рекоммендую.

https://dtf.ru/gamedev/236115-procedurnaya-animaciya-lic-v-cyberpunk-2077-podrobnoe-opisanie-tehnologii