Несколько лет назад беспроводную связь между мозгом человека и компьютером считали уделом исключительно научной фантастики. Но за короткое время сразу несколько компаний и научно-исследовательских организаций смогли добиться впечатляющих успехов.

На людях.

https://m.habr.com/ru/company/selectel/blog/554522/

Facebook AI Research как всегда радует новыми self-supervised методами. На этот раз ученые показали, что можно научиться хорошо сегментировать объекты на фото и видео без ручной разметки.

По сути, стандартный contrastive self-supervised подход (похожий на BYOL) применили вместе с Трансформером (ViT) вместо CNN. И оказалось, что трансформеры неявно учатся сегментировать объекты на переднем плане. Интересно, что такого эффекта не наблюдалось, когда ребята использовали сверточные сети как backbone вместо трансформеров. Фичи выученные предложенным подходом также выдают нехилые результаты на ImageNet - 80.1% Top1.

Подробнее тут.

Вчера Цукерберг выступил перед советом директоров «Фейсбука» (это такой традиционный для всех больших акционерных компаний ежеквартальный ритуал) и среди прочего рассказал немного и про наш любимый VR. Во-первых, Марк заявил, что продажи Oculus Quest за прошедший год выросли в 2.5 раза, но опять не назвал цифру, хотя смелые аналитики заявляют, что вторых «Квестов» продано уже более 1.5 миллиона штук. «Нерекламная» прибыль компании выросла за прошлой год с $249млн в 4-м квартале 2020 до $885 в 1-м 2021-го — и большая ее часть это как раз-таки продажи нового девайса.

Во-вторых, он сделал программное заявление (с которым трудно не согласиться): «Некоторые, конечно, выбирают себе какой-нибудь крутой VR-девайс, у которого и больше разрешение, и угол обзора, и прочее, но это все фигня, если у такого устройства есть провод, который сильно ограничивает иммерсивные впечатления от виртуальной реальности. Массовому потребителю нужно совсем другое» — сказал Цукерберг, сделал майкдроп и вышел из студии.

Дичайше внятное, понятное и обстоятельное интервью с Ильей Шутовым.
Про всё.
У Илюхи точно есть определённый дар объяснять непростые вещи несложным языком.
Всем рекомендую, даже людям далёким от вфх.

"Некоторые говорят: «Хочу, чтобы машина радовала глаз». Что это значит? И тут начинаешь копаться в человеке, его психологии, предыдущих работах, даже в мировоззрении его, чтобы понять, что для него значит хорошая комфортная машина. И потом ты показываешь, и он говорит: «О, да, я ровно это и хотел». А бывает, что не получается."


И как же хорошо почитать внятный текст буквами в голову, а не смотреть видео пикселями в глаза.

Режиссер по визуальным эффектам «Эпидемии»: интервью | Журнал Esquire.ru
https://esquire.ru/movies-and-shows/258713-rezhisser-vfx-ilya-shutov-o-vizualnyh-effektah-v-kino-utechke-kadrov-na-zapad-i-uspehe-epidemii-i-perevala-dyatlova/

В Хельсинки на улицу выпустили электрическую полностью автономную уборочную машину Cyberpunk уже здесь

Автор на медиуме собрал довольно интересный обзор того, как при помощи Style Transfer пытаются воспроизвести визуальные образы возникающие в мозгу под действием ДМТ. Что такое последний расписывать не буду, чтобы не было как с дудем, но сам подход довольно остроумный - по визуальной картинке пытаться получить дополнительную информацию о том, что происходить в башке кожаного мешка, используя при этом ии.

При этом в конце самокритично указано, что "этого явно недостаточно для полного представления о ДМТ, поскольку оно не полностью отражает все эффекты ДМТ на рецепторы серотонина, которые необходимо понять. Если мы хотим самокритичными, это просто пересмотр GoogleDeepDream с использованием StyleGAN".

В статье есть необходимые ссылки и даже видео.

Вкратце:
Исследователи Имперского колледжа в Лондоне и Женевского университета создали модель, использующую две генеративные глубокие сверточные сети для воспроизведения психоделических галлюцинаций, связанных с ДМТ. Идея не нова, и в 2015 году она уже была предпринята Google DeepDream.
Авторы подробно останавливаются на нарушении серотонина и влиянии сознательного опыта, а ДМТ имеет химическую структуру, очень похожую на серотонин, и поэтому он дает несколько важных преимуществ, особенно против депрессии. Однако в то же время из-за его «чужеродного» присутствия в мозгу зрительные процессы не работают должным образом. Более того, дополнительные сигналы от других сенсорных систем интерпретируются как визуальные (это форма индуцированной синестезии). Саккады становятся асинхронными, и возникает синестезия, которая заставляет другие сенсорные сигналы интерпретироваться как визуальные.

Исследователи стремятся ответить на вопрос, что произойдет, если, получив «традиционную» картину, которую видит мозг, мы нарушим ее, передав стиль ДМТ. Таким образом, GAN практически воспроизводят синестезию, вызванную воздействием ДМТ на мозг.
https://medium.com/illumination/computational-ayahuasca-simulating-dmt-on-artifical-neural-network-16e751756ff7

Тут, кстати, нельзя не вспомнить теорию сна Ивана Пигарева, когда сигналы от висцеральной системы во время сна "подставляются вместо" сигналов от зрительных и других сенсоров (отключенных во сне). https://www.youtube.com/watch?v=RRBqKaasJkI

Ну и я жду, когда уже появятся (многочисленные) статьи о расширении творческих способностей у белковых художников с помощью ИИ. Ибо очевидно уже.

Новая реконструкция мешей из видео от Nvidia.
KAMA - это подход к трехмерной артикуляции сетки с учетом ключевых точек, который позволяетнам оценивать сетку человеческого тела с позиций трехмерных ключевых точек тела.
Оцениваются трехмерные положения 26 ключевых точек тела и предлагаем аналитическое решение для создания параметрической модели тела.
Особый акцент на ступни и кисти рук, которые в таком подходе вечно выглядят как шевелящиеся обрубки. А тут горазде лучше.
Похоже, что мокап становится все ближе и ближе к работе с оптическим потоком и что решения для мокапа с телефона будут только прирастать, имея бонусом еще и содранный с объекта меш.
https://arxiv.org/abs/2104.13502
На Ивенте у нас тоже будет о чем поговорить именно на эту тему.
Slava Smirnov расскажет про настоящее и будущее риалтайм мокапа без костюмов и прочих сложностей. Обычная камера, лицо, туловище и руки. Где перспективы, а для чего можно юзать уже сейчас: https://cgevent.ru/archives/33189
А Дмитрий Ульянов поговорит про тулзы для оцифровки людей и конструкторы персонажей. Фотограмметрия, сканирование с помощью телефона, аватары по видео в ТикТоке, аватары по фотке, FaceBuilder и MetaHuman. Качество против легкости сканирования — всегда ли компромисс или можно и то, и то сразу? https://cgevent.ru/archives/33215

Snap, как обычно, красавчики.
Опять пригнали повод выпить не чокаясь то ли за аниматоров, то ли за операторов.

В последнее время все яростно развлекались анимацией лица по одной фотографии.
А Снеповцы взяли и выкатили универсальную(!) модель для анимации всего тела!
Еще раз, не только лица, а всего кожаного тела.
Или как они пишут "новые представления движения для анимации сочлененных объектов, состоящих из отдельных частей".
Ну и понятно, что по дороге еще надо понять, что делать с фоном.
В общем выглядит как магия: по одной фотке - анимация тушки.
"В отличие от предыдущих работ, основанных на ключевых точках, наш метод извлекает значимые и согласованные области, описывая местоположения, форму и позу. Области соответствуют семантически релевантным и отличным частям объекта, которые легче обнаружить в кадрах движущегося видео. Чтобы принудительно отделить передний план от фона, мы моделируем глобальное движение, не связанное с объектами, с помощью дополнительного аффинного преобразования."
И это работает для произвольного тела, не надо каждый раз переобучать модель именно под вас, как в предыдущих работах с переносом танцев.

Вот тут многочисленные сравнения с First Order Motion Model и подробная информация. Качество впечатляет:
https://snap-research.github.io/articulated-animation/
А вот тут код, коллаб, веса и прочий фарш:
https://github.com/snap-research/articulated-animation
Ну и подумалось мне, что выпить можно за тиктокеров, неистово пляшущих сейчас перед своими телефонами.
Теперь залил селфи и дальше выбираешь вариант пляски святого Витта, который ты хочешь залить в сеть.

Чую рынок стоков анимаций для плясок на подходе. Только называться они будут по другому. Скин-анимации?

Когда уже пост-продакшену уже перепадет что-то с барского стола мобильных приложений? Взяли фотку Данилы Козловского и ну анимировать кино. В снапчате..

Хотя для клипов, думаю уже щас пойдет..

Пойду психану и позову Snap на CG EVENT

Snap, как обычно, красавчики.
Опять пригнали повод выпить не чокаясь то ли за аниматоров, то ли за операторов.

Ну за композеров!
(Сколько ж можно, с этим отделением фона и спиться недолго, все нападают на бедных композеров)

ИИ от Google способен реалистично вставлять портрет человека на новый фон. Во время переноса он учитывает распределение источников света в новом окружении и изменяет освещение на человеке соответствующим образом. Статья о разработке будет представлена на SIGGRAPH 2021.

При простом переносе вряд ли получится реалистичная фотография, потому что освещение на фоне и на фрагменте с портретом будет различаться. В общем нужен релайт.

"В начале работы алгоритм получает портретную фотографию и с помощью сверточной нейросети отделяет фрагмент с человеком на переднем плане от фона. Затем вырезанный портрет и новый фон для него передается на модуль переосвещения, состоящий из нескольких отдельных алгоритмов.
Получив выделенный фрагмент с человеком, модуль переосвещения сначала создает для него карту нормалей к поверхности, используя сверточную нейросеть. На следующем этапе аналогичная по архитектуре нейросеть берет карту нормалей и выделенный фрагмент, и создает на их основе карту распределения диффузной отражательной способности. В результате образуется изображение, лишенное влияния внешнего освещения из исходной фотографии."

https://nplus1.ru/news/2021/05/03/google-relighting

С 1 июня Сингапур станет мировым полигоном Большого брата.
И все в мире увидят, каким ему быть через несколько лет.
Споры о границах приватности и правах Большого брата в постковидном мире можно заканчивать. Через несколько лет во всех развитых странах будет так, как уже с 1 июня в Сингапуре:
• обязательное приложение на телефоне и/или специальный брелок, без которых закрыт вход во все людные места, за исключением маленьких магазинчиков и аптек;
• это приложение (или брелок) отслеживает и пишет в специальную базу данные о перемещениях человека и его «контактах» (всех людях, с кем человек был в пределах 2 метров не менее 30 мин – эти два параметра настраиваемые).

Собираемые данные считаются анонимными. Однако:
1. как только у кого-то появится положительный тест на COVID (скоро в Сингапуре это будет делаться прямо по дыханию), его данные перестают быть анонимными, и все люди, имевшие с ним «контакт», оповещаются об этом (ну и, понятное дело, «компетентные органы»).
2. также возможна передача собираемых данных и полиции, даже при отсутствии у человека положительного теста на COVID (подробней в расследовании Кирстена Хана).

Никто против такой системы особо не возражает, поскольку всех устраивает, что коронавируса в Сингапуре почти нет, и люди жертвуют приватностью, чтоб не болеть.

Общеизвестно, что в госинициативах добровольное легко становится обязательным, а временное - постоянным. Для этого даже не требуются политические решения на высоком уровне. Просто работают сила привычки, инерция и обычная осторожность.
А еще работает фактор «роста функциональности» - тенденции правительств и корпораций объединять отдельные IT системы, создавая тем самым нечто большее, чем функционал составных частей.

Никто ведь, например, не возмущается, что наши лица записываются и распознаются. А потом приходит полиция с наездом об участии в несанкционированной акции.
А сингапурская система еще круче. Совмещая данные о перемещениях с данными о контактах, она открывает такой ящик Пандоры, что о приватности уже можно будет забыть.
#Эпидемия #БольшойБрат

Я обычно не ворчу в таком духе, но сейчас не удержусь.

МВД России к ноябрю 2022 года получит программу "Зеркало", позволяющую выявлять признаки внутрикадрового монтажа видеоизображений, который выполнен с помощью нейронных сетей - дипфейков. "Работы по научно-исследовательской работе "Зеркало (Верблюд)" завершатся 30 ноября 2022 года. Цена контракта составляет 3,5 млн рублей"

"В МВД России ранее поясняли, что с помощью дипфейков легко можно подставить неугодного человека, вставив его изображение на видео, на котором совершается аморальный поступок или преступление."

А теперь вспоминаем историю с Голуновым и многочисленные случаи, когда людей забирали прямо с улицы, предоставив как улику, съемку с камер наблюдения - типа участвовал в несанкционированных митингах, все записано, собирайте вещи.

Сводим все это в цитату МВД "с помощью дипфейков легко можно подставить неугодного человека". Получаем неожиданное прочтение и не очень хороший осадок.

https://tass.ru/obschestvo/11307705

Ну, за CG-образование..

Ну что, за озвучку и дубляж?
За кубиков, лост, байбако, колдфилм и ньюстудио?

Про cg в конце, вишенкой.

Тут вот ребята из London-based “neural net film lab” грозятся в процессе производства кино (параллельно) "сдирать" лица актеров, переводить их в 3Д-маски и использовать их для последующей коррекции мимики при дубляже на другой язык.

Они всячески открещиваются от deepfakery, мы, говорят, не такие и мы работаем в 3Д.

Но у актеров могут возникнуть вопросы, ибо налицо (literaly) манипуляция с актерской игрой.

Тем не менее, амбиции и подход впечатляют. Содрать лица, обмешить, разметить для дальнейшей анимации, сделать липсинк - все это дает повод для различных фантазий о том, что еще можно сделать, кроме переозвучки. Поглядите видосы внутри статьи, там есть впечатляющие примеры. (Ну ок, немецкий Де Ниро странный, но на то он и неповторимый Де Ниро)

https://www.inputmag.com/culture/movie-dubbing-flawless-scott-mann-ai-neural-network

Немного деталей и вишенка на торте в конце:


"Flawless была вдохновлена ​​сотрудничеством с Институтом информатики Института Макса Планка в Германии, чьи исследования в области цифрового воссоздания и редактирования лиц впечатлили Манна. Компания использует нейронную сеть для изучения миллионов точек визуальных данных в кадрах фильма - неотредактированных кадрах - которые затем вводятся в систему, которая может воссоздать игру актера на другом языке. «Извлечение лицевых данных» - трудоемкий вычислительный процесс - «выполняется параллельно с самим производством». По словам Лайнса, технология снимает лица актеров, превращая их лица в трехмерную модель. «Это создает миллионы 3D-моделей, которые ИИ использует в качестве ориентиров», - говорит он. «А затем, используя существующую запись диалога на иностранном языке, ИИ изучает актера и генерирует новую 3D-модель для каждого кадра», а потом изображение преобразуется обратно в 2D.

Вишенка:
"Затем художники по цифровым эффектам могут вручную исправить все, что кажется неправильным."

Зато за "компьютерщиков" пить рано! Без работы не останутся, все исправят на посте.

Больше такого материала от авторов на https://www.cgevent.ru/?page_id=33243

Амазон предлагает всем студиям перебраться в облако, запустив Амазон Шустро Студио
AWS launches Amazon Nimble Studio for VFX and animation

Вот тут подробно расписано, как можно быстро перевести студию в облако, сделав доступ к виртуальным рабочим станциям, высокоскоростному хранилищу и масштабируемой рендерферме в глобальной инфраструктуре AWS.
https://aws.amazon.com/nimble-studio/
Я, правда, все глаза сломал, в поисках информации о том, что у них с лицензиями.
Было бы круто аредовать машины с софтом и платить за софт "поминутно". Тем более, что у них на сайте в партнерах Фаундри, Сайды и Хаос Груп.
На сайте странные формулировки, пришлось гуглить.
Нашел на CG Channel:
software rental isn’t part of the service: instead, users can connect up whichever DCC applications they are currently using, providing they have floating rather than node-locked licences.
В общем приносите свои лицензии.
Но Блендер в комплекте:
It’s even easier if you use Blender, which is already included in standard Nimble Studio workstation AMIs.
http://www.cgchannel.com/2021/04/aws-launches-amazon-nimble-studio/

Упор на на софт для управления пайплайном (Nimble Studio - это бывший Nimble Collective, купленный Амазоном в 2018 году) и управление задачами (ThinkBox DeadLine, купленный в 2017).
И на простоту конфигурации - создаете аккаунт, набираете станции, начинаете работать.

Надо отметить, что Фаундри уже делала похожий проект - Athera. Там даже был прокат лицензий. Но закрыла его через полтора года.
А вот Амазон упорно двигает эту тему.

Шаловливые виар-ручки для Oculus Quest.
Забавная динамика от HandPhysicsLab using the combination of predefined hand poses, dynamic IK-based posing and fully physics-based fingers. First prototype is looking promising!
https://www.rockpapershotgun.com/the-future-of-hands-in-vr-is-absolutely-filthy