Метаверсище и ИИще
53.7K subscribers
6.81K photos
5.84K videos
50 files
8.03K links
Это не новости, это персональный экспертный взгляд на то, как развивается индустрия ИИ, графики, метаверса, крипты, нейротехнологий и в каком направлении катится все это безобразие.
Для связи: @SergTsyp
Download Telegram
А вот Эпик бахнул детали про Next Gen Fortnite на новых консолях.
XBOX SERIES X|S и PS5.
Там, конечно:
4K RESOLUTION AT 60 FPS
и
DYNAMIC VISUALS AND PHYSICS

И вот это вот: “interactive world with grass and trees responding to explosions, enhanced fluid simulations for smoke and liquid (cooler-looking smoke and liquid effects), and all-new Storm and cloud effects.”

Но будет очень интересно посмотреть, как этот новый Форнайт будет крутиться на 3080.
И немного посравнивать.
Обычно тесты в интернете сводятся к разным видеокартам на писюках, или сравнениям Иксбокса и Плойки.
А вот так, чтобы погонять консоли против писюков - я не встречал.

Ну и философский вопрос.
Плойка и Бокс выйдут и застынут в мраморе на много лет, до следующего крупного апдейта поколения.
А писюки будут обновляться почаще. Вон в сети уже слухи про 3050 и 3080TI.

Источник: https://www.epicgames.com/fortnite/en-US/news/day-1-ready-fortnite-arrives-next-week-on-xbox-series-x-s-and-ps5
Статья на Вердж: https://www.theverge.com/2020/11/2/2
Развитие архитектуры GPU NVIDIA от NVIDIA Turing, до NVIDIA Ampere
Новые ускорители на базе NVIDIA Ampere (GeForce RTX 30X, NVIDIA A6000, NVIDIA A100)
Технология NVIDIA DLSS — новый алгоритм сглаживания и ускорения визуализации на основе ИИ
Поддержка стека NVIDIA Studio
Системы визуализации (Autodesk Arnold, ChaosGroup V-Ray GPU, Blender Cycles Renderer, LuxRender, Indigo Render)
Системы интерактивной графики и визуализации (Unreal Engine, Unity)
Вычисления (динамика жидкостей и газов, кэширование массивов данных)
Ускорение обработки видео (кодирование/декодирование/применение ИИ)
Платформа NVIDIA Omniverse — будущее разработки контента
https://cgevent.ru/archives/31892
Пока мы играемся в невро-фильты для фотошопа, взрослые мальчики занимаются супер-резолюшеном и ганами.
Я жутко рад, что мне удалось вытащить на CG EVENT Сергея Николенко, который раскажет, как GAN’ы помогают улучшать изображения, расскажет текущее положение дел в области super-resolution и немного заглянет в будущее этой области.
Если вы не знаете, кто такой Сергей .. так срочно, охрана, уведите из ленты этих людей.
Сергей, это, для краткости, ТОП — Chief Research Officer компании Neuromation, зав. Лабораторией искусственного интеллекта ПОМИ РАН, доцент МКН СПбГУ, автор >170 публикаций по машинному обучению, анализу алгоритмов и другим областям computer science, нескольких книг, в том числе бестселлера "Глубокое обучение", авторских курсов лекций по машинному обучению и глубокому обучению.
https://cgevent.ru/archives/31901
То, что раньше занимало долгие часы, теперь может занять секунды. То, что требовало большой команды специалистов и стоило больших денег, теперь может делаться одним нажатием кнопки.
Влад Ахтырский, композер с огромным стажем и опытом работы в крупных мировых студиях, представит проект Tech-va.com, в котором, благодаря сотрудничеству и коллаборации с людьми из индустрии, появилась возможность создания новых инструментов на основе машинного обучения, революционизирующих индустрию визуальных эффектов
#cgevent2020 #cgeventonline https://cgevent.ru/archives/31970
И вот это интересно. Вместо того, чтобы в очередной раз меняться количеством "И", можно просто пытаться по-новому посмотреть на ЕИ, поковырявшись в недрах ИИ.
И наоборот.
Не пытаться сравнивать и кричать "да никогда ИИ не догонит ЕИ", а задуматься: "не посмотреть ли нам на ЕИ под другим углом, и перестать раздуваться от собственной неповторимости".

Ничто меня так не мотивирует задумываться о природе кожаного мешка, как чтение материалов про ИИ.

"По мнению исследователей, это в том числе доказывает, что мозг использует комбинацию генеративных и распознающих моделей не только для опознания объектов, но и для мгновенного вывода о причинах их появления в поле зрения. Это не обязательно означает, что нейросети и мозг работают одинаково, но может позволить взглянуть на это с более технически тонкой стороны"
https://tjournal.ru/tech/231632-ne-prosto-chernye-yashchiki-kak-neyroseti-primenyayut-ne-dlya-zameny-lyudey-a-dlya-izucheniya-raboty-mozga
Как вам картинка?
На самом деле это фотография из того самого virtual production павильона (самого большого в мире), который строит Pixomondo.
Созвонились с Evgeny Berbasov.
Женя сможет рассказать прям из первых рук о том, что за безобразия они творят с виртуальным продакшеном. (за что ему огромное спасибо!).

И показать картинки. И может быть видео прям оттуда. Ну и рассказать, как Unreal Engine взрывал им мозг во всех направлениях. О том, что происходит в студии прямо сейчас и как поменялся пайплайн за последние несколько лет. Где сейчас Maya, Arnold? Houdini и UE. И о том, куда все это катится..
И кстати, там один потолок весит 21 тонну.. Как?
Подробности тут:
https://cgevent.ru/archives/31976
Еще одно приложение, использующее лидары от Эппле.
На видео то самое применение, о котором я спрашивал. Заходит агент по недвижке на в дом и ну махать айфоном. На выходе - трехмерная сцена, описание этого дома в 3Д.

А вот тут есть даже видео под VR - ходишь, смотришь, выбираешь жилье.

http://www.cgchannel.com/2020/11/polycam-turns-your-ipad-pro-into-a-real-time-lidar-scanner/

По словам команды Polycam, результирующая геометрия «обычно точна с точностью до одного дюйма», а качество необработанных сканированных изображений выглядит довольно хорошо, особенно для рабочих процессов предварительного просмотра. Кроме того, процесс происходит почти в реальном времени: обработка выполняется локально на планшете, при этом снимки одной комнаты занимают «всего несколько секунд для обработки», что позволяет видеть, как строится сетка, пока вы ходите. В одном обзоре в App Store отмечается, что Polycam «генерирует снимки лучшего качества из всех существующих приложений для 3D-сканирования». «Пространственное разрешение не так хорошо, как при использовании [исходных] изображений и чего-то вроде RealityCapture, но скорость и удобство, тем не менее, делают его фантастическим инструментом».

Не забыли про Майку и Блендер и движки. Once generated, 3D scans can be exported from Polycam to DCC applications or game engines in a range of standard file formats, including OBJ, STL, glTF and USDZ.

Ну и вообще круто, как развивается индустрия сканирования этого утлого мира. Скоро его копия в 3Д будет всегда с нами. К кармане. В телефоне.
Эппле в своем духе.
Вчера она зарелизили новые макбуки на процессорах ARM.
Новость интереснейшая, ибо это один из поворотов в технологической истории мира, которые уже нельзя провернуть назад (хотя как показывает та же история - можно, вот перешли с когда-то на Интел, а теперь обратно на ARM). И нас ждут дивные месяцы тестов и разбирательств со всем этим хозяйством.

Но вот в плане мракетинга Эппле, конечно, в своем туповато-статистическом духе, рассчитанном на дошкольников, не знакомых с процентами.

Перлы:

"MacBook Air Late 2020 в три раза быстрее «самого популярного ноутбука в своем классе» и быстрее 98% Windows-ноутбуков."
Тут прям дохнуло 84% процентами... Формулировки - днище-огнище.

"За счет M1 графическая производительность нового MacBook Air повысилась в пять раз" - то есть увеличилась на 400%? Гусарам верят на слово, конечно, но ждем тестов и вопрошаем: по сравнению с чем?

С сайта Эппле: M1 delivers up to 3.5x faster CPU, up to 6x faster GPU. Тут хочется спросить: в шесть раз быстрее чем кто? Берем старый интеловский чип со встроенной графикой и сравниваем, потирая руки?
(Testing conducted by Apple in October 2020 using preproduction 13-inch MacBook Pro systems with Apple M1 chip, as well as production Intel Core i7-based PC systems with Intel Iris Plus Graphics)

Дальше вооще прекрасно: 13-inch MacBook Pro is up to 3x faster than the best-selling Windows laptop in its class - искусство обобщений, уровень 80. В три разы быстрее хитов продаж ноутов на Винде!

the new 13-inch MacBook Pro is now the world’s fastest compact pro notebook - отлично, просто. Заодно ввели новое понятие: Compact pro notebook defined as a notebook with high-performance graphics, weight of 3.1 pounds or less, and thickness of 0.85 inches or less. Теперь "компактный" - это 3.1 фунта и 0.85 дюйма! 3.11 и 0.87 - уже громоздкий!

В общем нас, как обычно, забросали процентами и сравнениями со сферическими конями.

Из интересного: Cкорость твердотельного накопителя возросла в два раза – тут свою роль сыграл собственный контроллер SSD, интегрированный в M1. Но опять же - по сравнению с чем?

ML is up to 11x faster, and for on-device ML tasks that use the Neural Engine - про это надо читать. Вопрос в том, через что будет доступ к этой Neural Engine...

Ждем теперь тестов и сравнений не с предыдущими поколениями со складов Эппле, а с текущими машинками. Не с Iris Plus, а с Intel Xe или райзеновской графикой. Ну вы поняли...

И вопрос из зала: а что там с Bootcamp?

https://www.apple.com/newsroom/2020/11/introducing-the-next-generation-of-mac/
https://itc.ua/news/macbook-pro-13-na-arm-chipe-apple-m1/
Полезное для практиков машинного обучения.

Университет Нью-Йорка выложил в открытый доступ курс по deep learning от Яна ЛеКуна. Это один из создателей современного deep learning, лауреат премии Тьюринга и бывший руководитель ИИ-разработки в Facebook. Курс рассчитан на 14 недель лекций и практикумов, есть русский перевод. Первая лекция: https://youtu.be/0bMe_vCZo30

Интервью с ЛеКуном об ИИ (2017 год)
А еще коллеги подсказывают, что никаких внешних видеокарт (eGPU) новые АРМ-Маки поддерживать не будут..
Только хардкор, только встроеная графика и никакой дискретки.
Зато тихие...
https://techcrunch.com/2020/11/10/macs-with-the-m1-chip-do-not-support-egpus/
Процесс пошел. Дипфейки попали в законодательную базу.

"Если распространение фейка повлекло по неосторожности причинение вреда здоровью человека, то виновный может быть лишен свободы на срок до трех лет, а если к смерти человека или иным тяжким последствиям - до пяти лет."

Тут правда возникает много забавных вопросов. "Если применение зубочистки повлекло ..." и тд.
Ключевое положение "повлекло по неосторожности".

Вот это вот "по неосторожности" вроде как означает "даже по неосторожности, без умысла или намерения".

Предвижу иски типа "я поглядел на то, как моя жена(муж) делают это... и у меня причинение вреда здоровью (по выбору). Оказалось фейк, но вред невозможно прокрутить назад. Посадить мерзавца(мерзавку) на три года!".

Мерзавец тут - автор дипфейка, если что. Подсудимый.
Надеюсь не начнутся гонения на авторов софта, ибо производителей зубочисток или оружия никто же не закрывает. Хотя.. читайте ниже.

Вот просто отличный материал на эту тему:
https://vc.ru/ml/175833-deepfake-i-feykovye-kommunikacii-v-mass-media

Отличный еще и тем, что там хороший список иструментов, примеров и неглупые комментарии к ним.

MarioNETte https://hyperconnect.github.io/MarioNETte/
Synthesia https://www.synthesia.io/
Reface https://reface.ai/
Doublicat https://doublicat.ru.aptoide.com/app
Reflect https://reflect.tech/faceswap/hot
Faceswap https://faceswap.dev/
DeepFake Lab https://deepfakelab.theglassroom.org/
FakeApp https://fakeapp.site/
Dowell https://www.dowell.ai/
Morphine https://getmorphin.com/
https://veravoice.ai/

Туда даже Dowell.ai попал. Вот уж не знаю - это отличная реклама или страшная страшилка. Думаю все-таки первое, в нашей стране.

Reface.ia и Doublicat тоже "в списках" - Сашко, про вас не забыли в этом обзоре.

(И тут я такой с продакт плейсментом - Dowell будет у нас на CG EVENT, а с я веду переговоры Reface, надеюсь, что тоже да)

Читаем дальше: "Отсутствие единого регулятора таких платформ увеличивает риск роста распространения deep fake контента, поскольку этические стандарты остаются исключительно на совести разработчика."
А вот это плохо, про совесть. Херовая риторика. Интересно, а про совесть разработчиков огнестрельного оружия тут надо вспоминать.

Ну и на посошок там вот так:
"запрос на единый инструмент, позволяющий не только идентифицировать недостоверную информацию, но и определить авторство – должен разрешиться инициативой на государственном уровне с участием компаний телекоммуникационного сектора. В то же время, нам не хватает широкой образовательной программы для населения по работе с информацией, при этом начинать можно на уровне старшей школы."

Тут я немного приподраздулся от гордости, ибо еще в 2017 году выступал на What's Next в Вильнюсе. И приводил слайд с Трампом (уже тогда) и фейком, и предсказывал госрегулирование в этом вопросе, несмотря на шуточки-прибауточки.

Дочитали до сюда? Тогда давайте еще поразмыслим, ибо маркер наличия мозга детектед.

Один из сценариев может быть таким. Приравнять всех дипфейк-мейкеров (и разработчиков инструментов и пользователей инструментов) к нелегальным самогонщикам и карать. А сертифицированные программы оставить в руках государства, чтобы гнать дипфейки в мирных целях (или в нужных целях, под выборы, например). Нарисовал усы президенту - на нары (..ээ.. или это уже было в прошлом?).

И это в масштабах не только одной страны (сбыт самогона не очень легален везде).
Не верите, почитайте вот тут:
https://www.cnbc.com/2020/11/10/biden-agency-review-teams-includes-workers-from-amazon-airbnb-uber.html

Там хорошо представлен уровень проникновения айти технологий в политику в США и не только штатов. И рассказано, как в команду советников Джо Байдена входят сотрудники Гугл, Майкрософт, Фейсбук, Дропбокс, Амазон, Убер и других технологических компаний. И только Твиттер - белый, пушистый и независимый. Пока. До времени, братишка Дорси.
В общем,киберпанк пришел откуда не ждали. Вполз не через крутые железки, импланты или пси-волны, а через информационное облучение не защищенных (эволюционно) мозгов кожаного мешка. Который нынче защищается от ИИ и борется с дипфейками. Бедняга.
Отлично поподкастили с Nikolay Khudyakov и Андрей Тренин из Animation School.
Ребята прям молодцы, готовятся к разговору, продумывают вопросы и внятно ведут линию подкаста.

Поговорили о:

· Что такое CG Event (ну вдруг вы не знали)? Что?!?!
· В этом году конференция будет в онлайне, как?
· Чьи доклады обязательно стоит послушать в этом году?
· Blender vs Maya – что думает об этом холиваре автор библии 3D-шников, книги «Понимая Maya»? То есть я..
· В какую сторону развиваться начинающему 3D-шнику?
· Как повлияет искусственный интеллект на индустрию компьютерной графики и анимации?
· Как применяется ИИ в индустрии уже сейчас?

Об этом и не только – в двадцать третьем выпуске серии подкастов «Кто здесь аниматор?».

А все выпуски можно слушать на удобной вам площадке вот тут: https://taplink.cc/nikolaykhudiakov

А еще ребята собрали мегаблок по анимации для Ивента. Об этом отдельно напишу.
Первая синтетика (GeekBench)на новых Маках.
На DTF свежий материал.

Там прям все сладко: Macbook Air отстает от настольного ПК с новым Ryzen 5 5600X менее чем на 1%.

MacBook Air (M1) на 53% быстрее топовой версии MacBook Air (2020) на Intel Core i7 в однопотоке и почти втрое быстрее в многопотоке;
MacBook Air (M1) на 68% быстрее топового MacBook Pro (16) на Intel Core i9 в однопотоке и на 13% быстрее в многопотоке;
MacBook Air (M1) на 41% быстрее ASUS ROG Zephyrus G14 c Ryzen 9 в однопотоке и на 6,6% отстаёт в многопотоке;
MacBook Air (M1) отстаёт от настольного ПК с новым Ryzen 5 5600X (в стоке) менее чем на 1% в однопотоке и на 12% отстаёт в многопотоке:
MacBook Air (M1) на 18% опережает настольный ПК с Intel Core i9-10900K и отстаёт от него на 36% в многопоточном тесте.

Ждем Cinebench!

Остальные тесты будут пока в режиме эмуляции - не так много софта портировано нативно на M1.
Но пишут, что и тут можно ждать прорывов: "у Mac на ARM значительно больше шансов на адекватное качество эмуляции приложений под X86, так как запас производительности у них огромный."

Ну и такой вопрос: похоже, что производительной Макбук Air и Макбук Pro будет очень близка. Или Эйр, который без вентилятора, будет просто троттлить и тем самым отставать от Про? В общем самое интересное впереди...

https://dtf.ru/hard/255592-macbook-air-s-processorom-m1-poyavilsya-v-geekbench-ego-proizvoditelnost-na-urovne-ryzen-5600x
Какой свежачок от Weta!
И опять про виртуальный продакшен.
Epic Games в партнерстве с Weta Digital сделали шорт, созданный в Unreal Engine с использованием Hair & Fur Rendering and Simulation tool, который станет доступен позже в этом году в Unreal Engine 4.26.
Weta Digital также использовала Control Rig и Animation in Sequencer для создания суриката.
Виртуальный продакшен просто захватывает планету...
Я в коменты понасую чего я уже посшибал на зимний Ивент. И это не считая огромного Киевского Блока от Дан Золотаренко (Dan Zolotarenko)

Там даже есть про виртуальный Препродакшен от Виктора Переца.

https://youtu.be/03XMTFjZaUY
Ох сколько нам открытий дИИвных готовит .. граждаский кодекс!

"В Госдуме предлагают внести в Гражданский кодекс (ГК) РФ нормы, посвященные искусственному интеллекту (ИИ). В частности, предлагается закрепить права на интеллектуальную собственность, включая аудио- и видеоконтент или аналитические материалы, созданные с помощью ИИ, ЗА ЕГО РАЗРАБОТЧИКАМИ!!

Отлично просто! А права на все модели из ZBrush - за разаработчиками Зебры. Или лучше все права на текстуры, созданные в Substance закрепить за Адобченко.
Берем круче, права на все программы, скомпиленные на Visual Studio - за Микрософтом.

Читаем дивные высказывания депутатов и юристов про ИИ в Коммерсанте:
https://www.kommersant.ru/doc/4566144

А про права на ИИ-музику читаем следующий пост
Права на ИИ-музику.
Вот отличная статья в Гардиан про то, что ИИ способен уже вытворять удивительные вещи - например писать новую музику и исполнять ее голосом Синатры, Дэвида Боуи и вообще любым голосом.
Там есть примеры, послушайте, что генерит Jukebox, который продолжает прокачиваться на культурном наследии кожаных мешков.
Все это ставит просто отличный вопрос: "Где мои права, Карл?!"
И тут неолуддиты начинают верещать: "Да он (ИИ) ничего не создает, он только компилирует, и воще он робот бездарный, тварь безмозлая..".
Но вопрос от этого не исчезает - кому отписывать права на музыку, созданную ИИ, которая аж бегом будет использоваться повсюду, от лифтов и торговых центров, до озвучки роликов в инстах, тиктоках и ютюбах.
Куда нести деньги, брат?
Вот депутаты из предыдущего поста, предлагают заносить хрусты разработчикам ИИ. И тут разработчики Cakewalk и Fruity Loops такие: "а чо так можно было!?!". Где наши бабки?

Но мне нравится другой вопрос.

Вся музыка, созданная кожаным мешком - это точно такая же компиляция услышанного ранее, просто пропущенная через белковые нейросетки, а не через кремниевые. И почему тогда, кожаные авторы алчно присваивают права себе? Кто-то когда-то подсуетился?

Если вы глухи от рождения и никогда не слышали музыки, то вряд ли ея напишете (датасет отсутствует). Но (тут я как математик предполагаю все варианты) если все-таки напишете, то только такая музыка и будет воистину авторской, ибо не скомпилирована из услышанного. Все остальное - плагиат, подражание и белковая компиляция услышанного в детстве, отрочестве, юности, далее везде со всеми остановками.
https://www.theguardian.com/music/2020/nov/09/deepfake-pop-music-artificial-intelligence-ai-frank-sinatra

P.S. Неолуддиты из под рояля: "нет! наша компиляция лучше чем его! и вообще он робот.."
Что-то сегодня ИИ из всех щелей прет. Пятница 13-е, да еще и 2020-го, не иначе...

ИИ завезли в ДаВинчи Резолв.
Точнее он уже давно туда проник под видом DaVinci Neural Engine, но сидел тихо, затаившись.
А сейчас вот разошелся не на шутку.

AI Magic Masks заставляют нервно курить RotoBrush 2:
Magic mask uses the DaVinci Neural Engine to automatically create masks for an entire person or specific features such as face or arms

Смышление кадрирование:
The DaVinci Neural Engine automatically identifies faces and repositions them inside the new frame so you don’t have to do it manually.

Авто-монтаж (разбивка на сцены):
The DaVinci Neural Engine also gives you scene cut detection, de-interlacing and smart reframing.
The DaVinci Neural Engine analyzes the images, finds the edit points, and cuts up the clip for you!

Деинтерлейс:
High quality DaVinci Neural Engine de-interlacing analyzes motion between fields to reconstruct progressive frames. You also get realtime 3:2 pulldown removal!

А теперь плохая новость.
ИИ - платный: DaVinci Resolve Studio 17 includes everything in the free version plus DaVinci Neural Engine, stereoscopic 3D tools, dozens of extra Resolve FX filters and Fairlight FX audio plugins plus advanced HDR grading and HDR scopes.

Кстати, так случилось, что у меня в ближайшем окружении в основном коллеги, владеющие Афтером и Нюком.
А вот на CG EVENT Online очень хотелось бы услышать про то, до чего докатился Резолв к 17 версии. От аппаратной поддержки видеокарт, до всяких уникальных софтовых фич. Если у кого есть кураж просветить народ, пишите в личку.

Ссылки:

Вот тут про ИИ-маски на
https://youtu.be/OcBAkbky33A

Вот тут битва с Ротобрашем -
https://youtu.be/8nal_osAOhk

https://www.blackmagicdesign.com/products/davinciresolve/whatsnew