Интересная статья о том, что Нвидия будет потихоньку выдавливать x86 из серверного сегмента со своими ARM процессорами.
По дороге досталось еппловскому A15.

"NVIDIA: ARM Chips Can Almost Beat x86 Processors, A100 GPU 104x Faster Than CPUs" https://wccftech.com/nvidia-arm-chips-can-almost-beat-x86-processors-a100-gpu-104x-faster-than-cpus/

Helios: реалтайм постпродакшен движок? ILM vs Epic?

Все уже наверное насмотрелись мейкингофов Мандалорца-2. Вот вам еще один. Опять жирный, залитый деньгами и ресурсами, уничтожающий остатки надежды "догнать и перегнать Пиксар". Но дело не безнадежности.

https://www.ilm.com/the-special-visual-effects-of-the-mandalorian-season-2/

Уже с марта в сети поговаривают по каком-то реалтайм движке от ILM под названием Helios:
ILM’s state-of-the-art real-time cinema render engine called, Helios. The high-resolution, high-fidelity engine was used for all final pixel rendering displayed on the LED screens and offers unmatched performance for the types of complex scenes prevalent in today’s episodic and feature film production.

Во втором сезоне ИЛМ переползли на него, вероломно побросав UE4.

Если кто-то знает подробности, пишите. Ниже я насобирал некоторое количество информации.

UE4 пользовали только на препродакшене и концептинге в сезоне 2: One of the more interesting facts is that they also revealed they moved away from using Unreal Engine when working on season two. ILM developed Helios, the team's own real-time render engine which was used for all StageCraft rendering in the Volume. Unreal was used for development work in the Virtual Art Department, not for final-pixel work and in-camera capture.

Далее, еще в 2019 году Variety писала что движок зиждется на "пиксаровской технологии": ILM has a proprietary real-time engine dubbed Helios, based on technology developed at Pixar.
https://variety.com/2019/biz/features/video-game-engines-visual-effects-real-time-1203214992/
Рендерман под капотом? XPU?

FXGuide пишет про выход камеры за пределы Объема:
https://www.fxguide.com/fxfeatured/mandalorian-season-2-virtual-production-innovations/
А также про концепцию, похожую на Омниверс: The final content can be created in Unreal, Houdini, 3DS Max or any number of other DCC packages, and then, for the shoot days, all of it gets seamlessly read into ILM’s Helios real-time renderer for accurate display on the LED walls. Collaboration is central to the StageCraft ILM pipeline.

Engadget нахваливает Хелиос, как расширяющий сознание и возможности:
https://www.engadget.com/the-mandalorian-season-two-stagecraft-2-0-225548912.html
Helios, the in-house rendering engine ILM built to power the volume. With season two, the tool gave the production team even more control over the set, allowing them to redress it based on what they saw through the camera.

Интересно, что еще лет семь назад мы спорили на Ивентах, кто кого сожрет: игровые движки скушают трехмерки, имплементировав функционал, или трехмерки превратят свои вьюпорты в игровые движки.

Похоже территория пока остается незанятой. Играм - игровое, посту - трехмерное, а вот посередине есть ниша для Хелиоса, Омниверса и и будущих CG-Метаверсов, скрещивающих реальный мир(съемки) и мир виртуальный(эффекты) [эк сказанул].

В общем, если есть инсайдеры, пишите про Хелиос, что знаете...

Я вот часто распинаюсь, что по вашему FaceID можно рассказать про вас массу интересного, а вот смышленые ребята не бухтят, а мешки ворочают.
Глаза - зеркало души, сказали они и ну пилить стартап, который читает мобилкой(!) ваши глаза и говорит, насколько вы забухали, пыхнули, закинулись, ну и так далее.
Подается все это максимально аккуратно и политкорректно - типа мы вам глянем в глазки и скажем, садиться вам за руль или вызвать Убер (тут Убер такой, а можно подкрутить параметры?!).
Ага, конечно.
Читаем ниже: Место работы - это логический следующий шаг. Правоохранительные органы также в списке. Упс.

В общем это продолжение гонки за доступ к мозгам и кишкам кожаного мешка. Кто-то идет через нейроинтерфейсы, кто-то - через браслеты, кто-то просто заглядывает в глаза и сливает это ИИ. ИИ лучше знает.

Ребята уже подняли нехило денег. Ибо перспективы - самые радужные. Радужка и зрачок - наше все. 142 455 долларов.

"Ваши глаза отлично говорят о том, что происходит в вашем теле. Они могут сказать, есть ли у вас в крови кофеин, в зависимости от того, как они реагирует на свет. Если это слишком быстро, это какой-то стимулятор. Если это слишком медленно, это какой-то депрессант."

https://techcrunch.com/2021/09/21/eyegage-is-building-a-database-of-eye-scans-for-drug-testing/

И тут ТикТок, с локтя убирая Убер: "Ээ, я можно мне вот это здесь и сейчас!!!". Я хочу им всем посмотреть в глаза прямо из камеры, пока они смотрят меня! Кчорту бухло, видосы решают, как порадовать кожаного мешка.

Короче, маски не спасают, пацаны.

К вопросу о фотореализьме.

Пока вы там сходите с ума по солверам, симуляциям, флюидам, худиням и эмбергенам, ламинарное течение можно просто замоделить.

Один раз.

Н - Насмотренность.

Всё ещё хотите реализьма?

Snoop Dogg Metaverse
Снуп заходит по-крупному в Metaverse совместно с Sandbox: тут и трек, и VIP Концерты, и коллекции NFT аватаров и предметов, и строительство своих особняков) гэнгста парадайз в общем

За последний месяц ИИ активно зашел в ПикселАрт. Много красивых картинок на базе vqgan+clip.
В Твитторе обнаружился вот такой товарищ, которые делает еще и анимации, выходящие за рамки ПикселАрта. Там классная работа с глубиной и радикально меньше артефактов.
Мне особенно нравится Purple Rain (было бы круто сделать клип на песню Принса).
Гляньте в его твиттор и ютуб, там всякое разное красивое.
https://twitter.com/hvnslstangel
https://www.youtube.com/c/HeavensLastAngel/videos

А еще если вам нужные красивые открывающие титры для фильма про микродозинг, то почему бы и нет.
К Девяти Незнакомцам идеально бы подошло.

Сквозь облака и воду!

Довольно интересный движ в последнее время с нейронным рендерингом. Очевидно, мы в той или иной мере придём к этому итерациями, с тестами на бэкграундах, мидграундах, а потом и лицах игровых персонажей.

Цимес такого подхода заключается в том, что вообще не важно, насколько сложна сцена по шейдерам, количеству полигонов или сложности и количеству источников света. Главное - насколько хорошо обучена сеть и как быстро выполняется один проход вычислений. И это открывает огромное неизведанное поле для изучения нейронного типа рендеринга для получения реалистичных результатов изображения.

Неплохо было бы отдать генерацию лиц, эмоций и спича нейронкам и ожидаемо уволить художников по персонажам, оставив только концептеров, и тех в усреднённом количестве.

Но об этом в следующем посте...

https://dtf.ru/hard/878847-sony-interactive-entertainment-izuchaet-neyronnyy-rendering-dlya-real-time

Продолжение...

Собственно, нужен хороший коннектор чтобы соединить две технологии.
И все дружно пойдем на завод!

Реддит

Прекрасный lab member 001 выложил в своем твитторе анимации генерации "девушек с кошачьими ушками, похожих на андроидов". Да, это вход для Клипа, дальше он сам.
https://twitter.com/i/status/1441145711496679424

Тут некоторым показалось, что все они на одно лицо.

Я же, просматривая анимацию, прям чувствую, как микрооттенки в районе глаз меняют всю историю, стоящую за персонажем. Ибо мозг кожаного мешка отлично додумывает истории на основе неуловимых деталей, а ИИ уже достиг того уровня, когда он может инициировать эти истории в этом самом мозгу.
Ибо кожаные нейросетки годами обучены на различных опытах, случаях, психотравмах и пр.
И стоит на вход подать девушку с ушками, как кожаный инференс начинает генерить истории.

Потренируемся на кошках. А еще лучше на детях.

В Китае начали вшивать в школьную форму микрочипы, которые позволяют следить за ребёнком.
«В наших учебных заведениях уже есть устройства по распознаванию лиц, но мы идём в ногу со временем и придумываем новые способы всегда оставаться в курсе того, что делает ребёнок и где он находится».

Также китайцы экспериментируют с трекерами мозговой активности (не спать! слушать учителя), запрещают детям играть в игры по будням и ограничивают их присутствие в сети.

Может быть скоро мы увидим две новые эволюционные ветки? Человек сетевой и человек китайский?

Без комментариев.
Явшоке.

Hand made in Blender and Krita, rendered in Cycles on Surface Pro 4 & 2008 vintage PC in 4 1/2 days (not including re-rendering).

Подробности на:

https://www.chrisj.com.au/
https://twitter.com/cjones3D
https://gumroad.com/cjones

Чтобы манипулировать кожаным мешком, не надо сверлить дырки в башке. Достаточно надеть на него наушники.

Причем "манипулировать" здесь следует понимать буквально.
Заставлять его двигаться в нужном направлении. Еще раз - буквально.
Вправо, влево, вверх, вниз. Как манипулятор Move в Maya.

Для этого есть стотыщлет как известная технология Galvanic Vestibular Stimulation или просто GVS.

Согласно vestibular.org, «сенсорная информация о движении, равновесии и пространственной ориентации обеспечивается вестибулярным аппаратом, который в каждом ухе представлен эллиптическим мешочком, сферическим мешочком и тремя полукружными каналами. Эллиптический мешочек и сферический мешочек мешочка определяют гравитацию (вертикальную ориентацию) и линейное движение».

Так вот, Самсунг еще в 2016 году показал специальные наушники, оснащенные электродами стимулирующими вестибулярный аппарат и вызывающими у пользователя чувства типа "горизонт наклонился влево" или "земля ушла из-под ног". Поэтому пользователи чувствуют себя участниками происходящего на экране действия и могут ощутить направление и скорость движения. И, в совокупностями с данными от команды Drone FPV, которая анализирует данные сенсоров движения дронов, пользователи могут ощутить даже чувство полета.

Гляньте видео выше, его жестко поудаляли из сети, пришлось выковыривать из своей же презентации 2016 года.
Оно красноречиво дает понять, что можно творить с пользователем через нехитрый и Неинвазивный девайс.

Что обещал Самсунг в 2016 году:
«Виртуальная реальность не должна ощущаться только глазами», — говорит креативный директор проекта Стив Джанг.

"Благодаря Entrim 4D, мы надеемся, люди смогут ощутить виртуальную реальность так, как это должно быть – ВСЕМ телом."

"Samsung предполагает, что совмещение ощущения движения и изображения в шлеме не только улучшит впечатления от виртуальной реальности, но и поможет уменьшит головную боль и тошноту, которые ощущают многие пользователи в виртуальной реальности."

И по непонятной причине проект был полностью свернут. Видео зачищено, упоминания на сайтах самсунга тоже.

Вопросы:
Почему Самсунг свернул проект?
Почему Виарщики типа FB/Oculus или Valve не стали копать в эту сторону (по крайней мере публично)?

Да и просто в обычных (и 3Д) кинотеатрах можно было бы лихо наклонять зрителей в процессе авто/космо/авиа-погонь и потряхивать их на виражах (как это делают в аттракционах с трясущимися креслами/4D-кинотеатрах).

Ну и это ли не еще один мостик в метаверс, когда виртуальный мир ощутимо воздействует на реальный. На всю, так сказать тушку.

Проект-то свернули, но (осадочек) технология осталась.

Кто первый ее снова прикрутит к кожаной голове на рынке развлечений и метаверсинга?

Дополнение к предыдущему посту про (прямые) манипуляции кожаным мешком с помощью неинвазивных методов.

Это видео я притащил с Сигграфа еще в 2008 году. Это была демонстрация проекта, когда пожилым людям одевают такие электроды, чтобы уберечь их от падения зимой (после перелома многие уже не встают).
Если человек начинает крениться вбок, то система с обратной связью подает сигнал на электроды: наклонить горизонт в другую сторону! Рефлексы отрабатывают быстрее неторопливого ума и человек выравнивается.

Несмотря на то, что описанный мной вчера проект самсунга Entrim 4D благополучно похоронили, я все-таки жду, что эта технология вернется на рынок развлечений. Уж больно дешево и сердито.

Ну и кстати, если взрослые дяденьки стремаются, опасаясь исков и рисков, то где кикстартеры и биохакеры?

А вот где: https://www.youtube.com/watch?v=qj6u--lfeGo&t=0s
https://www.researchgate.net/publication/276148002_Four-pole_galvanic_vestibular_stimulation_causes_body_sway_about_three_axes

​​thisbeachdoesnotexist.com

StyleGAN2-Ada натренированный на 22к фотографий пляжей. На сайте есть веса модели.

Залипательно.

ИИ-усушка и ИИ-утруска.

Человек многословен и велеречив. Особенно, когда платят за знаки. Это приводит к тому, что многие (особенно американские) книги невозможно читать, в них нереальное количество воды и повторов.

В ответ на это создаются проекты типа "любая книга за 15 минут".

Например, Smartreading:
https://smartreading.ru/

или пресловутый БлинкЛист за 35 миллионов:
https://tengrinews.kz/mixnews/startap-privlek-35-millionov-dollarov-vyipustil-prilojenie-428710/

Только все равно там сидит сонм кожаных редакторов, которые выжимают воду вручную, так сказать.

А теперь в это умеет ИИ.
OpenAI разработали модель, которая может обобщать книги произвольной длины. Тюнингованная версия GPT-3 сначала суммирует небольшие разделы книги, а затем делает резюме на резюме более высокого уровня, названное «рекурсивная декомпозиция задач».

Алису в Стране чудес», содержащую 26 тысяч слов, модель сократила до 66 выжимок по 6 тысяч слов, затем до шести по 830 слов. В финальном пересказе осталось 136 слов.

Чтобы оценить модель, исследователи лаборатории взяли 40 самых популярных книг, опубликованных в 2020 году (по данным Goodreads), и поручили двум людям прочитать каждую книгу и написать резюме, а затем оценить резюме как модели, так и друг друга.

Модель успешно сгенерировала сводки «на уровне книги», содержащие большую часть важной информации.

Ну, за кого или за что выпьем?

Подробности тут: https://venturebeat.com/2021/09/23/openai-unveils-model-that-can-summarize-books-of-any-length/

Рендер или фото? Копия или подделка?

И пока человечишко полагается на свои подслеповатые глазки и так называемых експертов, ИИ бесстрастно и цинично определяет, что всё, чему годами поклонялись экзальтированные эстеты - жалкая подделка.

И как после этого жить експертам и естетам? Конечно вопить, что ИИ - зло, ничего нового не умеет и только портит разные высокомаржинальные схемы. От коррупции до изобразительного искусства.

Итак.

Картина Самсон и Далила входит в число самых известных работ Рубенса, одного из самых влиятельных художников 17-го века.

Когда национальная галерея Лондона купила шедевр в 1980 году, он стал третьим самым дорогим произведением искусства, когда-либо приобретенным на аукционе.

Согласно новому анализу, сделанному ИИ, это ценное произведение является подделкой.

Тесты проводились швейцарской компанией, которая использует разные алгоритмы для аутентификации художественных работ.

Инструменты фирмы основан на глубокой сверточной сети. Система учится определять характеристики художника путем обучения на изображениях реальных работ.

Тренировочный датасет затем дополняется разложением изображений на меньшие патчи, которые используются для захвата более мелких деталей.

Как только обучение завершено, алгоритму скармливают новое изображение для оценки. Затем он анализирует вероятность того, что оно является подлинным.

Сравнивая Samson и Delilah с 148 подлинными картинами Рубенса, система дала 91%, что это подделка.

Експерты в шоке:

"Мы повторили эксперименты, чтобы быть действительно уверенным, что мы не ошиблись, и результат был всегда одинаковым. Каждый патч, каждый один квадрат, определялся как подделка, с вероятностью более 90%."

ИИ указывает, что стиль картины более жесткий, чем любые другие работы Рубенса. Он указывают на обрезанные пальцы Самсона в качестве четкого признака того, что часть не была окрашена фламандским мастером.

Но експерты стоят на своем и прячутся за смешными формулировками:
The National Gallery may not have identified Samson and Delilah as a fake, but AI could help it avoid spending fortunes on frauds in the future.

То ли дело NFT. Нет разницы между копией и подделкой. И все. И никаких вопросов. Есть справка о владении.
И никаких "мощных эманаций, исходящих от подлинника". Все честно.

Ну, за експертов!
И естетов!

https://thenextweb.com/news/ai-suggests-peter-paul-rubens-did-not-paint-samson-and-delilah