Метаверсище и ИИще
53.5K subscribers
6.77K photos
5.77K videos
50 files
7.95K links
Это не новости, это персональный экспертный взгляд на то, как развивается индустрия ИИ, графики, метаверса, крипты, нейротехнологий и в каком направлении катится все это безобразие.
Для связи: @SergTsyp
Download Telegram
Журнал Time включил генерального директора NVIDIA Дженсена Хуанга в список самых влиятельных людей 2021 года

Также с список инноваторов попали Илон Маск(это понятно) и Виталик Бутерин.

Как пишет Andrew Ng: «Искусственный интеллект меняет наш мир. Современное программное обеспечение, которое позволяет компьютерам делать вещи, которые когда-то требовали человеческого восприятия и мышления, стало частью нашей жизни из-за аппаратного обеспечения, которое появилось благодаря Дженсену Хуангу».

А в абзаце, посвященном Виталику аж два раза поминаются NFT.
https://time.com/collection/100-most-influential-people-2021/#innovators

Мир меняется с какой-то нереальной скоростью. И пока среди цифровых инфлюенсеров идет война за инстаграм и психику подростков, среди кожаных рулят повелители ИИ и крипты. Скажите мне об этом десять лет назад...
Уже лет пять-шесть притапливаю на закрытии CG EVENT-ов о том, что контент рано или поздно будет создаваться на нейрофизиологической основе, на основе обработки данных, извлекаемых из нутра кожаного мешка, и будет оптимизироваться с целью максимально воздействия на последнего. Воздействия по нужному вектору - нужной эмоции, нужному ощущению, нужному состоянию, в общем. Заказчик диктует состояние. А генеративные технологии и ИИ выдают нужный контент. И, конечно, проще начать со страха, как с самой сильной эмоции.

И, кстати, одна из моих любимых серий раннего Черного Зеркала про то, как люди зарабатывают себе на жизнь, крутя педали и не отрываясь смотря контент (рекламу). Отвел глаза - минус в рейтинг. Отрицательное подкрепление, так сказать.

И что мы видим в 2021 году?

Финансовая компания FinanceBuzz платит желающим 1300 долларов(!) за просмотр 13 фильмов ужасов в октябре, чтобы выяснить, влияет ли размер бюджета фильма на его эффективность (воздействия). Положительное подкрепление!
FinanceBuzz приглашает всех стать тестером сердечного ритма из фильмов ужасов. В пресс-релизе компании говорится, что человек будет смотреть 13 самых страшных фильмов, когда-либо снятых, одновременно отслеживая частоту сердечных сокращений с помощью браслете Fitbit. «В честь приближающегося Хелловина мы в FinanceBuzz очень хотим знать, доставляют ли высокобюджетные фильмы ужасов более сильные страхи, чем низкобюджетные», - говорится в сообщении.

«Вы поможете нам выяснить, влияет ли бюджет фильма на то, насколько он может быть пугающим, если надеть Fitbit, чтобы отслеживать частоту сердечных сокращений, пока вы просматриваете список из 13 фильмов».

Кроме 1300 долларов, вам дадут и сам браслет. Смотрите, ужасайтесь, трепещите. А ИИ все запишет и сделает выводы.

Чтобы в следующий раз напугать вас просто до усрачки(как вариант) или до нужного состояния.

Дальше в моих прогнозах были виар-шлемы, которые в отличие от жалких браслетишек, сумеют считывать с башки (кожи, скальпа, еег) грандиозное количество данных (уж про стресс точно) и оптимизировать контент так, чтобы вы ходили под себя и даже не думали снять шлем.

Ну и пока наивные исследователи идут столь прямолинейным путем: конкретные фильмы ужасов -> страх, смышленые ребята уже пилят Абстрактные Картинки, а ИИ градиентно спускает зрителя в нужное состояние ничего не понимающего зрителя, растерянно и благостно взирающего на бессмысленные (с точки зрения ЕИ) цветные пиксели. И ему не хочется, чтобы это прекращалось.

Желаете в треш-матрицу? Заполняйте форму на сайте, получайте свои бабки, и ну смотреть фильмы ужасов (пока).
Вот тут подробности: https://financebuzz.com/get-paid-to-watch-scary-movies
Forwarded from 3D ML / World Models
This media is not supported in your browser
VIEW IN TELEGRAM
Вы уже наверняка пробовали генерировать интересные картинки с помощью связки CLIP + Любая генеративная модель (VQGAN, BigGAN и пр.). Если еще не пробовали, то бегом пробовать (инструкция и описание здесь). Основная суть всегда одна и та же: CLIP отвечает за связь эмбеддингов текста и изображений (или каких либо данных) а вторая сеть отвечает за генерацию.

Ожидаемо что, кто-то попытался совместить CLIP с генерацией 3D моделей и текстур. Исследователь Nikolay Jetchev в своем Twitter делится результатами экспериментов. Деталей крайне мало, но судя по всему сама геометрия моделей генерируется SMPL.
А как вам кажется нужно совмещать CLIP и 3D?Делитесь идеями в комментариях 🧑‍💻
Матрица все ближе.

Исследователи имплантировали в мозг набор из 128 электродов, предназначенный для обнаружения сигналов от сенсорных и моторных процессов, связанных с речью, то есть со ртом, губами, челюстью, языком и гортани. За 50 сеансов в течение 81 недели они подключили имплант к компьютеру с помощью кабеля, подключенного к порту в голове Панчо, и попросили его попытаться произнести слова из списка из 50 распространенных слов, которые он помог предложить, в том числе «голоден», « музыка »и« компьютер ».

Дальше ИИ делал свою работу:
As he did, electrodes transmitted signals through a form of artificial intelligence that tried to recognize the intended words.

С помощью импланта Панчо может передавать от 15 до 18 слов в минуту. Ведущий автор исследования доктор Эдвард Чанг говорит, что возможна и более быстрая передача слов, однако пока неясно, удастся ли достичь скорости 150 слов в минуту — это средний темп речи человека.

Почти в половине случаев алгоритм понимал все, что пытался произнести Панчо. Ученые сказали, что первой воспроизведенной фразой мужчины было: «Моя семья на улице».

Удалось воспроизвести такие предложения Панчо: «Моя медсестра рядом», «Принесите мои очки, пожалуйста», а также «У меня все очень хорошо» (так он ответил на вопрос, как у него дела).

Ждем ответа от Маска.

P.S. Срочно дообучаем ИИ до "Create Polygonal Sphere" и "Render"

https://www.trtworld.com/magazine/experimental-brain-implant-decodes-speech-for-paralysed-man-48438
Ну за моделлеров и текстурщиков!
Все уже наигрались с генерацией картинок из текста с помощью CLIP. Но смышленые ребята идут дальше. в 3Д.
Николай Жетцев в своем твиттере постит совершенно чумовые анимации 3Д-моделей созданных из текста.

"Text guided optimization of SMPL 3d models, adapting both mesh structure and texture."

Этакий трехмерный Гугль Дрим и фильмы Никиты Диакура. Ugly на стероидах и опиодах.

Осторожно! Развидеть это будет уже нельзя, но если вы дерзкие, го смотреть тут:
https://twitter.com/NJetchev

На примерах выше " cybernetic lady, steampunk Metropolis style, rendered in Unreal Engine" и "Scary evil demon cowboy, unreal Engine in the style of Giger".

Готовьте ваши влажные ассоциации..

Ждем кнопку в 3Д-пакетах "Create Dream".
https://ugly-film.com/
Наших бьют!!

ООН выступила с предложением запретить ИИ-технологии, использование которых не соответствуют нормам международного права.
https://time.com/6098420/un-moratorium-ai-human-rights/

Верховный комиссар ООН по правам человека Мишель Бачлет объявила о проекте моратория на ИИ-технологии. Среди технологий, которые не укладываются в нормы прав человека - системы "социального рейтинга, а также любой ИИ, который делит людей на кластеры по какому-либо признаку: полу, возрасту, расе и т.д. "

Ага, раскажите это HR-ам!

Также Бачлет предложила наложить мораторий на использование технологий распознавания лиц - запретить их применение до тех пор, пока государства не смогут доказать их достаточную надежность и защиту персональных данных граждан.

В общем в мире начинаются гонения на ИИ..

И тут Россия и Китай такие: какие же все-таки смешные, эти кожаные мешки... как дети, ей-богу... права мешка им подавай. Скидку на камеры обсудим?
Наш ответ нападкам ООН на ИИ! (см. пред. пост).

Российский Окулус самый зоркий в мире!

Подведомственный Роскомнадзору Главный радиочастотный центр (ГРЧЦ) планирует запустить систему поиска противоправного контента в изображениях и видео в интернете «Окулус». Она будет работать на основе искусственного интеллекта (ИИ), что, по мнению ведомства, повысит эффективность выявления экстремистских материалов.

https://www.kommersant.ru/doc/4995681
На портале госзакупок, обнаружен тендер стоимостью 15 млн руб. на разработку техзадания для системы поиска нарушений в интернете в изображениях и видеофайлах. Система будет называться «Окулус», запустить ее планируется в 2022 году, она будет выявлять распространение экстремистских материалов и порнографии, пропаганду наркотиков, призывы к массовым беспорядкам

Так что перед тем, как открыть рот в интернете, подумайте, что скажет про вас ИИ-Окулус...
Эпик продолжает метаверсить!

И тащит в Фортнайт всё, что по моде и на стиле.

И если с шоу-бизнесом уже все хорошо (Ариана Гранде, трейлеры Нолана), то пора взяться за святое - индустрию моды.

Epic анонсировала сотрудничество с модным домом Balenciaga и представила первые модные скины в Fortnite. Компании также запустят in-game Balenciaga-themed hub и линию реальную линию одежды.

В рамках новой модной кампании будут представлены четыре новых скина с альтернативными стилями, а также другие аксессуары в стиле Balenciaga: кирка(!) на основе кроссовок Speed Sneaker, задняя часть рюкзака Balenciaga и многое другое.

Поклонники также смогут купить ряд предметов, в том числе рубашки с круглым вырезом, футболки и шляпы из реальной коллекции Balenciaga на тему Fortnite.

Вот так вот два мира проникают друг в друга - скины по мотивам одежды и одежда по мотивам скинов.
Вы еще их различаете?

Из подробностей:
В Fortnite одежду Balenciaga затаскивали через 3D-сканирование для создания моделей прототипа. Дальше ее подгоняли под концепт в Zbrush-е.

Потом по этим референсам делали лоуполи, которую тащили в Fortnite чтобы текстурить в стиле Балансиаги. Также использовали CAD модели для обувки, которые предоставляла Balenciaga.

Ну и за цены: the real-life version of the white hoodie with the Fortnite logo will be available to purchase for a whopping $725.

Метаверс недешев!
https://www.epicgames.com/fortnite/en-US/news/high-digital-fashion-drops-into-fortnite-with-balenciaga
Netflix cказал, Netflix сделал.
В общем они теперь реально делают игры.
И как паблишер, и как девелопер.
Только что выпустили VR игру для Окулус.
https://www.slashgear.com/netflix-makes-games-now-eden-unearthed-for-oculus-vr-released-first-20691601/
Игра основана на сериале, также выпущенном Netflix, под названием Eden.

Нетфликс подбирается к метаверсу со своей стороны. Хорошая идея удерживать зрителя во вселенной фильма или сериала как можно дольше.
Понравился контент - будь в нем и после просмотра.
Сторителлинг опять становится придатком продажи вселенных и франшиз.

А сценаристам придётся держать в голове не только историю, но и всю её дальнейшую жизнь в виде игр и прочих погружений в мир вокруг истории.

И в этом смысле "продолжение следует" приобретает не только временнОе, но и пространственное измерение.

Посмотрел - иди поиграй, не сиди без дела, бери шлем, не отвлекайся на глупости.

И кстати, бывший руководитель разработки VR-контента в Facebook Майкл Верду теперь работает в Netflix.
Никогда такого не было и вот опять!

Кожаные мешки, ну что же вы творите? Из года в год.

И эти люди говорят, что крипта ничем не обеспечена!

Глупостью, жадностью и самой природой кожаного мешка.
Обеспечена по самые криптозакрома.

" На этот раз стоимость места доходит до 140 тыс. рублей. Объявления начали публиковать на днях на популярных платформах вроде «Авито»"

https://moskvichmag.ru/gorod/v-moskve-opyat-torguyut-mestami-v-ocheredi-za-novymi-ajfonami/
Нвидия атакует.

Сегодня Нвидия обновила свой Canvas (известные ранее как GauGAN) и релизнула новый Студио Драйвер (благодаря которому я узнал много нового[ниже]).

ИИ-рисовалка Canvas теперь поддерживает загрузку собственных "стилей". Если раньше можно было рисовать лесами, морями и горами из предоставленного набора, то теперь можно подгружать собственные изображения, которые действуют скорее как перенос стиля. Нейрорисовалка прогрессирует.

А вот читая про новый Studio Driver, я узнал разные новости.
Windows 11 имеет много GPU-фич на борту, всякий там GPU-accelerated hardware scheduling и новый драйвер уже работает с одиннадцатой Виндой, ускоряя все это до 5G.
Дальше был упомянут некий Jianying Pro video editing software, ускоренный драйвером до небес.
Оказалось, что на мобилах есть монтажный апликейшен от Тик-Тока под названием CapCut (точнее она принадлежит ByteDance, который владеет ТикТоком).
Далее, в девичестве CapCut звали Jianying (еще в 2019 году), но на международный рынок он пошел как CapCut.
Самое интересное, что есть десктопная версия для Винды и для Мака(!), но она только на китайском.
Выглядит нарядно, прям монтажкамонтажка.
Еще там подкрутили SDK Maxine и теперь AI-driven body tracking in apps like Notch работает стабильнее.

Тут я понимаю, что Драйвер видеокарты, превращается в операционную подсистему, которая рулит не только играми и видео, а потрохами многих программ, которые занимаются, звуком, мокапом, ИИ и еще Бог знает чем. Этакий HAL видеоподсистемы, государство в государстве.

Ну и чтобы вы не расслаблялись в очередях за айфонами и видеокартами, вот последние утечки про серию RTX 40XX.
GeForce RTX 4090 будет, по слухам, более чем вдвое производительнее, нежели RTX 3090
По крайней мере, в TFLOPS. AD102 (Ada Lovelace), на котором основан GeForce RTX 4090, будет работать на частоте 2,2 ГГц. Для сравнения, у RTX 3090 это менее 1,7 ГГц. В итоге при оговариваемой частоте и наличии 18 432 ядер CUDA, о которых уже не раз говорили разные источники, получается производительность около 81 TFLOPS. У RTX 3090 этот показатель равен 35,58 TFLOPS. Также говорят о техпроцессе 5 нм и 384-разрядной шине, соседствующей с памятью GDDR6X.

Пора уже Нвидии допаять диск и память на видеокарту. И никаких материнских плат, процессоров и вот этого вот всего.
Подробности про китайскую монтажку, Notch, Canvas и прочая тут:
https://blogs.nvidia.com/blog/2021/09/20/canvas-update-studio-driver/?linkId=100000068889660
This media is not supported in your browser
VIEW IN TELEGRAM
Лет семь уже твержу, что контент становится все ближе и ближе. К мозгу. От олдскульных экранов кино до прилегающих виарчиков.
Кто (после Маска) быстрее достучится в мозг, того и нейроны.
А пока на поле "считывателей" мозга не просто горячо, там все кому не лень мастерят мамкины ЭЭГ и превращают их в консумерские продукты, скрещивая их с наушниками, шлемами, повязками и пр. Вангую появление умных бейсболок, бандан и прочих головных уборов. Читающих ваши кожаные мысли.
Вот очередной приборчик: Elegantly designed earphones that scan your brain, relieve stress and help you focus better during any task

Наушники с элегантным дизайном, которые сканируют ваш мозг, снимают стресс и помогают лучше сосредоточиться при выполнении любой задачи.
Декларируется снятие сигналов через обычные (ну ок, необычные) затычки-наушники. Через уши, в общем.

Это кикстартер, поэтому цена ниже 100 баксов (обычно около 300 и выше).

https://www.kickstarter.com/projects/viestyle/vie-zone-the-cyber-earphones-that-help-you-focus-and-relax
Омницепт в Омниверсе. Нейродизайн.

https://www.theia.io/claria

А теперь по взрослому про то, что контент становится ближе к мозгу (см пред.пост про мамкины нейроинтерфейсы).

Три года назад писал про то, что виар-шлемы идеальное место для размещения датчиков, снимающих уйму данных с кожаной головы.
https://www.facebook.com/sergey.tsyptsyn/posts/1779941175405132
Наверное HP подписаны на дедушку, потому что у них обнаружен вот такой вот продукт на базе их шлема Reverb G2:
HP Omnicept - это система датчиков, которая измеряет движение мышц, направление взгляда, размер зрачка, пульс, когнитивную нарузку(!) - и передает ее ИИ.

Или вам. Тут, похоже API открыт (вопрос цены) и готов к использованию.

https://www.hp.com/us-en/vr/reverb-g2-vr-headset-omnicept-edition.html

Смотрите видос выше..

Представляете какое раздолье для измерения реакции зрителя на визуальный контент (о чем я обычно распинаюсь на ивентах).
Недавно писал, что одна компания платит 1300 долларов за просмотр 19 фильмов ужасов и измеряет пульс с помощью жалких браслетишек.
https://www.facebook.com/sergey.tsyptsyn/posts/4344627952269762
А теперь представьте, какие кирпичи отложат зрители при просмотре ужасов в таком шлеме и сколько данных теперь можно собрать в момент просмотра!

Если вы думаете, что это все дедушкины выдумки, то вот вам реальный кейс на базе HP Omnicept - проект Claria:
https://www.theia.io/claria
И кейс, на минуточку, про дизайн и контент.

Короче, вы что-то задизайнили, а потом запускаете зрителя в виар с датчиками Омницепта и следите за его реакциями, где его взгляд спотыкается, где его сердчишко трепыхается, где его зрачишки расширяются. Делаете выводы (не без помощи ИИ, куда ж без него) и переделываете продукт.
Никаких вам "мне что-то не нравится" или "а можно зеленцы звездануть(С)", ИИ все записал и сказал, что и где переделать.

Посмотрите внимательно ролик, он очень прикольный.

На сайте Claria так и написано: мы измеряем:

• Heart Rate

• Pupil Dilation

• Eye Vector

• Cognitive Load

Эти биосигналы, преобразованные в простые для понимания датасеты, могут быть использованы профессионалами в области дизайна и маркетинга, так как это аналитическая обратная связь, СВОБОДНАЯ от предубеждений пользователей или внешних влияний (тут хочется написать влияний инфлюенсеров [цифровых])

Parsed into easy-to-understand datasets, these biosignal readings give design and marketing professionals solid, analytical feedback, free of user preconceptions or external influences.

Каково?

Сдается мне киношникам пора закупать шлемами и ну мерить реакции зрителя. На стадии превиза. Чтобы передвинуть камеру, переставить свет, перепилить локацию, ну и, конечно (как мы любим) переписать сценарий. И не на основе окриков режиссера, а с использованием "аналитической обратной связи, свободной от предубеждений пользователей или внешних влияний".
И тут продюсеры такие радостно: "Ну, за режиссеров!".

Спасибо @CGIT_Vines за наводку.
This media is not supported in your browser
VIEW IN TELEGRAM