Метаверсище и ИИще
53.4K subscribers
6.75K photos
5.74K videos
50 files
7.91K links
Это не новости, это персональный экспертный взгляд на то, как развивается индустрия ИИ, графики, метаверса, крипты, нейротехнологий и в каком направлении катится все это безобразие.
Для связи: @SergTsyp
Download Telegram
Коль скоро доклады про метаверс теперь убираются из программ конференций "по понятным причинам", предлагаю поискать замены термину.
У меня пока в лидерах ГДЕТАВЕРС. Максимально обезличенно и в где-то в далекой галактике.
CG EVENT GDETAVERSE... хмм.
Какие еще предложения?
👍15👎1
Открылась и бушует Nvidia GTC 2022, там прорва новостей. Их надо разбирать по отдельности.
А пока коротенечко про железо.
Выкатили 7 новых карт, но это не про RTX 40XX, а про серию A5X.
То есть про карты для ноутбуков (в основном). Таким образом, Нвидия продолжает развивать концепцию Studio (которую недавно Эппле немного сперла на презентации) и доставлять мощную графику не только в раб. станции, но и во все, что шевелится и носится с собой.
Десктопная модель RTX A5500 - это по сути GeForce RTX 3080 Ti с одним отличием: в RTX A5500 память GDDR6 с EEC, а в GeForce RTX 3080 Ti - память GDDR6X.
RTX A5500 основана на графическом процессоре GA102 с 10 240 ядрами CUDA.

Мобильная RTX A5500 основана на GPU GA103 с 7424 ядрами CUDA и 16 ГБ памяти GDDR6. Это как бы геймерская мобильная GeForce RTX 3080 Ti, только для целей мобильных рабочих станций, читай постпродакшена.

Про 40XX у меня есть утечки, но они пока сырые (мокрые?). Будут позже.

Но похоже, что в альтернативной метавселенной начинается борьба ускорителей для ИИ.
Нвидия анонсировала свою новую карту для AI-датацентров GH100
Под капотом.
Полная реализация GH100 имеет следующие характеристики:
• 4-нм технология. Еще раз 4 нанометра. Господи, храни тайвань.
• 8 GPCs, 72 TPCs (9 TPCs/GPC), 2 SMs/TPC, 144 SMs per full GPU
• 128 FP32 CUDA Cores per SM, 18432 FP32 CUDA Cores per full GPU
• 4 Fourth-Generation Tensor Cores per SM, 576 per full GPU
• 6 HBM3 or HBM2e stacks, 12 512-bit Memory Controllers
• 60MB L2 Cache
• Fourth-Generation NVLink and PCIe Gen 5
Там какие-то запредельно-космические пропускные способности по данным плюс NVLink, который обеспечивает скорость передачи данных в 900 либо 600 ГБ/с.

NVIDIA объявила, что ее вычислительные ядра включают в себя «Transformer Engine», который можно использовать для ускорения тех самых модных Трансформеров "до 6 раз" по сравнению с Ampere.

H100 в три раза быстрее, чем чип A100 предыдущего поколения в вычислениях на FP64, FP32 и на FP16, при этом он в шесть раз (!) быстрее в 8-битных вычислениях.

Нормально так разогнали.

А пока смотрим кинойт от Хуанга, там много всего. И да, традиционная кожаная курта, оцифрованная притом.
Про цифровую одежу и Омниверс Клауд в следующих выпусках.

Ссылки ниже
https://blogs.nvidia.com/blog/2022/03/22/ai-factories-hopper-h100-nvidia-ceo-jensen-huang/
👍14👎1
А вот реально интересная новость в разрезе метапризнанногоплохимверса. Я и раньше был, мягко говоря, непоклонником идеи о том, что путь в метаверс выстлан VR-устройствами. И что идея надеть на головы миллионов (если не миллиардов) телевизор с высокочастотной долбилкой не представляется мне ни полезной, ни реальной.
А вот прокачивать другие каналы восприятия метаверса – это может быть очень дальновидно. Но мышление линейно – и виар-то вот он, в продаже (был), давайте его прикручивать к голове. А до иголочки Илона Маска далековато, да и выглядит фантастично (и Рогозин недоволен).
Но взрослые смышленые ребята смотрят далеко. Snap Inc. на днях купили NextMind, компанию, которая занимается BCI, то есть нейроинтерфейсами для управления устройствами с помощью сигналов из мозга. У них есть прототипы за 400 долларов (тут надо сказать, что не только у них, и цена примерно такая же в среднем по больнице),
Прототип на сухих электродах (5 контактов) и конечно на ИИ (кто-то же должен расшифровывать всю дичь из кожаной головы).
С моей точки зрения, новость офигительная.
Во-первых, это Снап. Лидер в области комп зрения и ИИ.
Во-вторых, это Снап. Который торит дорогу в Метаверс через экраны смартфонов, а не через телевизоры на носу.
В-третьих, это пример заглядывания в далекое будущее, а не в переобувание игровых миров в мамкины метаверсы.
В-четвертых, это копание вглубь. Вмозг. А кто вмозг, того и мешок.
В следующих постах, про боль в метаверсе. Не вот эти вот страшные картинки с низкой пикселизацией. А про доставку реальной физиологической боли в Метаверс. Без виара притом.
https://www.theverge.com/2022/3/23/22991667/snap-buys-nextmind-brain-computer-interface-spectacles-ar-glasses

https://youtu.be/SMXfyZc_Gvg
👍11👎1🔥1
Двунаправленный мокап или метаболь для солидных господ.

H2L Technologies, японский стартап, поддерживаемый Sony, создал мета-браслет. Устройство позволит имитировать физиологические ощущения в виртуальном мире, передавая их в мир реальный с помощью браслета.
Браслет не просто сдавливает руку пневматикой, как в разработках запрещенной в россии организации, а именно воспроизводит некоторые ощущения (грубо говоря электротоком). И да, ваш мозг будет как-то реагировать.

В браслете используется электрическая симуляция мышц руки и имитации ощущений, таких как ущемление кожи, сдавливание мяча или удержание веса. Эми Тамаки, генеральный директор компании H2L, (справедливо) полагает, что виртуальное ощущение боли приведет к метаморфозе метавселенной ибо нарушается монополия визуального и аудиального каналов.

В раннем подростковом возрасте Эми Тамаки пережила близкий к смерти опыт из-за болезни сердца. Именно тогда в ней зародилась идея воспроизводить и соединять физические ощущения с компьютером.

К 2029 году она надеется "освободить людей от любых ограничений в плане пространства, тела и времени".

Ну а если подключить любимое мною ассетное мышление, то можно начинать думать про библиотеки ощущений. Пока тактильных. Ибо суть электросигналы.
https://in.mashable.com/tech/28984/this-japanese-startup-wants-you-to-feel-real-world-pain-in-the-metaverse
👍1👎1🔥1
А вот одна интересная новость с GTC 2022, про то, как Нвидия внедряется не только на макро, но и на микроуровень, проникая под кожу автономным роботам.
Nvidia представила Isaac Nova Orin, вычислительную и сенсорную архитектуру на базе аппаратного обеспечения Jetson AGX Orin. Nvidia утверждает, что Isaac Nova Orin поставляется со "всем вычислительным и сенсорным оборудованием, необходимым для проектирования, создания и тестирования автономности" автономных же мобильных роботов (AMR) - то есть роботов, которые могут понимать и перемещаться по окружающей среде без непосредственного контроля со стороны оператора.
Понятно, что рынок автономных роботов - это прям вперед в будущее, но поглядите, что умеет архитектура (читай софт+железо).
Isaac Nova Orin, объединяет два блока Jetson AGX Orin для обеспечения мощности до 550 TOPS.
Но Nvidia обращает внимание на другие возможности, такие как способность обрабатывать данные в режиме реального времени с шести камер, трех лидаров и восьми ультразвуковых датчиков AMR. Почему-то сразу вспомнился Терминатор.
Там уже "предварительно интегрирована поддержка управления программным обеспечением", а аппаратное обеспечение "откалибровано и протестировано для работы "из коробки". Isaac Nova Orin включает инструменты, необходимые для моделирования робота, а также программные модули, предназначенные для ускорения задач восприятия и навигации и составления карт окружения различных роботов.

В общем, мало того, что Нвидия подсаживает облака на свои GPU (а теперь и DPU, и AIPU), но и активно интегрируется в оконечные (edge) устройства и роботы, которые работают автономно.

А TPU теперь - это Terminator Processor Unit.
Робаты выросли и стали самостоятельными...
https://venturebeat.com/2022/03/22/nvidia-debuts-new-hardware-targeting-the-edge-including-isaac-nova-orin/
👍6🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
В новый GauGan 1.2 завезли вариации стилей.
Можно выбирать из 10 вариантов каждого готового стиля, что позволяет корректировать внешний вид изображения, сохраняя общую тему. Изображения и варианты стилей теперь также сохраняются в файлах проекта.
Интерфейс по-прежнему адовый, особенно для веб-апп. Ссылки ниже.
Но прошло уже почти 4 года, а то как это работает все еще взрывает мне мозг.
https://www.nvidia.com/en-us/studio/canvas/
Веб апп - http://gaugan.org/gaugan2/
История версий: http://www.cgchannel.com/2022/03/nvidias-free-canvas-app-turns-doodles-into-matte-paintings/
👍8👎1🔥1
И еще одно интересное наблюдение про Нвидия.
Похоже Хуанг таки добился своего.
Журналисты любили (и до сих пор любят) подколоть его в том, что на сцене ему не дают покоя лавры Джобса, когда речь идет о презентациях.
Я не был на презентациях Джобса, но видел Хуанга живьем пару раз.
Энергии от него прет нереально и непохоже, что он кого-то копирует.
А щас я посмотрел цифры просмотров позавчерашнего Киноута Хуанга и Peek Performance от Эппле 8 марта.
За полтора(!) дня киноут набрал столько же просмотров, сколько презентация Эппле за 2 недели. 7+ миллионов.
При том, что у Эппле 15М подписчиков и фанатская аудитория b2c, то есть потребители в чистом виде.
У Нвидии жалкие 700К подписчиков, но охват явно будет сильно шире. При том, что это не пользовательские устройства, а сложные технологии, не сильно понятные обладателю телефона за 1000 долларов.
Круто, что хайтек вызывает столько интереса не в узких кругах, как ранее, а инфлюенсит миллионы по всему миру.
👍6🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Ну и чтобы вы не думали, что автономные робаты это только Терминаторы и Дроны-убийцы...
Двойное назначение никто не отменял.

"А по вечерам я работаю в клубе".
👍15👎3
Я уже писал про нейрорендеринг и Nerf-ы тыщщу раз.
Это когда на вход серия фоток, а на выходе трехмерная сцена.
Нейрограмметрия, где вместо алгоритмов традиционной фотограмметрии - безумные нейросетки.
Поищите в ленте видос, где с помощью фоток Сан-Франциско, ребята создали трехмерную модель целого квартала и катаются по ней на нейромобиле.
Однако, цена велика - долго и дорого. По времени.
Было до сих пор.
Нвидия на этой неделе окончательно потеряла совесть со своей GTC 2022.
Взяли и выкатили Instant NeRF.
Ускорение в 1000 (прописью, втыщщу) раз!
Это как вообще?

Модель требует всего несколько секунд для обучения на нескольких десятках фотографий - плюс данные об углах обзора камер, с которых они были сделаны - и затем может визуализировать полученную 3D-сцену в течение десятков миллисекунд.

Представленный GTC на этой неделе, Instant NeRF может быть использован для создания аватаров или сцен для виртуальных миров, для захвата участников видеоконференций и их окружения в 3D, или для реконструкции сцен для цифровых 3D карт.
Для метаверса, в общем. В чистом виде.

Проводя параллель с ранними днями полароидных снимков, NVIDIA Research взяли культовую фотографию Энди Уорхола с полароидом и превратили его в 3D сцену с помощью Instant NeRF.

Нвидия, притормози, метаверс ещё не готов...
https://blogs.nvidia.com/blog/2022/03/25/instant-nerf-research-3d-ai
👍10
Forwarded from CGIT_Vines (Marvin Heemeyer)
This media is not supported in your browser
VIEW IN TELEGRAM
Я уже делал пост, как в Roblox стараются оживить игровых аватаров, добавляя им липсинк через нейронки. Теперь они пошли дальше и уже считывают в т.ч. эмоции с лица + липсинк. Пришлось попотеть, чтобы расчёты проводились без задержек даже на слабых машинах пользователей. Если интересно, что там под капотом, велкам по линку.
👍10
Помощь зала.
За последний год фб не сильно радовал своими закидонами. То внезапная пессимизация, то совершенно необъяснимая разница между весьма похожими постами. Невозможность аналитики и полное отсутствие статистики.
Но золотой запас в 5000 друзей, без ботов, нагонов и смма, заботливо добавленных ручками за 12 лет, не отпускал "на сторону".
Я стал дублировать все тут, в телеге.
Да я бы и щас не уходил (и не ухожу, причем принципиально останусь икстримистом), просто время немного переформатироваться. И начать что-то делать по-другому.
За сим вопросы и открытая дискуссия.
Что я собираюсь (возможно неправильно) сделать:
Есть сайт на вордпрессе. Сделаю поддомен blog. или metaverse.
Писать буду туда (картинки, ссылки, теги, всякакрасота)
Оттуда будет автопост в разное: фб, телега, вк, инсту, твиттор. Может куда-то еще?
Больше не готов париться над количеством просмотров, необходимостью писать фб-посты, а не постить ссылки на сайт и пр.

Вопросы к знающим:
- как лучше сделать?
- что установить на ВП, чтобы посты в телеге (и где-то еще) выглядели нативными?
- хорошие автопостеры?

Далее, рассылка.
- нужна ли, заморачиваться ли? Итоги недели?
- кто-то еще пользует RSS?
- что делать с подписантами? Есть база 6000 от конференции.

Далее, коменты.
В такой модели, если комментировать в десяти разных местах, то можно сразу отъехать в метаверс. Коменты в телеге - адъ.
- коменты на сайте? как-то винтажно...
- коменты в одном месте? в каком?

Далее, платформы.
Есть всякие дзены, медиумы и даже хабры. Если смысл дублировать туда? Я туда вообще никогда не глядел, и судя по коментариям под тамошними постами аудитория там огонь в отрицательной коннотации.

Про контент вынесу в отдельный пост.
Сейчас просто хочу понять, как в 2022 году сделать оптимально технически.
В идеале с прицелом в будущую монетизацию а ля донат или патреон, про которые умные люди мне давно говорят, но дедушка же рефлексирующий интеллигент...

Пишите советы и пожелания. Возможно я изобретаю велосипед и есть уже готовые решения.
Материала полно. Метаидей тоже. Пиши не хочу. Знать бы куда и как.
👍10
Всем привет!

Для тех, кто в Ереване

2 апреля в субботу я провожу первый воркшоп по теме:

«Как попасть на работу в стремительно взрывающуюся мировую крипто/блокчейн/web3 индустрию?»

Подходит для людей с самым разным бекграундом. Стоит $100.

Расскажите вашим друзьям, и кому вы думаете это сейчас будет актуально.

Детали тут: https://bit.ly/371JfAR
👎2
Метаверс депривация или метастартап.
Смотрю обзоры новомодных тактильных перчаток (Haptic gloves). От дивноназванных Manus Quantum Metaglove за 9 тысяч долларов до простецких, но не менее витиеватопоименованных SenseGlove Nova всего за 4 тыщщи.
Удивительно, насколько линейное мышление у супермегановастартаперов.
Визуальный канал - шлем.
Аудиальный - наушники.
Тактильный - тут начинается обвешивание кожаного мешка многочисленными устройствами для каждой вялой части его бренного тела. Перчатки, браслеты, носимые устройства.
С таким подходом метаверс-турист скоро будет вынужден одеваться в десятки-сотни разных устройств перед заныриванием в параллельную реальность. Но стартаперов пока не смущает количество устройств и самые нелинейные наверняка смотрят в сторону универсального гидрокостюма с датчиками и идеальным прилеганием. И тут, конечно, у дайверов есть фора, им не привыкать перед каждым погружением натягивать на себя гидрокостюм, мастырить на голову маску, влезать в ласты и совать в рот загубник.
Но спросите себя, а вы готовы каждый раз облачаться в такое? Вы готовы проводить в этом вот всём часы (может дни) ради погружения в метаверс?

Если уж на то пошло, то будет проще уложить метаверс-алкателя в депривационную камеру с умной жидкостью, которая будет снимать с него умопомрачительное количество параметров, а при дальнейшем развитии "ума" этой жидкости, еще и работать на ввод информации и ощущений в бренное тело. И никаких вот этих детских перчаток на 9 тыщ баксов.

"Аватар захочет двигаться!" взорут стартаперы. Так заставьте его мышцы сокращаться нужным образом, благо жидкость токопроводящая. А мозг нарисует нужную картинку движения.

Более того, на каждое "а видеть, а слышать, а чувствовать" можно будет предложить такой спектр ощущений, что никакие браслеты и рядом не будут плавать.

Ну просто, если вы собрались запаковать белкового туриста в броню из щлемов, перчаток и десятка громоздких доспехов, то может быть проще его уложить в умную депривационную камеру? Все равно он толком двигаться не сможет во всех этих обобщенных экзокольчугах..
А тут еще и здоровье можно поправить.

За сим вопрос, а Вачовски откуда это знали еще в прошлом веке? Служебный ход в метаверс?

П.С. Пост про то, что не надо плодить сущности, все уже есть под (кожаным) капотом, и у кого служебный интерфейс - у того и метатапки.

https://www.techradar.com/news/this-haptic-glove-lets-you-feel-the-virtual-reality-metaverse
https://www.youtube.com/watch?v=HxzdiZJPAts
👍4
​​Главный кандидат в гегемоны мира определил дорожную карту ИИ на 20 лет.
Как будет развиваться ИИ в Эру Больших Моделей.

Поскольку согласно многим расчетам Китай в ближайшие десятилетия по всем показателям превзойдет США (или, как минимум, приблизится к тому, чтобы превзойти), демократические страны столкнутся с ситуацией возникновения в мире авторитарной державы-гегемона.
О конкретике китайского плана превращения к 2050 в мирового гегемона я напишу в следующий раз. А сегодняшняя супер-новость - публикация Китаем дорожной карты развития ИИ на ближайшую пару десятилетий.
Ведь на то Китай и главный кандидат в мировые гегемоны, чтобы, не оглядываясь на США, отчеканить:
Наступила Эра Больших Моделей. Теперь ИИ будет развиваться вот так (цели, задачи, пути и способы решения, последствия и риски). Будет так, и никак иначе.

Большими моделями (БМ) в Китае называют Базисные модели (Foundation Models), о которых в августе прошлого года я написал пост с длинным названием «Гибель или взлет, что он нам несет – поворот к базисным моделям. Это революция в обучении машин, последствия которой пока непредставимы» (1).
А еще через месяц в посте «Почему Россия аутсайдер в ИИ» (2) я рискнул предположить, что одной из основных причин аутсайдерства России в ИИ является «разруха в головах», наилучшей иллюстрацией которой стало полное пренебрежение в медиаповестке к важнейшей для ИИ теме Базисных моделей.

Прошло полгода, и Китай показал, кто в мировой лавке хозяин.
Собрав грандиозный интеллектуальный пул из 100 китайских специалистов, работающих в Китайской академии ИИ-наук, в 8-и ведущих университетах Китая и США, в 5-и ведущих НИИ по ИИ Китая, США и Канады, в 5-и ИИ-лабораториях гигантов бизнеса Tencent, Huawei, ByteDance, Microsoft, JD, - за 6 месяцев была разработана дорожная карта развития ИИ в Эру Больших Моделей (200 страниц со списком литературы из 1637 ссылок).

Дорожная карта ведет разработчиков ИИ к решению 3х ключевых проблем современных ИИ.
1. Непереносимость моделей.
Модель, построенная для конкретной задачи и обученная в рамках конкретного прикладного сценария, неприменима в другом сценарии и уж тем более для другой задачи. Обучение модели всегда приходится начинать с нуля, что ведет к высокой стоимости обучения.
2. Недопустимо много ручной работы.
Нынешнее обучение модели в основном проводится по схеме “ручной работы", поскольку для настройки параметров требуется много ручной работы, требующей большого количества специалистов по ИИ.
3. Дефицит качественных данных.
Модельное обучение предполагает высокие стандарты качества данных, и наличие крупномасштабных маркированных данных. Недостаток таких данных в некоторых областях ограничивает применение технологий ИИ.

Помимо устранения 3х названных проблем на основе применения БМ, целью дорожной карты также является устранения главного риска таких моделей - любые их дефекты будут наследоваться всеми последующими моделями, что быстро распространится на все сообщество базисных моделей.

▶️ Обзор БM включает 4 части: Ресурсы, Модели, Ключевые технологии и Приложения.
▶️ Представлено 16 конкретных тем, связанных с БM:
-- Ресурсы: данные, знания, вычислительные системы;
-- Модели: языка, зрения, мультимодальная модель:
-- Ключевые технологии: рассуждение, интерпретация, надежность и безопасность, управление, оценка;
-- Приложения: диалог, генерация текста, машинный перевод и предсказание структуры белка.
▶️ В каждой теме обобщаются текущие исследования и предлагаются направления будущих исследований.

Вот как становятся гегемоном:
Будет так, - я сказал!!! (4)


1
2
3
4
#Китай #БазисныеМодели #ИИ
👍5👎1🔥1
Этшта?
Автодеск, первое апреля Завтра! Хорош так шутить!
ИИ сделал бы лучше, гоните прочь кожаных дизайнеров, это край!
Только я обчитался release notes для Maya 2023, как тут такое...
Верните акробатов с папиросами из 2004.
🔥5👍1
ИИ обидеть может каждый!
Но скажите честно, вы когда в первый раз поглядели на верхнюю картину, тоже подумали, что это тигра?

Зато теперь есть повод насмехаться над ИИ...

Хотя сами попадаете в ловушку оптических иллюзий.

Но ИИ мудрый, он все стерпит и пойдет дальше учиться...
👍7🔥1