Метаверсище и ИИще
53.4K subscribers
6.76K photos
5.75K videos
50 files
7.92K links
Это не новости, это персональный экспертный взгляд на то, как развивается индустрия ИИ, графики, метаверса, крипты, нейротехнологий и в каком направлении катится все это безобразие.
Для связи: @SergTsyp
Download Telegram
#дедушкапсих зажигает на открытии CG EVENT METAVERSE, причем в реальном времени, с анимацией и аватарами. Линзы от Снапа - плазмище!
Максон купил Zbrush.

А ведь когда-то Автодеск купил MudBox...

А в 3Dcoat задумались...

https://pixologic.com/announcement/
This media is not supported in your browser
VIEW IN TELEGRAM
Ну что, за мокап!
Не чокаясь.
За шлемы, датчики, костюмы и вот это вот всё...
Нвидия и университет Торонто предлагают выбросить это: "no head mounted displays, no expensive studio, no motion capture equipment"
Только видео.
Raw video of us - как толкует нам автор видео.

Если поглядеть, то автор тоже проникся идеей обметавесификации всего человечества.

Ибо, чтобы присунуть кожаного мешка в омниверс, нужно лишь видео с кожаным.

Они решили проблему проскальзывания ног, соединив кинематику и физическую симуляцию и теперь мокап нейронкой выглядит совсем уж вызывающе.

Так что мой тезис о том, что единый и всемогущий метаверс скоро пополнится нашими цифровыми копиями с красивой (у кого есть рейтинги) трехмерной оболочкой вполне себе реализуется. Ибо камер наблюдения вокруг полно, осталось вооружить их такими нейронками с pose estimation - и вот уже наши распознанные двойники ходят по копиям облидаренных городов.




https://www.youtube.com/watch?v=MrKlPvWvQ2Q
This media is not supported in your browser
VIEW IN TELEGRAM
Кстати, если вы слегка ошарашены новостью о том, что Максон купил Зебру, то Максон уже давно возделывает эту поляну.
Не так давно они прикупили мобильный апп для иПада под названием Forger. Это тоже скульптинг.
А теперь он включен в подписку Maxon One или бесплатен для трех файлов. Подписка на год - $14.99.
Его регулярно сравнивают с Nomad.

Интересно, как Максон обойдется с интерфейсом Зебры?
This media is not supported in your browser
VIEW IN TELEGRAM
Ну за матепайнтеров, пейзажистов и художников по фонам.
Нвидия, что ты делаешь прекрати.
Гауган превращается в Поегана!
Который реально пугает.
В общем они там перемножают модальности, чтобы еще точнее попадать в прокрустово ложе дискриминатора.
И попадают!
Гляньте, красота какая, ждем релиз нормального интерфейса, а не позиксюай от Гаугана в духе ос/2.
А не завести ли мне Инсту?
Типа "ИИ путешествует"...
https://deepimagination.cc/PoE-GAN/
Метавёрсненько...
Автодеск зарелизил новый Unreal Live Link for Maya

Грубо (очень грубо) говоря, у Майя теперь есть новый Вьюпорт - и это Unreal Engine, как вы понимаете.
Для тех, кто не смог побороть страх, ужас, говно и палки при заныривании в UE из Майя - это вариант.
Для тех, кому нужна вся мощь Майи в настройке персонажей - это вариант.
Теперь вы можете, как угодно (ну почти) извращаться и издеваться над персонажами в Майя - а в параллельно открытом UE все это будет отображаться нарядно и в реалтайме.

Поддержка скелетов и блендшейпов, камер и источников света и пр.
Помнится лет девять назад я гадал на трехмерной гуще кто кого сборет? Движки сожрут традиционные трехмерки, запилив себе нужный функционал по анимации и моделингу, или Maya и остальные DCC запилят себе сверхзвуковой вьюпорт.
Похоже решили жить дружно, до времени.
Анимируем в Майя, превизим и подрендериваем в UE.
(И тут Блендер из детской - а у меня есть Иви!!).
https://www.youtube.com/playlist?list=PL8hZ6hQCGHMWtAxA5TQAjgeWmZ9MeVRtF
FaceSwapper (см ниже)
А вот вам пример идеальной упаковки ИИ-продукта.
FaceSwapper от Ивана Бойко
В отличие от многочисленных говн и палок, предлагающих запустит гугль-коллаб или скачать код, тут все продумано до мелочей.
Берешь одно фото с лицом и заменяешь другим лицом с другого фото.
Я, как в анекдоте, про засунуть рельсу в соломорезку, тут же присунул в сервис фото с двумя лицами, так он, мерзавец, предложил мне варианты, как над ними поиздеваться, причем интуитивно безупречно.
Также в отличие от торфа и веток, тут совершенно неожиданное разрешение и потрясающее качество для нейронки. И скорость.
Как пишет сам Ваня, "Как мы будем использовать? Для дизайна. Стоковая фотография часто на 90% подходит, но что-то не то: типаж не тот, лицо приевшееся (думаю, вы узнаете топовые фотографии Ансплеша как родных), смотрит не туда, улыбается не по делу. Так что ждите много разных интересных применений, а пока можно попробовать. Все совсем бесплатно и без регистраций, хотя один сервак стоит $58к. "
Ваня в мае рассказывал у меня, насколько большой спрос есть на свежие лица и как устроен рынок торговли фактурой. Было безумно интересно.
Сам я срочно зарегился и поигрался как ребенок. Попытался сломать - получил новый фан с Ильюхой Самохваловым. Зацените черно-белый, старо-новый исходничек.
Если брать одно лицо, то иногда эффект пугающий, сквозь одно лицо, проступает другое, а мозг мигом дорисовывает смыслы в голове.
Сразу масса идей - интересно посмотреть, что будет если продолжать рекурсивно накладывать одно и тоже лицо на только что полученный результат. Куда уведут ИИ-смыслы?
Мне кажется, можно прям сейчас налить и выпить не чокаясь, за вот этих вот ребят, которые снимают лица на обложки разногламурных журналов, гоняясь за свежими лицами и требуя очередной экспедиции в бразилию за новой фактурой.
Причем задача теперь может быть поставлена так: на обложку нужен Филипп Кирокоров, в чертах которого читается Николай Басков, но чтобы это не был Филипп Киркоров и чтобы он не мог нас засудить за использование его фото. Имена и фамилии вымышленные и придуманы ИИ.
Го тестить.
И еще раз, это пример не технологического прорыва, а идеального считывания потребности и упаковки в сервис.
Кто в курсе про Product Hunt - поддайте там жару за продукт, он там бьется с палками и ветками других проектов.
https://icons8.com/swapper

https://www.producthunt.com/posts/face-swapper
Про индейцев и ковбойцев.

Вот приплыл Обобщенный Колумб в Абстрактную Америку и обнаружил, что за стеклянные бусы, можно выручить пушнины да золотишка разнага.
Офигел, но виду не подал.
Выгреб все бусы, что были и впарил аборигенам.
Причем он не спрашивал у них: ребят, это ж всего лишь бусы, это ничего по сути, это тлен и стекляшки.
Есть спрос - есть предложение.
Ну и конечно, затарившись золотом да мехами, он вернулся домой и сделал что?
Правильно затарился бусами и ну гнать в Обобщенную Америку, ибо там можно делать золото из стекла.

А теперь давайте перепроектируем 15-й век на наш криптометаверс 2021 4.0.

Вот есть криптаны, которые покупают джыпеги за ацкия тыщи долларов (тут есть когнитивная ловушка, они покупают за крипту, а мы переводим это в доллары для СМИ, но об этом отдельный пост).
Итак, вот скупают они бусы-джыпеги в обмен на эфиры-шмефиры. Им нравиццо. Пойдут к сородичам и обменяют бусы-джипеги на другие-бусы с доплатой. У них свои ценности. Свой рынок. Свой мир. Свои боги.

Обобщенный Колумб же не орал на усредненных индейцев - что вы делаете люди, это ж говно и бусы! А в Европе не хлестались в дебатах о бессмысленности ношения бус.

А почему сейчас все так разорались?!

Мы же находимся РОВНО в такой ситуации. Есть Фиатный Старый Свет и есть Новая Крипто Америка, которую недавно открыли. И у криптоаборигенов свои боги и причуды.
И смышленые Колумбы вовсю торгуют бусами-джипегами. Только почему-то весь старый фиатный свет рвет на пуканы.

Оставьте криптанов в покое, у них свои причуды, у вас свои джипеги. Кожаный мешок эволюционно никак не поменялся за 500 лет. Слишком малый срок. Бусы, четки, символы веры биологически закреплены в эволюции, судя по Сапольскому. И торговля смыслами никогда не прекратится.

Скоро придет индустриализация и железные дороги - и конец вашей смешной обменной нфт-торговле. Естественным путем. И там будут совсем другие механики, о которых имеет смысл поразмышлять уже сейчас. Что мы тут и делаем.
Forwarded from эйай ньюз
🔥Генерация изображений выходит на новый уровень: GLIDE

GLIDE - это закономерное развитие модели DALL-E от OpenAI. Только теперь вместо GAN-ов, архитектура GLIDE основана на diffussion denoising моделях, о которых у меня уже было несколько постов (тык1, тык2, тык3).

GLIDE умеет генерировать изображения как по текстовому описанию с нуля, так и дополнять существующие. Поразительно, как моделька подстраивается под стиль и освещение во входной картинке, когда нужно дорисовать новый объект.

Архитектура состоит из двух моделей, первая (3.5 млрд параметров) генерит 64×64 картинку по текстовой строке, а вторая (1.5 млрд параметров) берет входной текст и картинку 64×64 и апскейлит её до 256×256. Видимо, так было проще тренировать.

GLIDE, в отличие от DALL-E, не использует CLIP классификатор и не требует ре-ранкинга результатов для увеличения их схожести со входным текстом. И, конечно, GLIDE бьёт DALL-E на всех бенчмарках.

На GPU генерация 256x256 картинки занимает меньше минуты.

Arxiv >> Код на GitHub >> Колаб
За счастье.

Тут Костя @netylyov сотоварищи запилил вот такой проект:

Happyō - это социальная видео платформа, которая помогает людям почувствовать себя счастливее, объединяя их через простые действия в реальной жизни.

Примечательно, что выруливание на финальный продукт было интересным и долгим, от аватаров и ИИ-фитнеса, до понимания того, что творится в голове пользователя и что делает его, нет, не счастливым, это было бы экзистенциально, но чуть более счастливым, чем обычно.

Если интересно, поглядите на проект, ну может подгазуйте на продакт-ханте - я Костю знаю лично, это не продакт плейсмент, это дружба и поддержка.
Ссылка - https://www.producthunt.com/posts/happyo
ИИ-невербалка.
Продолжая тему счастья и обмена эмоциями.

Смышленые ребята из USC Viterbi School of Engineering проанализировали ту часть невербалки, которая отвечает за прикосновения и частично за жесты.
И собрали датасет с различными типами тактильного взаимодействия, измерив по дороге точки и силу касаний участников при выражении эмоций собеседникам. Потом они разложили жесты на разные классы, такие как выражение благодарности, счастья, спокойствия, печали, знаки внимания и любви.
(Позитивные ребята - не стали, как все, лезть в агрессию и страхи - этим у нас камеры наблюдения занимаются).

А дальше, внимание, эти красавцы сделали некий браслет с восемью точками касания (акторы), через которую стали передавать кожаным участниками вышеупомянутые и расклассифицированные сигналы.

Ишовыдумаете? Кожаные распознали правильные эмоции в 80% случаев по сравнению с живым невербальным общением. С том смысле, что человек по жизни и сам не всегда точно распознает все эти прикосновения, а тут попадание составило аж 80% от кожаной точности.

Короче, исследование доказывает, что социальные взаимодействия и эмоции, передаваемые через личные прикосновения, могут быть переданы дистанционно.

А следующим шагом смышленых ребят станет настройка алгоритмов для создания более тонкого ощущения виртуального прикосновения для повышения точности.

И тут сейчас конечно прибегут гусары, алчущие дистанционного секса, а теперь еще и с невербалочкой. Ну а мы подумаем, что метаверсищще обрастает новыми возможностями, с которыми, говоря по моде, иммерсивность, выходит за рамки зрительно-акустического восприятия. И которые пробираются на на довольно тонкие психические слои. (Вы же все уже прочитали про первый случай харасмента в метаверсе от Меты [если нет, дайте знать] и смешные workaround типа "а шож режим невидимки не включила").

И пока до "иголочки" (по выражению Алексей Савченко) от Илона Маска, то есть двунапраленных нейроинтерфейсов еще далеко, вот такие вот ИИ-кейсы будут удивлять нас тем, насколько легко приподвзломать кожаного мешочка. Датасет, классификация, обратная связь. Все как у людей.

Всех обнял удаленно, чуете?
https://techxplore.com/news/2021-12-haptic-device-emotion-accuracy-human.html
В начале было слово, а потом 3Д.
Ну что, ИИ пришел за трехмерщиками.. хочет начать с моделлеров.
Если за композеров и ротоскоперов рука бойца бухать устала, не чокаясь, то трехмерщики ходили типа неприкосновенные.
Но ничего Text2Mesh идет за вами. Clip прикрутили к 3Д.
Как следует из названия, в начале было слово, а потом ИИ родил Меш - точно также, как вы играли с ruDali и всеми генераторами картинок по текстовому вводу, теперь ИИ генерит трехмерную цветную сетку в соответствии с вашими отсыревшими фантазиями. Вводимыми тектом.
Как вам "верблюд из кирпичей" на картинке поста?
В общем сидят режиссер со сценаристом и такие: давай ИИ - вот тут верблюд из кирпичей стоит, а вокруг него сто тысяч наложниц танцуют в честь каменного гостя... ой, стой, стой, горшочек не вари!!
Позовите моделлера, если далеко не ушел.
Шутки шутками, а вот 3Д-стоки типа Турбосквида, дальновидно купленного Шаттерстоком, щас напряглись. Это ж сколько генеративного гуано может хлынуть в базы трехмерных моделей. Сидишь, наговариваешь, а денежки идут.
Но с моей точки зрения такой генератив (смотрите примеры по ссылке, их есть) можете полететь в нфт. И хорошо полететь, первые 24 часа, может даже 48. Потом тренд (которого нет) помрет и надо будет искать новый.
Про гендерные оговорки ИИ вынесу в след пост, уж больно забавно.
https://threedle.github.io/text2mesh/
А если сходить в пдф (чего никто никогда не делает), то можно углядеть, как авторы извиняются за сексизм и предвзятость ихнего ИИ. Хотя по-русски звучит смешно: "Если взять на вход картинку с мужиком (ИИ и так умеет) и обозвать его медсестрой (a nurse), то получим женские формы".