Метаверсище и ИИще
53.5K subscribers
6.78K photos
5.81K videos
50 files
7.98K links
Это не новости, это персональный экспертный взгляд на то, как развивается индустрия ИИ, графики, метаверса, крипты, нейротехнологий и в каком направлении катится все это безобразие.
Для связи: @SergTsyp
Download Telegram
FaceSwapper (см ниже)
А вот вам пример идеальной упаковки ИИ-продукта.
FaceSwapper от Ивана Бойко
В отличие от многочисленных говн и палок, предлагающих запустит гугль-коллаб или скачать код, тут все продумано до мелочей.
Берешь одно фото с лицом и заменяешь другим лицом с другого фото.
Я, как в анекдоте, про засунуть рельсу в соломорезку, тут же присунул в сервис фото с двумя лицами, так он, мерзавец, предложил мне варианты, как над ними поиздеваться, причем интуитивно безупречно.
Также в отличие от торфа и веток, тут совершенно неожиданное разрешение и потрясающее качество для нейронки. И скорость.
Как пишет сам Ваня, "Как мы будем использовать? Для дизайна. Стоковая фотография часто на 90% подходит, но что-то не то: типаж не тот, лицо приевшееся (думаю, вы узнаете топовые фотографии Ансплеша как родных), смотрит не туда, улыбается не по делу. Так что ждите много разных интересных применений, а пока можно попробовать. Все совсем бесплатно и без регистраций, хотя один сервак стоит $58к. "
Ваня в мае рассказывал у меня, насколько большой спрос есть на свежие лица и как устроен рынок торговли фактурой. Было безумно интересно.
Сам я срочно зарегился и поигрался как ребенок. Попытался сломать - получил новый фан с Ильюхой Самохваловым. Зацените черно-белый, старо-новый исходничек.
Если брать одно лицо, то иногда эффект пугающий, сквозь одно лицо, проступает другое, а мозг мигом дорисовывает смыслы в голове.
Сразу масса идей - интересно посмотреть, что будет если продолжать рекурсивно накладывать одно и тоже лицо на только что полученный результат. Куда уведут ИИ-смыслы?
Мне кажется, можно прям сейчас налить и выпить не чокаясь, за вот этих вот ребят, которые снимают лица на обложки разногламурных журналов, гоняясь за свежими лицами и требуя очередной экспедиции в бразилию за новой фактурой.
Причем задача теперь может быть поставлена так: на обложку нужен Филипп Кирокоров, в чертах которого читается Николай Басков, но чтобы это не был Филипп Киркоров и чтобы он не мог нас засудить за использование его фото. Имена и фамилии вымышленные и придуманы ИИ.
Го тестить.
И еще раз, это пример не технологического прорыва, а идеального считывания потребности и упаковки в сервис.
Кто в курсе про Product Hunt - поддайте там жару за продукт, он там бьется с палками и ветками других проектов.
https://icons8.com/swapper

https://www.producthunt.com/posts/face-swapper
Про индейцев и ковбойцев.

Вот приплыл Обобщенный Колумб в Абстрактную Америку и обнаружил, что за стеклянные бусы, можно выручить пушнины да золотишка разнага.
Офигел, но виду не подал.
Выгреб все бусы, что были и впарил аборигенам.
Причем он не спрашивал у них: ребят, это ж всего лишь бусы, это ничего по сути, это тлен и стекляшки.
Есть спрос - есть предложение.
Ну и конечно, затарившись золотом да мехами, он вернулся домой и сделал что?
Правильно затарился бусами и ну гнать в Обобщенную Америку, ибо там можно делать золото из стекла.

А теперь давайте перепроектируем 15-й век на наш криптометаверс 2021 4.0.

Вот есть криптаны, которые покупают джыпеги за ацкия тыщи долларов (тут есть когнитивная ловушка, они покупают за крипту, а мы переводим это в доллары для СМИ, но об этом отдельный пост).
Итак, вот скупают они бусы-джыпеги в обмен на эфиры-шмефиры. Им нравиццо. Пойдут к сородичам и обменяют бусы-джипеги на другие-бусы с доплатой. У них свои ценности. Свой рынок. Свой мир. Свои боги.

Обобщенный Колумб же не орал на усредненных индейцев - что вы делаете люди, это ж говно и бусы! А в Европе не хлестались в дебатах о бессмысленности ношения бус.

А почему сейчас все так разорались?!

Мы же находимся РОВНО в такой ситуации. Есть Фиатный Старый Свет и есть Новая Крипто Америка, которую недавно открыли. И у криптоаборигенов свои боги и причуды.
И смышленые Колумбы вовсю торгуют бусами-джипегами. Только почему-то весь старый фиатный свет рвет на пуканы.

Оставьте криптанов в покое, у них свои причуды, у вас свои джипеги. Кожаный мешок эволюционно никак не поменялся за 500 лет. Слишком малый срок. Бусы, четки, символы веры биологически закреплены в эволюции, судя по Сапольскому. И торговля смыслами никогда не прекратится.

Скоро придет индустриализация и железные дороги - и конец вашей смешной обменной нфт-торговле. Естественным путем. И там будут совсем другие механики, о которых имеет смысл поразмышлять уже сейчас. Что мы тут и делаем.
Forwarded from эйай ньюз
🔥Генерация изображений выходит на новый уровень: GLIDE

GLIDE - это закономерное развитие модели DALL-E от OpenAI. Только теперь вместо GAN-ов, архитектура GLIDE основана на diffussion denoising моделях, о которых у меня уже было несколько постов (тык1, тык2, тык3).

GLIDE умеет генерировать изображения как по текстовому описанию с нуля, так и дополнять существующие. Поразительно, как моделька подстраивается под стиль и освещение во входной картинке, когда нужно дорисовать новый объект.

Архитектура состоит из двух моделей, первая (3.5 млрд параметров) генерит 64×64 картинку по текстовой строке, а вторая (1.5 млрд параметров) берет входной текст и картинку 64×64 и апскейлит её до 256×256. Видимо, так было проще тренировать.

GLIDE, в отличие от DALL-E, не использует CLIP классификатор и не требует ре-ранкинга результатов для увеличения их схожести со входным текстом. И, конечно, GLIDE бьёт DALL-E на всех бенчмарках.

На GPU генерация 256x256 картинки занимает меньше минуты.

Arxiv >> Код на GitHub >> Колаб
За счастье.

Тут Костя @netylyov сотоварищи запилил вот такой проект:

Happyō - это социальная видео платформа, которая помогает людям почувствовать себя счастливее, объединяя их через простые действия в реальной жизни.

Примечательно, что выруливание на финальный продукт было интересным и долгим, от аватаров и ИИ-фитнеса, до понимания того, что творится в голове пользователя и что делает его, нет, не счастливым, это было бы экзистенциально, но чуть более счастливым, чем обычно.

Если интересно, поглядите на проект, ну может подгазуйте на продакт-ханте - я Костю знаю лично, это не продакт плейсмент, это дружба и поддержка.
Ссылка - https://www.producthunt.com/posts/happyo
ИИ-невербалка.
Продолжая тему счастья и обмена эмоциями.

Смышленые ребята из USC Viterbi School of Engineering проанализировали ту часть невербалки, которая отвечает за прикосновения и частично за жесты.
И собрали датасет с различными типами тактильного взаимодействия, измерив по дороге точки и силу касаний участников при выражении эмоций собеседникам. Потом они разложили жесты на разные классы, такие как выражение благодарности, счастья, спокойствия, печали, знаки внимания и любви.
(Позитивные ребята - не стали, как все, лезть в агрессию и страхи - этим у нас камеры наблюдения занимаются).

А дальше, внимание, эти красавцы сделали некий браслет с восемью точками касания (акторы), через которую стали передавать кожаным участниками вышеупомянутые и расклассифицированные сигналы.

Ишовыдумаете? Кожаные распознали правильные эмоции в 80% случаев по сравнению с живым невербальным общением. С том смысле, что человек по жизни и сам не всегда точно распознает все эти прикосновения, а тут попадание составило аж 80% от кожаной точности.

Короче, исследование доказывает, что социальные взаимодействия и эмоции, передаваемые через личные прикосновения, могут быть переданы дистанционно.

А следующим шагом смышленых ребят станет настройка алгоритмов для создания более тонкого ощущения виртуального прикосновения для повышения точности.

И тут сейчас конечно прибегут гусары, алчущие дистанционного секса, а теперь еще и с невербалочкой. Ну а мы подумаем, что метаверсищще обрастает новыми возможностями, с которыми, говоря по моде, иммерсивность, выходит за рамки зрительно-акустического восприятия. И которые пробираются на на довольно тонкие психические слои. (Вы же все уже прочитали про первый случай харасмента в метаверсе от Меты [если нет, дайте знать] и смешные workaround типа "а шож режим невидимки не включила").

И пока до "иголочки" (по выражению Алексей Савченко) от Илона Маска, то есть двунапраленных нейроинтерфейсов еще далеко, вот такие вот ИИ-кейсы будут удивлять нас тем, насколько легко приподвзломать кожаного мешочка. Датасет, классификация, обратная связь. Все как у людей.

Всех обнял удаленно, чуете?
https://techxplore.com/news/2021-12-haptic-device-emotion-accuracy-human.html
В начале было слово, а потом 3Д.
Ну что, ИИ пришел за трехмерщиками.. хочет начать с моделлеров.
Если за композеров и ротоскоперов рука бойца бухать устала, не чокаясь, то трехмерщики ходили типа неприкосновенные.
Но ничего Text2Mesh идет за вами. Clip прикрутили к 3Д.
Как следует из названия, в начале было слово, а потом ИИ родил Меш - точно также, как вы играли с ruDali и всеми генераторами картинок по текстовому вводу, теперь ИИ генерит трехмерную цветную сетку в соответствии с вашими отсыревшими фантазиями. Вводимыми тектом.
Как вам "верблюд из кирпичей" на картинке поста?
В общем сидят режиссер со сценаристом и такие: давай ИИ - вот тут верблюд из кирпичей стоит, а вокруг него сто тысяч наложниц танцуют в честь каменного гостя... ой, стой, стой, горшочек не вари!!
Позовите моделлера, если далеко не ушел.
Шутки шутками, а вот 3Д-стоки типа Турбосквида, дальновидно купленного Шаттерстоком, щас напряглись. Это ж сколько генеративного гуано может хлынуть в базы трехмерных моделей. Сидишь, наговариваешь, а денежки идут.
Но с моей точки зрения такой генератив (смотрите примеры по ссылке, их есть) можете полететь в нфт. И хорошо полететь, первые 24 часа, может даже 48. Потом тренд (которого нет) помрет и надо будет искать новый.
Про гендерные оговорки ИИ вынесу в след пост, уж больно забавно.
https://threedle.github.io/text2mesh/
А если сходить в пдф (чего никто никогда не делает), то можно углядеть, как авторы извиняются за сексизм и предвзятость ихнего ИИ. Хотя по-русски звучит смешно: "Если взять на вход картинку с мужиком (ИИ и так умеет) и обозвать его медсестрой (a nurse), то получим женские формы".
This media is not supported in your browser
VIEW IN TELEGRAM
Верблюд из кирпичей. В какое нфт выкладывать?
Расчехляем Дипфейки...
This media is not supported in your browser
VIEW IN TELEGRAM
Ну, за персонажников.

Как я уже писал постом выше, ИИ пришел за трехмерщиками.

И это вам не просто красивые картинки от СтайлГана и прочих "этих людей не существует".
Это реконструкция трехмерной сетки и нейрорендеринг ея же.
Вместо того, чтобы моделить вот эти вот все лица красивые лица, можно попросить ИИ сгенерить их вместе с сетками.
Нвидия и Стенфорд приручили StyleGAN2 и другие генераторы, чтобы не только считать картинки с разных ракурсов (как мы тут недавно восторгались), а восстанавливать по дороге трехмерную сетку. Поглядите в статью, там котиков конкретно обмешили.

Еще немного и можно будет переселяться в метаверсину, а вопрос с аватарами будет решен с помощью ИИ и нейрорендеринга. Пока движки переобуваются и пишут пресс-релизы.

Видео выше работает в реалтайме.
Зацените, как они следят за вами...

P.S. Отдельно доставило про Demomonstration. Нвидия шутники...
https://matthew-a-chan.github.io/EG3D/
И как тебе такое, Илон Маск?! Фото или рендер?
И хотя росинтернет уже взорал заголовками типа "Концерн «Алмаз-Антей» показал первые фото своего электро-автомобиля" сдается мне, что это рендер.
И я не то, чтобы против ответа Илону Маску от Димона Рогозина, я против вот таких вот пресс-релизов и мегастранных вбросов.
https://autoreview.ru/news/oboronnyy-koncern-almaz-antey-anonsiroval-krossover

"В пике силовая установка кроссовера сможет развивать 824 Нм крутящего момента, благодаря чему автомобиль будет способен разгоняться с места до 60 км/ч за 2,7 секунды. Максимальная скорость составит 197 км в час. Без подзарядки батарей электромобиль сможет проехать до 463 километров. Объем багажного отделения составит 610 литров."

СМИ уже возопили (даже уважаемый рбк) "Новый российский кроссовер: быстрее, чем Tesla (фото и подробности)"

А вот эти вот скрепные 60км/ч - это зачем? Национальная самоидентификация? Почему не версты/мгновения тогда?

Далее: вот этот вот руль от шкоды - это зачем?

Ну и самое главное: а зачем выпускать пресс-релиз и НЕ показывать автомобиль? Вот этот вот стыдливый нетофото-неторендер левой фары - это что?

Я не поленился, погуглил, сразу нашел эскизы и то, что в его разработке участвовал санкт-петербургский политех.

Эскизы машины также есть в патентной онлайн-базе. В основе кроссовера лежит платформа Neva: ее макетный образец был показан еще в августе на выставке Армия-2021, хотя это сугубо «гражданская» разработка. Заявлено, что платформа спроектирована входящим в концерн Алмаз-Антей Обуховским заводом, который занимается изготовлением командных пунктов для ракетных войск. Тех самых C-300.

В общем ниже самая пожалуй подробная и вменяемая ссылка на autoreview - там и про эскизы и про шкоду и про остальное.

Поглядите, напишите что думаете, я-то тот еще автолюбитель, езжу на хонде 1999 года и понимаю только в пресс-релизах. Которые могут вот так вот обосрать любой проект.
И - Инфографика. Отдельное искусство.
ВВП по странам.
США и Китай - 42% мирового ВВП.
Практически разбиение по Вороному.
Метавселенная по Маску (и Дорси).

Маск, как обычно, красавелищще.

Дал шикарное интервью Babilon Bee. Обо всем.

Для начала унизил Виар, как способ захаживать в метаверс:
«Конечно, вы можете поставить себе телевизор на нос, однако неудобно постоянно держать эту штуку привязанной к голове».

Потом согласился с Грефом:
«Вы можете играть на своей приставке, вы можете проходить игру от первого лица и быстро двигаться, и при этом вас не укачает. Но если вы попытаетесь сделать это с очками виртуальной реальности, вас точно укачает».

Также он вспомнил, что в детстве ему говорили не сидеть слишком близко к экрану телевизора, так как это вредно для его зрения, а обитать в метавселенной означает долго носить очки AR или VR.

Альтернативой телевизору на носу он считает (в далекой перспективе) развитие Нейралинка и хаживание в метаверс через него.

Он кстати, заметил, что мир, возможно, уже сейчас находится в «метавселенной». Точно поглядывает в мою ленту.

Также он саркастично разнес метаверс-истерику и Web 3.0 хайп. Сказав, что он на такую байду не купится.

Тут уместно вспомнить, как бывший главный Твиттор - Джек Дорси - неделю назад разнес концепцию Web 3.0, заявив, что все эти влажные мечты о децентрализации интернет (и прочий хайп) останутся под контролем олигархов "between a and z", прозрачно намекнув на фонд a16z, Марка Андриссена и его дружков-инвесторов.

"Вы не владеете web3. Им владеют венчурные капиталисты и их партнеры. Это никогда не ускользнет от них. В конечном итоге это (web3) всего лишь централизованная организация с другим названием. Знайте, во что вы ввязываетесь"

Маск, пылко поддержал Дорси:
"Кто нибудь видел web3? Никак не могу его найти”. На что Дорси ответил “"он где-то между A и Z".

На итоге Марк Андриссен заблокировал Джека Дорси в твиттере. А Дорси в ответ отлично пошутил, что теперь он "официально забанен в web3"

Дивная Санта-Барбара.

Возвращаясь к Интервью, Маск умыл местных сенаторов, лающих на слона, заявив, что он платит Самый Большой Налог в Америке, на который они, собственно и живут. В этом году он заплатит более $11 млрд налогов.

Ну и журнал TIME назвал Илона Маска «Человеком года».

Красавчик, чо.
https://youtu.be/jvGnw1sHh9M
👍1
С виртуальной одежкой разобрались, поехали разбираться с виртуальным транспортом. Jadu Hoverboards - это NFT, позволяющие вашим аватарам летать в Метавселенной.

Пока вы тут рядитесь про крипту и нфт, реальные пацаны просто берут и делают. Точнее собирают ровные деньги.
Все, что вы хотели знать про то, как устроен мир накануне 2022:
Крипто-стартап Jadu, который заработал миллионы долларов на продаже пикселированных реактивных ранцев и ховербордов в НФТ, получил венчурное финансирование в размере 7 миллионов долларов от General Catalyst и дополнительное финансирование от Coinbase Ventures, The VR Fund, Sound Ventures и Guy Oseary, среди прочих.

В выходные компания продала 6 666 ховербордов NFT за 4,4 миллиона долларов в эфирах.

А дальше время откровений:

"Мы можем доить людей прямо сейчас, поскольку интерес достаточно велик, и если мы хотим, мы можем сказать, что выпускаем аватар и we’re going to do like 1 ETH mints, и мы, вероятно, сможем заработать 20-30 миллионов долларов"