Метаверсище и ИИще
53.6K subscribers
6.81K photos
5.83K videos
50 files
8.01K links
Это не новости, это персональный экспертный взгляд на то, как развивается индустрия ИИ, графики, метаверса, крипты, нейротехнологий и в каком направлении катится все это безобразие.
Для связи: @SergTsyp
Download Telegram
Nvidia выпустила DLSS Plugin for Unreal Engine 4.26.
Теперь не для каждой игры по отдельности, а целиком для движка.
https://developer.nvidia.com/dlss/unreal-engine-4.26-plugin
Для тех, кто сидел в танке, DLSS - Deep Learning Super Sampling - это такая хитрая штука, которая позволяет рендерить картинку с меньшим разрешением и качеством (соответственно быстрее) и разгонять ее до более высокого разрешения "на лету" той самой DLSS-нейросеткой. То есть юзер видит в игре большее разрешение и лучший антиалиасинг, чем те, что реально просчитываются. Как следствие, больше FPS.
Честно сказать, я до сих пор не понимаю, как они сделали это game-agnostic, то есть независящим от конкретной игры. Магия, не иначе.
И да, вся эта магия юзает ИИ-ядра под названием Tensor Cores, поэтому работает только на RTX-картах.
This media is not supported in your browser
VIEW IN TELEGRAM
А вот и первые тесты Мета-Людей от Эпика.

Хотите в 4K - шуруйте сюда: https://youtu.be/6xIAOj8gsRw

Хотите посмотреть скорость рендера - сюда: https://youtu.be/ZWaFELyBva8
Все-таки Маск - красавчик.
Пока правительства разных стран обкладывают друг друга твитами и санкциями, пока они же режут бюджеты с умным видом, этот чувак берет и делает.
Делает в масштабах планеты. Вы можете сколько угодно чморить его за популизм и надувание щек. За спекуляции и инсинуации.
Но, похоже, ему насрать. Он берет и делает. Сам. Пока все ищут в его поступках многая смыслы и заговоры, он просто делает. Одно за другим. Сам.
А хайп, за который его так любят прижучить диванные войска, генерится ими же. Автоматически.
А он хохочет.
Делает твиты и запускает космос курсы акций.
Постит хэштэги и вся планета следит за полетом битка.
Троллит кожаных мешков, отчаянно ищущих в его действиях свои же смешные проекции.
А потом вонзает $100 млн в решение проблемы глобального потепления.
Пока люди в костюмах смотрят в рот Грете Тунберг.
И когда вы начнете писать про разницу между капитализацией и доходами, подумайте, почему это вдруг вас потянуло это написать. Если все же решите написать, подумайте, может он просто очень красиво и открыто делает то, что другие делают молча и украдкой. Просто с улыбкой зеркалит кожаного мешка.
https://3dnews.ru/1032150/ilon-mask-vlogil-100-mln-v-konkurs-prizvanniy-nayti-realnoe-reshenie-problemi-globalnogo-potepleniya

Красавчик 100%
Отличный материал про взрослые дипфейки.
Очень любопытно послушать, что если подходить к делу серьезно, то 1 минута в fullHD генерится от 5 до 17 дней, то есть от 5 до 17 минут(!) на кадр. Что сравнимо с самыми тяжелыми кадрами на рендере.
Также интересно рассказано про подходы к свету и цвету.
И есть ощущение, что если подключить процессу взрослых композеров, то можно получить новые результаты и идеи.
Dmitry Vesto Staroverov, Konstantin Meerov, спасибо за хорошие вопросы. Мария Чмир, спасибо за интересные ответы.
Чтобы еще больше замотивировать на просмотр, запощу тайминг.
00:00​ - интро
00:34​ - что есть дипфейк
03:34​ - в чем отличия их технологии от общедоступных
07:06​ - о самом сложном этапе в работе с нейросетями
10:26​ - upscaling
11:52​ - Жорж Милославский
14:02​ - важность кастинга
15:00​ - ограничения нейросети
16:09​ - Безруков или нет?
16:30​ - сколько времени ушло на обучение
18:40​ - насколько сложный проект
20:07​ - постпродакшен
23:01​ - сегмент B2C
23:44​ - липсинк
24:28​ - генерация по минимальному набору данных
26:55​- этический аспект
27:30​ - детекция дипфейков
30:12​ - навыки для работы с нейросетями
32:53​ - порог входа
34:50​ - про видеокарты

Хорошего просмотра.
https://youtu.be/sRUr2bQi2Zs
Эпик продолжает троллить и пинать Эппле.

Только что подали антимонопольную жалобу в Европе после аналогичных жалоб в США и Австралии.

А Суини еще подбросил на вентилятор:

«На карту поставлено само будущее мобильных платформ. Потребители имеют право устанавливать приложения из источников по своему выбору, а разработчики имеют право конкурировать на справедливой торговой площадке. Мы не будем сидеть сложа руки и позволим Apple использовать свое доминирующее положение на платформе, чтобы контролировать то, что должно быть ровным цифровым игровым полем. Это плохо для потребителей, которые платят завышенные цены из-за полного отсутствия конкуренции среди магазинов и обработки платежей в приложениях. И это плохо для разработчиков, чьи средства к существованию часто зависят от полного усмотрения Apple в отношении того, кого разрешить на платформе iOS и на каких условиях».
https://applepro.news/protiv-apple-podana-antimonopolnaya-zhaloba-epic-games-v-evrope/
В общем Баттл Рояль продолжается.
Часок назад Эпик выложил видео-гайд для настраивания всех этих Мета-Тварей.
Использование всех элементов управления лицевым ригом. С объяснениями, какие из них хорошо работают вместе, а какие следует считать взаимоисключающими. Грозные брови, ацкия челюсти, мега-ноздри и вот это вот все.
Кривляйтесь на здоровье..

https://youtu.be/GEpH3o44_58
Соскучились по киберпанку?
А он тут, никуда не делся.
Вот вы, конечно смотрели кино, в котором дроны летают везде и своим шаловливыми конечностями творят разные безобразия.
Только они уже не в кино.
Они пошли в сад, собирать фрукты.
И это вам не черепашьи доставщики пиццы или робот Федор.
Это летающие ниньзя, которые "оснащены компьютерным зрением и искусственным интеллектом, который обнаруживает фрукты, определяет их тип, размер и спелость. Дрон имеет манипулятор для захвата и сбора фруктов. Кроме того, маленькие дроны могут выполнять и другие задачи, такие как обрезка(!) и прореживание фруктовых деревьев".

Израильтяне разработали запатентованную платформу под названием FAR (Flying Autonomous Robots), которая представляет собой комбинацию реальных летающих роботов, алгоритмов, ИИ и анализа данных.

Ну и понятно, что если эти твари могут делать обрезку фруктов на лету, то перепрограммированием их можно приспособить к .. (далее по вкусу, от несанкционированных митингов до газонов и кустов).
https://zen.yandex.ru/media/kiosksoft/drony-nauchilis-sobirat-frukty-v-sadah-6018ec748d30cb1780dcef7a
Пойду за дробовиком..
Ну, за дипфейки...
Англичане готовят охоту на дипфейки.
Хотят регулировать, но пока не знают как.
Но регулировать будут.
И хотя в статье в основном речь про порн дипфейки, дочитавшие до конца могут узреть что "законодатели очень обеспокоены способностью технологии вмешиваться в выборы."
Ну и также пишут, что если Англия выступит с запретом, то Штаты наверняка последуют ее примеру. Типа США и Великобритания часто зеркально отражают друг друга, потому что у них схожая структура общего права. И если американцы предпримут действия в этой области, то, скорее всего, это сделает и ЕС.
https://www.technologyreview.com/2021/02/12/1018222/deepfake-revenge-porn-coming-ban/

А я вспоминаю 2017 год. Вильнюс, конференция What's Next. Я показываю слайд с Дип-Трампом и с умным видом говорю, "все идет к государственному регулированию дипфейков и вообще использования ИИ".
Пойду сделаю курсы пророков. Оплата битками.
Beeple - это новый Энди Уорхол. Без шуток.

Совершенной крышесносный материал на Форбс про Бипла, про Крипто-Арт, про "неподдельные" цифровые копии и про то, как в 2020 у человечества сносит крышу.
https://www.forbes.com/sites/jessedamiani/2021/02/16/from-crypto-to-christies-how-beeple-put-digital-art-on-the-map-and-then-catalyzed-its-market/

Для тех, кто хочет не продираться сквозь верхнеистсайдский диалект статьи (я сдался и прошелся гуглом), вот бледная тень на русском:
https://3dnews.ru/1032962
В которой Бипла смешно величают господином Винкельманном.

А я до сих пор не могу поверить, что все это происходит щас с тем самым Майком, которого мы все видели живьем на сцене Ивента в декабре 2019, с которым запросто общались за кофе и в холле.
Бипл не просто красавчик, он - машина, трудяга и обладатель какого-то запредельного чувства юмора.
Написал ему, привет, говорю, новый энди уорхол! Он ржет, говорит, у него все ок, сыпит своими brotha и tanks, и пишет, что хочет поглядеть на Россию летом.

А теперь вкратце, что случилось:
В декабре, за выходные 12-13 декабря было продано 20 цифровых работ Бипла на сумму 3,5 миллиона долларов через серию распродаж на Nifty Gateway, торговой площадке для ограниченного выпуска произведений искусства и коллекционных предметов, поддерживаемых так называемыми нефинансовыми токенами (NFT).
https://observer.com/2020/12/net-artist-beeple-nifty-gateway-auction-record/
Там были не только цифровые работы, но и "сувениры".
Работы Bull Run , Infected и Into The Ether были в основном физическими. Каждый из них был доставлен покупателям в виде «постоянного физического артефакта NFT с подписанной пронумерованной титановой задней пластиной со скрытыми маркерами аутентификации» вместе с «подлинным образцом волос Beeple».
Эти изделия были оценены в 969 долларов.
«Я думал, что мы увидим от 100 до 200 штук, которые будут продаваться, пишет Бипл. «Но тогда их было 600!».
Эти 600 работ, проданных в течение пяти(!) минут, составили 582 тысячи долларов для Майка - только в первой из трехдневных сцен, поэтому можно предположить, что у Бипла все хорошо.
«Честно говоря, в ту ночь я чувствовал себя плохо, - говорит Майк. «Я просто подумал:« Как, черт возьми, мы сделаем 600 коробок за шесть-восемь недель? »

Дальше - больше.

Вы все конечно знаете про Эвридейки Бипла, которые он делает с 1 мая 2007 года.
Так вот на аукционе Кристи(!) в конце февраля выставляется его новая работа - это 5000(!) первых эвридеек собранных в один файл с разрешением 21 069 x 21 069 пикселей на 316 МБ.
"Christie’s, Everydays – The First 5000 Days" - ее уже величают мета-работой, а Майка - новым Уорхолом.

Эвридейки не расположены в хронологическом порядке, вместо этого они связаны друг с другом эстетически и концептуально. Заинтересованные зрители и пытливые умы могут обнаружить повсюду повествовательные связи, от личных до социальных.
«Это смесь мировой хроники и журнала моей жизни и жизни моей семьи за последние 13 лет», - говорит Бипл.

Еще раз - Бипл выставляется на Кристи!

Киберпанк захватывает землю...

Пощу старое видео с Майком из 2019 года. С ним невозможно общаться, можно только ржать в голос, пока не охрипнешь.
Браво, Майк, разорви их всех на аукционе!
Нвидия просто красавчики.
В канун выхода 3060, предвидя хищные инсинуации алчных геймеров, они взяли и запретили (на уровне драйверов) майнинг на картах 30-й серии.
В драйвере будет протокол, который снизит производительность при обнаружении характерной для майнинга нагрузки. Говорят, что подломить нельзя..
Это раз.

А чтобы алчные майнеры не бросились ломать драйвера, линуксить и устраивать беспредел, выпустили для майнеров карту, оптимизированую для добычи криптовалют = Cryptocurrency Mining Processor.
Это два.

В эту серию войдут модели 30HX, 40HX, 50HX и 90HX. Такая карта не считает графику и не имеет видеовыходов.
Старт продаж первых двух версий CMP состоится в первом квартале 2021 года.

Профит и профит.
Поиск по словам в видео!
Звучит просто запредельно.
Вы уже привыкли искать картинки по запросу в Гугле. Или я недавно постил про удивительный проект same.energy, где всё еще ИИ-шнее.
Ну тут уже просто беспредел.
Поиск нужного контента на кадрах в видео.
И да, там рулит тот самый хитовый CLIP, который щас прям гарцует везде.

Покрутите вниз вот тут: https://github.com/haltakov/natural-language-youtube-search
Поглядите на запросы и найденные кадры.

И да, там на входе видос (ссылка на Ютюб) и запрос.
Можно почитать код в коллабе (его есть).
И там в принципе никакой магии:
Download the YouTube video
Extract every N-th frame
Encode all frames using CLIP
Encode a natural language search query using CLIP
Find the images that best match the search query

Но магия есть! Ибо поиск внутри видео!
Я знаю решения типа VideoIndex для поиска по видео-материалу, но тут другой уровень абстракции..

Сидит монтажер такой. И где блин, был этот зонтик, я точно помню снимали, только где теперь он, в каком сиквенсе?
Кто-то сажает марсоход, а кто-то делает коллажи.
Я думал его твиттер взломали, ан нет, это он сам, надеюсь в свободное от работы время...
Зато и ТАСС и РБК уже написали об этом твите. Еще бы, повод-то какой! Не мешки ж ворочать.
Твит почему-то уже удалили, а зря.
Но зато гугл на запрос "первое, что увидели американцы на марсе" теперь выдает что?
Правильно, арт Коленьки. Попробуйте.
Он там потом окончательно разошелся на нервяке и с устатку, второй твит был про "янки гоу хоум".
Тоже удалили. И тоже зря.
Ссылки в коментах. Гугль в хроме.
This media is not supported in your browser
VIEW IN TELEGRAM
Увидел в канале Дениса Ширяева (@denissexy) вот такую ссылку и залип.
Всегда было интересно, как утроена трехмерная жизнь всех этих линий метро под землей. Как они "расходятся" друг с другом на разных уровнях.
А тут все в одном флаконе, наглядно и даже можно откручивать время назад!
Один из тех примеров, когда сидишь и понимаешь, что тобой движет детское любопытство, вот эта вот ничем не мотивированная любознательность, когда информация вроде не сильно полезная, но ужасно интересная.
Мне не хватило возможности растянуть это все по высоте, увеличить масштаб глубины, чтобы сделать разницу залегания линий еще более наглядной.
Кстати, в консоли можно почитать код джава-скрипта, там все с комментариями на русском, чисто, опрятно, наглядно.
Заодно узнал, что есть такая заповедная программка как pMetro, скачал установил - не так наглядно и очень уж архаично.
В общем, залипаю все воскресенье в 3Д под землей.
https://varf.ru/metro3d/?
Не забудьте кликнуть на сайте в Подробнее...
Похоже 2021 можно будет назвать криптогодом.
Старая школа все еще продолжает бухтеть "биток не не деньги!".
По ходу, он уже не только деньги, а мета-деньги или сверх-деньги. Он его курса (даже нет, от его общего здоровья, включая ментальное) начинают зависеть цены на вполне себе потребительские товары.
А в силу того, что электричество у нас по-прежнему в основном на обобщенном мазуте, то пора бы и цене на нефть скорректироваться.
На скрине - немецкий амазон - причем там еще надо сильно поискать через buying options...
Про крипто-арт, отдельная история..
Что-то хайп в 2021 приобретает системообразующий характер.
Телеграмм атакует меня новостями про Клабхаус, 99% которых это "количество скачиваний клабхауса достигло отметки N".
Я так понимаю, "количество скачиваний" - это новый крутой?
Интересно посмотреть в длинную, станет ли этот формат частью ежедневной жизни, или волна хайпа спадет, новизна приестся, а функционал расползется по привычным мессенджерам (где он уже практически есть).
Или это снова биржевая история?

Я не очень люблю голосовые сообщения, немного фигею, когда люди пихают одно и то же в ютюб, гподкасты, аподаксты, яподкасты и еще в десяток платформ для "удобства использования" и предпочитаю старые добрые тексты.И местами видео. А в наушниках слушаю музыку.
Но я стар и непрезентативен. Поэтому посижу на берегу, погляжу, во что превратится клубный дом...

P.S. Как справедливо вопрошают в сети такие же дремучие как я: "А что там есть, чего нет в Дискорде?"