Киберпанк в огне!

Бот-пожарный тушит огонь на 100500-ом этаже мощной струей.
Лестница туда явно недостает.

P/S/ К ночи подумалось про разгон демонстрантов. Много писал про Китай видать.

Маск красавчик!
Открыл завод по производству Тесла в Германии и под это дело выпускает Пиво Тесла!
И для этого очень пригодился дизайн невыпущенного Tesla Cybertrack...
Ну и на сцене от отлично отжигает! Запись выступления в Германии тут: https://www.youtube.com/watch?v=gqlNcW5SySA

Пол-триллиона параметров!

Иногда мне кажется, что франшизу Трансформеры задумала Nvidia много лет назад, заблаговременно, с целью продвижения своих технологий в далеком будущем.
Ну посудите сами.
Они только что бахнули мега новость про most powerful monolithic transformer language model trained to date, with 530 billion parameters
Пол-триллиона параметров!
GPT-3 нервно пересчитывает в углу истории свои жалкие параметришки (175B).

А теперь поглядите на нейминги:
DeepSpeed and Megatron to Train Megatron-Turing NLG 530B

Там в статье еще парочка Транформер-стайл оборотов.

Подробности для гиков по ссылке, там очень внятно написано, как они докатились до таких результатов.

Из интересного.

Похоже уперлись в объемы существующей памяти и в конское время тренинга:
It is no longer possible to fit the parameters of these models in the memory of even the largest GPU.
The large number of compute operations required can result in unrealistically long training times, if special attention is not paid to optimizing the algorithms, software, and hardware stack all together.

И дальше нужные новые шаманские танцы с оптимизацией. Принципиально новые.

Data parallelism achieves good compute efficiency, but it replicates model states and cannot leverage aggregate distributed memory.
Tensor-slicing requires significant communication between GPUs that limits compute efficiency beyond a single node where high-bandwidth NVLink is not available.
Pipeline parallelism can scale efficiently across nodes. However, to be compute –efficient, it requires large batch sizes, coarse grain parallelism, and perfect load balancing, which is not possible at scale.

Также мы видим зачем Нвидия покупала Мелланокс и лицезреем суперкомпьютер Nvidia SELENE - NVIDIA DGX A100, AMD EPYC 7742 64C 2.25GHZ, NVIDIA A100, MELLANOX HDR INFINIBAND
Cores: 555,520
Memory: 1,120,000 GB

Там еще много чего про датасеты, на которых учился этот оракул-мегатрон, но в конце любопытные этические экивоки, над которыми грех не поразмышлять.

"В то время как гигантские языковые модели развивают современное состояние языковой генерации, они также страдают от таких проблем, как предвзятость и токсичность. Понимание и устранение этих проблем в языковых моделях активно исследуется сообществом ИИ, в том числе в Microsoft и NVIDIA."

"Наши наблюдения с MT-NLG заключаются в том, что модель наследует стереотипы и предубеждения из данных, на которых она обучается. Microsoft и NVIDIA намерены работать над решением этой проблемы."

1. Я не очень понимаю, как они собираются решать эту "проблему" и является ли это проблемой вообще. Для этого надо переучить (перепрошить) все кожаное человечество, собрать данные заново, и перетренить мегатрона.

2. Ну ок, можно натренировать ИИ-цензоров, которые будут выкусывать расизьм, токсизьм, шовинизьм и прочий блм. Но что мы получим на итоге? Не мы выплеснем ли мы из колыбели младенца вместе с ̶р̶а̶с̶и̶з̶м̶о̶м̶ водой!
Я большой поклонник идеи, что занимаясь языком мы можем продвинуться в понимании мышления (а не через нейрончики) и вообще устройства кожаного котелка в целом. Поэтому выкусывая что-то из полученного результата, мы будем заниматься вивисекцией и ГМО.

3. Ну и в чем проблема? Мы еще ближе подошли к пониманию себя, родимых. Спесивых, предубежденных, с массой когнитивных искажений. Но Канеман же не предлагал всех оперировать, чтобы устранять эти искажения. Просто открыл и зафиксировал феномен, даже нобелевку получил и книжку хорошую написал. Теперь ИИ это еще раз подтверждает. В чем проблема?

Ну а в целом, это очередная веха в непрерывно расширяющейся вселенной ИИ. Новые границы, новые мега-характеристики, новые пределы, за которыми идут новые методы.

Мегатроны Nvidia вперед! To Infiniband and beyond!
https://developer.nvidia.com/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/

Nvidia по осени традиционно плодовита.
Релизнули StyleGAN3, известный ранее в миру как Alias-Free GAN.
Пофиксили баги, когда мелкие детали плавают относительно поверхности изображения.
Много объясняющих видео плюс исходный код.
Ждем ещё больше не существующих сущностей и стоков с ними.


Alias-Free Generative Adversarial Networks (StyleGAN3)
https://nvlabs.github.io/stylegan3/

Ну милота же! Не существующая притом

Оппаньки! Вы уже заказали себе очки от ФБ?
Сдавайте обратно. Если не хотите проблем. С ФСБ.

Первые «умные» очки Facebook Ray-Ban Stories могут быть отнесены к «шпионским» устройствам, из-за чего их покупателям может грозить ответственность. Это следует из ответа ФСБ на запрос издания TJ.

Использование «шпионских» устройств («специальных технических средств, предназначенных для негласного получения информации») в России ограничено ст. 138.1 УК

«Указанные очки могут иметь конструктивные особенности, позволяющие отнести их к категории специальных технических средств, предназначенных для негласного получения информации», — заявили в ФСБ.

Хотите пободаться и поспорить?

П.С. Как мне подсказывают из зала: а чем Окулус хуже? Ну и лучше. Ну вы поняли..
https://www.rbc.ru/technology_and_media/11/10/2021/616498df9a794763b63ea4a5

В твитторе началоcь безумство со StyleGAN3 (как и ожидалось).

Вот колаб (StyleGAN3+CLIP), который может генерить картинки по текстовому запросу с помощью эмбеддинга картинок и текста в общее пространство сетью CLIP.

На видео, например, таким макаром человек преобразуется в дерево. Инициализация - это фото, а затем зупускаем оптимизацию в сторону эмбеддинга "дерево". В колабе можно преобразовать себя в дерево или ракушку 🌚 (правда для этого нужно будет немного допилить ноутбук, чтобы спроецировать своё фото в пространство стайлгана).

Гляньте, что вытворяют ребята из Facebook AI!
Их автобот Detectron узнает вас на любом видео. Узнает, сегментирует, позе эстимирует и лейбирует.
И при случае еще и аватара к вам пришпандорит (дальше выход дипфейков, но щас не об этом).

Нет, дальше выход CG. По меткам из базы(стоков) вытаскиваются нужные объекты и подставляются на место распознанных (также как Хуавей распознает луну на фотках).
А вместо студентов вгика - томы крузы в доспехах бога.

И режиссер такой: "А давайте это все в стиле киберпанк!". И хрясь по кнопке "Сделать Киберпанк".

В общем скины для съемок на все случаи жизни.

А если без шуток, Минорити Репорт уже здесь?
Если не верите, следующим постом подкину как это реализуется уже сейчас.
https://ai.facebook.com/tools/detectron2/

Дайте ИИ больше фото!
Продолжение к предыдущему ИИ-посту или Минорити Репорт на дворе.

"Правительство Москвы планирует доработать портал mos.ru так, чтобы все загруженные фотографии пользователей для получения госуслуг передавались в систему распознавания лиц, которую используют полицейские. Подрядчиком по проекту стоимостью 236 млн руб. стала пермская «Брайт софт». Она также должна обеспечить сбор данных о смартфонах москвичей. Эксперты считают, что фотографии граждан нужны для обучения системы, которая используется как для поиска преступников, так и для выписки штрафов нарушителям режима самоизоляции."

https://www.kommersant.ru/doc/5029702 - там же про Парсив, Ецхд, Емиас и прочие датасобиралки.

"Из техзадания следует, что ООО предстоит разработать и внедрить на mos.ru процедуру сохранения «эталонной фотографии из профиля пользователя в дополнительную галерею подсистемы автоматической регистрации сценариев индексирования видеоинформации (ПАРСИВ) Единого центра хранения данных (ЕЦХД) ГУ МВД по Москве».

https://habr.com/ru/news/t/583176/
"Также исполнитель должен обеспечить сбор медиаданных и телеметрии смартфонов пользователей."

Тема распознавания лиц и камер наблюдения прям летит сегодня.

"В ноябре в двух крупнейших городах Украины заработают камеры для контроля масочного режима и соблюдения социальной дистанции в 1,5 м. Об этом в комментарии ТСН сообщил главный санитарный врач страны Игорь Кузин.

По его словам, устройства появятся в Киеве и в Харькове или в Днепре. Они будут в автоматическом режиме оценивать условный процент соблюдения противоэпидемиологических мер"

Тут голоса из зала предлагают носить масочки, чтобы лица не распознавались. Но поздно уже. Clearview AI анонсировал функцию распознавания лиц в масках.

https://forklog.com/v-ukraine-zadejstvuyut-ii-kamery-dlya-obnaruzheniya-narushenij-karantinnyh-mer/

https://forklog.com/clearview-ai-anonsiroval-funktsiyu-raspoznavaniya-lits-v-maskah/

Кто-нибудь подался на Retroverse? (кстати, шикарное название)
Там раздают монстр-видеокарты.
RTX A6000, 3090, 3080...
В судьях обнаружен Джама.
Есть еще пара недель.
Можно использовать ассеты с Турбосквида.
https://www.nvidia.com/en-us/omniverse/retroverse-contest/

Димон - красавчик! Наш ответ Маску!
Роскосмос раскрасил ракету «Союз» под хохлому в честь 800-летия Нижнего Новгорода. С помощью этой расписанной ракеты-носителя в ноябре текущего года с Байконура планируется запустить к МКС грузовой корабль «Прогресс МС-18».

И как тебе такое, Илон Маск?!

Димон предлагал расписывать космические корабли под хохлому и гжель ещё в августе 2020 года. Глава Роскосмоса считает, что это прорекламирует мастеров, сохраняющих русские традиции, и поможет развитию внутреннего туризма в России, ведь «полюбоваться пуском ракеты» на Байконур или космодром «Восточный» приезжает большое количество людей.

Айда любовацца на космодром, туристы!

https://tjournal.ru/news/454207-roskosmos-raskrasil-raketu-soyuz-pod-hohlomu-v-chest-800-letiya-nizhnego-novgoroda

По мотивам поста про съемку разными объективами.
Нет, это не видео в духе GAN-GAN Style.

Это одна и та же реально существующая барышня, снятая в разном освещении.
А иногда кажется, что барышень несколько.

Пока ещё без ИИ. Пока.
Эта тварь пока требует оператора, который жмёт на удалённый курок.
Но как мы сегодня читали, распознавание лиц - это уже пройденный этап, так что формально говоря, скрипач не нужен.

На псе установлен калибр 6,5 миллиметра Creedmoor и 7,62×51 NATO. Оператор может дистанционно заряжать, стрелять и разряжать. Есть прицел с 30-кратным увеличением и инфракрасной фотоматрицей. Кроме того, у него есть дополнительный тепловизор.
Вместимость магазина составляет 10 патронов. Дальность прицельной стрельбы составляет 1200 метров. Есть глушитель для снижения заметности робота во время стрельбы.

Дроны с воздуха, псы на суше.

А какого Киберпанка вы ожидали?

⚽️ Интересный кейс разворачивается в Великобритании. Современный профессиональный спорт — это тоже индустрия данных. Аналитики топовых команд собирают данные о действиях игроков на площадке с помощью умных камер-трекеров. Основываясь на этих данных, команды анализируют производительность игроков, улучшают игровую стратегию и принимают решения о трансферах. Кроме этого, игровые данные продают — аналитическим компаниям, разработчикам игр, букмекерам. Целая индустрия питается данными, которые производят атлеты. Но у самих атлетов при этом никто не спрашивал разрешения на коммерческое использование созданных ими данных, в том числе биометрических. Для понимания объемов — на одного игрока низшей британской лиги в такой базе может храниться 7000 записей.

И вот в Великобритании группа из 850 профессиональных футболистов хочет судиться со спортивными дата-брокерами — атлеты требуют, чтобы им платили комиссию за коммерческое использование данных. Ссылаются на GDPR — мол, явного согласия на использование данных не давали, так что давайте деньги сюда. Соответствующие досудебные уведомления отправили в 17 крупнейших компаний, а всего в data misuse обвиняют 150 организаций. Очень интересно, что из этого получится.

И как вам такой концепт?
Виар манипулятор, меняющий форму на лету..