Хорошая статья от создателя SketchFab про сканирование с помощью айфоновский лидаров.
https://albn.medium.com/3d-scanning-with-the-iphone-lidar-8cbd723fc9ab
Там есть список приложений, причем с комментариями, что для чего лучше подходит.
И в конце советы, чего надо избегать при сканировании объектов с помощью лидаров.
Некоторые очевидны: не сканировать блестящие мелкие предметы, но некоторые интересные: I like to add an automated baked AO ground shadow, and then post process effects like sharpness, depth of field, saturation…
В общем, вокруг смартфоновских лидаров нарастает экосистема.
Список приложений с картинки:
http://scaniverse.com/
http://polycam.ai/
http://3dscannerapp.com/
http://record3d.app/
http://sitescape.ai/
http://everypoint.io/ - большие облака точек плюс комбинация фотограмметрии и лидара!
https://albn.medium.com/3d-scanning-with-the-iphone-lidar-8cbd723fc9ab
Там есть список приложений, причем с комментариями, что для чего лучше подходит.
И в конце советы, чего надо избегать при сканировании объектов с помощью лидаров.
Некоторые очевидны: не сканировать блестящие мелкие предметы, но некоторые интересные: I like to add an automated baked AO ground shadow, and then post process effects like sharpness, depth of field, saturation…
В общем, вокруг смартфоновских лидаров нарастает экосистема.
Список приложений с картинки:
http://scaniverse.com/
http://polycam.ai/
http://3dscannerapp.com/
http://record3d.app/
http://sitescape.ai/
http://everypoint.io/ - большие облака точек плюс комбинация фотограмметрии и лидара!
Устроим небольшой марафон, посвященный Digital Humans и мирам для их обитания (скоро узнаете почему).
Намечается интересная война [виртуальных] миров.
Фейсбук давно уже пилит Horizon, как сеть обитания витуальных персонажей и как драйвер продаж своего Квеста.
И тут прилетела ответочка от Микрософта!
Они запустили платформу Mesh (отличное название, кстати) для работы и обитания в смешанной реальности.
Среда позволяет нескольким людям общаться в одном виртуальном пространстве, которое накладывается на реальный мир. Пользователи могут взаимодействовать друг с другом и с виртуальными 3D-моделями, находясь физически в разных местах.
В условиях удаленки - это прям попадание в тренды, а заодно хороший пинок фейсбуку, который не сильно ускоряется со своим Горизонтом.
Плюс это отличный драйвер продаж Хололенза, которой продается ни шатко, ни валко.
Хотя в принципе к виртуальному пространству можно подключиться с помощью большого круга устройств: Mesh поддерживает большинство VR-гарнитур, планшеты, смартфоны и PC.
Ну и конечно это все крутится в Ажуре - облаке от Микрософта.
Получается вполне себе законченная экосистема.
Люди в Mesh будут представлены с помощью виртуальных аватаров от соцсети AltspaceVR, которую Microsoft приобрела ещё в 2017 году (так вот зачем).
Но самое интересное, что в конце концов компания хочет прийти к варианту, когда люди смогут появляться в виртуальной среде в виде самих себя.
И вот тут-то начнется самое интересное!
Digital Humans начнут заселять планету. Про которую следующий пост.
https://www.theverge.com/22308883/microsoft-mesh-virtual-reality-augmented-reality-hololens-vr-headsets-features
Намечается интересная война [виртуальных] миров.
Фейсбук давно уже пилит Horizon, как сеть обитания витуальных персонажей и как драйвер продаж своего Квеста.
И тут прилетела ответочка от Микрософта!
Они запустили платформу Mesh (отличное название, кстати) для работы и обитания в смешанной реальности.
Среда позволяет нескольким людям общаться в одном виртуальном пространстве, которое накладывается на реальный мир. Пользователи могут взаимодействовать друг с другом и с виртуальными 3D-моделями, находясь физически в разных местах.
В условиях удаленки - это прям попадание в тренды, а заодно хороший пинок фейсбуку, который не сильно ускоряется со своим Горизонтом.
Плюс это отличный драйвер продаж Хололенза, которой продается ни шатко, ни валко.
Хотя в принципе к виртуальному пространству можно подключиться с помощью большого круга устройств: Mesh поддерживает большинство VR-гарнитур, планшеты, смартфоны и PC.
Ну и конечно это все крутится в Ажуре - облаке от Микрософта.
Получается вполне себе законченная экосистема.
Люди в Mesh будут представлены с помощью виртуальных аватаров от соцсети AltspaceVR, которую Microsoft приобрела ещё в 2017 году (так вот зачем).
Но самое интересное, что в конце концов компания хочет прийти к варианту, когда люди смогут появляться в виртуальной среде в виде самих себя.
И вот тут-то начнется самое интересное!
Digital Humans начнут заселять планету. Про которую следующий пост.
https://www.theverge.com/22308883/microsoft-mesh-virtual-reality-augmented-reality-hololens-vr-headsets-features
The Verge
Microsoft Mesh feels like the virtual future of Microsoft Teams meetings
Microsoft Mesh is a platform for shared and collaborative virtual spaces.
Продолжаем за цифровых людей.
"Все, что вам нужно сделать, - это загрузить селфи. Наш алгоритм машинного обучения сгенерирует 3D-модель на основе фотографии. Вы можете настроить каждую деталь своего аватара. Выберите прическу, брови, глаза и их цвет, одежду, очки и многое другое. Всего в Ready Player Me есть 200 различных вариантов настройки аватара, и этот список продолжает расти. Наша команда художников делится новыми активами в Discord. Сообщите нам, если хотите, чтобы мы добавили что-нибудь конкретное."
https://readyplayer.me/blog/custom-vrchat-3d-avatar-maker-creator
Это проект Ready Player Me - вы загружаете свою фотку, а ИИ делает трехмерного аватара для VRChat. Одной кнопкой.
Интересно, как он, аватар, устроен изнутри. Меш, бленшейпы...
А вот более общий проект (но и более сырой, ибо никакого сервиса, гитхаб, пейпер и хардкор).
Нейросетка MeInGame генерирует игрового персонажа по фотографии лица:
https://neurohive.io/ru/novosti/meingame-nejroset-generiruet-igrovoj-personazha-po-izobrazheniju-lica/
В общем к персонажной анимации снизу подбираются зомби-мутанты, пока с самого дна. Но у них за спиной ИИ и датасеты, накопленные в играх и посте.
И ИИ потихоньку учится генерить и меш получше и текстуры повеселее.
Глядишь, разработка персонажей станет однокнопочной - либо кнопка "загрузить фото", либо "найти в базе" и быстро затьюнить.
И все, как обычно в последнее время, потихоньку идет к ассетам.
"Все, что вам нужно сделать, - это загрузить селфи. Наш алгоритм машинного обучения сгенерирует 3D-модель на основе фотографии. Вы можете настроить каждую деталь своего аватара. Выберите прическу, брови, глаза и их цвет, одежду, очки и многое другое. Всего в Ready Player Me есть 200 различных вариантов настройки аватара, и этот список продолжает расти. Наша команда художников делится новыми активами в Discord. Сообщите нам, если хотите, чтобы мы добавили что-нибудь конкретное."
https://readyplayer.me/blog/custom-vrchat-3d-avatar-maker-creator
Это проект Ready Player Me - вы загружаете свою фотку, а ИИ делает трехмерного аватара для VRChat. Одной кнопкой.
Интересно, как он, аватар, устроен изнутри. Меш, бленшейпы...
А вот более общий проект (но и более сырой, ибо никакого сервиса, гитхаб, пейпер и хардкор).
Нейросетка MeInGame генерирует игрового персонажа по фотографии лица:
https://neurohive.io/ru/novosti/meingame-nejroset-generiruet-igrovoj-personazha-po-izobrazheniju-lica/
В общем к персонажной анимации снизу подбираются зомби-мутанты, пока с самого дна. Но у них за спиной ИИ и датасеты, накопленные в играх и посте.
И ИИ потихоньку учится генерить и меш получше и текстуры повеселее.
Глядишь, разработка персонажей станет однокнопочной - либо кнопка "загрузить фото", либо "найти в базе" и быстро затьюнить.
И все, как обычно в последнее время, потихоньку идет к ассетам.
Blog | Ready Player Me
Make Personal VRChat Avatars From Selfie w/ Ready Player Me
Ready Player Me avatar maker now supports exporting avatars to VRChat. Create your personal avatar from a photo, upload it to VRChat, and join the rest of the community on PC or Oculus Quest.
Что творят цифровые китайцы!
Пока мы тут обсуждаем Дип Тома Круза, которому поменяли лицо, китайцы идут дальше.
Они хотят менять лицо, потом одежду, а потом все, что еще требуется.
На видео. Одной кнопкой.
И тут не пейпер с гитхабом на перевес. Тут нам обещают полный китайский сервис.
Идея следующая.
Снимаем один раз. Используем много раз. На разных рынках, для разных аудиторий, с разными сообщениями. С разными лицами, одеждами, энвайронментом.
Этакий глобальный дипфейк плюс генеративный контент. Под запрос.
Помните мы тут хихикали, что снимаем студентов вгика, а кастинг делаем потом.
Эти ребята предлагают (и предполагают) менять не только лица, а все вообще.
С помощью ИИ, куда ж без него.
Ну и как водится одной кнопкой, без этих ваших композов и 3Д.
Правда сайт больше похож на манифест о намерениях. На видосах с одеждой лишь статичные кадры. А дипфейки крошечного размера. Но ребята обозначают тренд - вот есть разные технологии, мы хотим собрать все по кускам и сделать генерацию нужного контента под запрос.
Под запрос e-commerce, как я понимаю. Продвижение продуктов и реклама.
Поглядим, что у них получится.
Два парнишки, магистратура Карнеги-Мелоун. Один из Snap второй из Smule.
https://www.surreal.la/
Пока мы тут обсуждаем Дип Тома Круза, которому поменяли лицо, китайцы идут дальше.
Они хотят менять лицо, потом одежду, а потом все, что еще требуется.
На видео. Одной кнопкой.
И тут не пейпер с гитхабом на перевес. Тут нам обещают полный китайский сервис.
Идея следующая.
Снимаем один раз. Используем много раз. На разных рынках, для разных аудиторий, с разными сообщениями. С разными лицами, одеждами, энвайронментом.
Этакий глобальный дипфейк плюс генеративный контент. Под запрос.
Помните мы тут хихикали, что снимаем студентов вгика, а кастинг делаем потом.
Эти ребята предлагают (и предполагают) менять не только лица, а все вообще.
С помощью ИИ, куда ж без него.
Ну и как водится одной кнопкой, без этих ваших композов и 3Д.
Правда сайт больше похож на манифест о намерениях. На видосах с одеждой лишь статичные кадры. А дипфейки крошечного размера. Но ребята обозначают тренд - вот есть разные технологии, мы хотим собрать все по кускам и сделать генерацию нужного контента под запрос.
Под запрос e-commerce, как я понимаю. Продвижение продуктов и реклама.
Поглядим, что у них получится.
Два парнишки, магистратура Карнеги-Мелоун. Один из Snap второй из Smule.
https://www.surreal.la/
surreal.la
Surreal AI
Surreal 诗云科技致力于创造下一代AI内容生成引擎，颠覆内容创作模式，助力全行业进入低成本高效率内容生成时代。
Я вот уже годик как притапливаю за цифровых людей, видеонаблюдение и комп зрение, цифровые города-двойники, 3Д-сканирование, лидары и оцифровку нашего утлого мира со всеми потрохами.
И получается, что накаркал.
Европейцы прям ударили в точку.
В течение 10 лет будут делать цифровую копию планеты. Со всеми пирогами. Города, промышленность, население, датчики, камеры, сбор данных со всего и обо всем.
Цифровая копия земли.
Там и кластер на 20 000 gpu, и дата центры на стомильонов данных, и ML, и датасайенс.
К 2025 году команда планирует запустить до пяти цифровых близнецов. Затем данные этих симуляций будут объединены для создания «полного цифрового двойника Земли».
Одна из задач - анализ климатических изменений. Но думаю в процессе сбора данных возникнут неожиданные новые направления и выводы.
И корыстных вопрос у игр и постпродакшена: а можно будет ассетов натырить оттуда?
https://www.theregister.com/2021/02/26/eu_climate_supercomputer/
На русском:
https://hi-news.ru/research-development/uchenye-nachali-rabotu-nad-cifrovym-dvojnikom-zemli.html
И получается, что накаркал.
Европейцы прям ударили в точку.
В течение 10 лет будут делать цифровую копию планеты. Со всеми пирогами. Города, промышленность, население, датчики, камеры, сбор данных со всего и обо всем.
Цифровая копия земли.
Там и кластер на 20 000 gpu, и дата центры на стомильонов данных, и ML, и датасайенс.
К 2025 году команда планирует запустить до пяти цифровых близнецов. Затем данные этих симуляций будут объединены для создания «полного цифрового двойника Земли».
Одна из задач - анализ климатических изменений. Но думаю в процессе сбора данных возникнут неожиданные новые направления и выводы.
И корыстных вопрос у игр и постпродакшена: а можно будет ассетов натырить оттуда?
https://www.theregister.com/2021/02/26/eu_climate_supercomputer/
На русском:
https://hi-news.ru/research-development/uchenye-nachali-rabotu-nad-cifrovym-dvojnikom-zemli.html
The Register
We need a 20MW 20,000-GPU-strong machine-learning supercomputer to build EU's planned digital twin of Earth
And this machine will be used to *check notes* study climate change. Study it or cause it?
Forwarded from PHYGITAL+CREATIVE
Что значимого в Microsoft Mesh и почему все в восторге?
- Платформа обеспечивает фотореалистичную технологию holoportation с помощью датчиков «outside-in», которую можно также создать с помощью камеры Mixed Reality Capture Studio или Azure Kinect.
- Mesh позволяет закреплять контент к локации, обмениваться точками обзора устройств и совместно работать над 3D-моделями. Геолокация в Mesh точнее, чем GPS.
- Голографический рендеринг обеспечивает точность воспроизведения контента независимо от вычислительных ресурсов устройства. Mesh позволяет выбирать между локальным автономным рендерингом или удаленным с подключением к облаку для каждой сцены и модели. Это дает гибкость для разработки приложений.
У Mesh еще много полезных фич, Microsoft уже представил технический обзор платформы, кому интересно - переходите по ссылке.
Возможно, эта платформа сделает новый шаг к взаимодействию людей в смешанной реальности, по моему, мы уже двигаемся по сценарию книги «Конец радуг» :)
- Платформа обеспечивает фотореалистичную технологию holoportation с помощью датчиков «outside-in», которую можно также создать с помощью камеры Mixed Reality Capture Studio или Azure Kinect.
- Mesh позволяет закреплять контент к локации, обмениваться точками обзора устройств и совместно работать над 3D-моделями. Геолокация в Mesh точнее, чем GPS.
- Голографический рендеринг обеспечивает точность воспроизведения контента независимо от вычислительных ресурсов устройства. Mesh позволяет выбирать между локальным автономным рендерингом или удаленным с подключением к облаку для каждой сцены и модели. Это дает гибкость для разработки приложений.
У Mesh еще много полезных фич, Microsoft уже представил технический обзор платформы, кому интересно - переходите по ссылке.
Возможно, эта платформа сделает новый шаг к взаимодействию людей в смешанной реальности, по моему, мы уже двигаемся по сценарию книги «Конец радуг» :)
This media is not supported in your browser
VIEW IN TELEGRAM
Пятница день отличный, самое время заняться любимым делом.
Не ворочать мешки про ИИ.
Ибо накопилось.
Как говаривал полковник Горбацевич, мой препод по гражданской обороне в МГУ: "если в соломорезку засунуть рельсу, она сломаеца".
Мы долго думали, кто сломается, ибо на мехмате еще до канемана учили отбрасывать когнитивные искажения.
Тут весь интернет громко взорал про MyHeritage и Deep Nostalgia, а ленты наводнились фотками Ленина, неистово шевеляшего лицом.
(Если не видели, гугл ит он Deep Nostalgia memes)
Как только не измывались над бедным ИИ.
Но чемпионом по пыткам стала вот эта гифка.
Это прекрасно.
Пятак - зеркало души.
Ну и кстати, кожмешок наверняка бы не додумался сделать такую анимацию, хотя давно известно, что для собак нюх - это второе (а может и первое) зрение. Так что ИИ подкидывает идей и вдохновения спесивому белковому творцу.
Не ворочать мешки про ИИ.
Ибо накопилось.
Как говаривал полковник Горбацевич, мой препод по гражданской обороне в МГУ: "если в соломорезку засунуть рельсу, она сломаеца".
Мы долго думали, кто сломается, ибо на мехмате еще до канемана учили отбрасывать когнитивные искажения.
Тут весь интернет громко взорал про MyHeritage и Deep Nostalgia, а ленты наводнились фотками Ленина, неистово шевеляшего лицом.
(Если не видели, гугл ит он Deep Nostalgia memes)
Как только не измывались над бедным ИИ.
Но чемпионом по пыткам стала вот эта гифка.
Это прекрасно.
Пятак - зеркало души.
Ну и кстати, кожмешок наверняка бы не додумался сделать такую анимацию, хотя давно известно, что для собак нюх - это второе (а может и первое) зрение. Так что ИИ подкидывает идей и вдохновения спесивому белковому творцу.
После разминки со свиньей перейдем к взрослым темам.
Вышел годовой отчет Стенфордского центра HAI «2021 AI Index» (https://hai.stanford.edu/research/ai-index-2021)
Индекс ИИ 2021 - это один из наиболее полных отчетов об ИИ на сегодняшний день, в котором анализируются и выявляются закономерности воздействия ИИ на все, от национальной экономики до роста рабочих мест до анализа технического прогресса в рамках самого исследования ИИ и анализа разнообразия (или отсутствия из) среди людей, создающих системы искусственного интеллекта.
Вот основные выжимки:
Частные инвестиции в ИИ существенно выросли, несмотря на то, что кризис COVID негативно повлиял на экономику в других областях.
Китай превзошел США в научной работе. Ученые, связанные с Китаем, цитировались в большем количестве рецензируемых журналов, чем ученые из любой другой страны, что указывает на то, что исследования ИИ в Китае выросли как в качественном, так и в количественном отношении.
Синтетические носители, в просторечии известные как дипфейки, находятся на подъеме (привет постпродакшен!), благодаря достижениям в области создания синтетического текста, изображений и видео, демонстрирующих прогресс ИИ, но также подчеркивающих возможность неэтичного или опасного использования. Генеративный контент рулит!
Этические проблемы приложений искусственного интеллекта стали предметом более пристального внимания сообщества ИИ: в период с 2015 по 2020 год значительно увеличилось количество статей, в которых упоминаются этика и связанные с ними ключевые слова.
Кожаные мешки в области ИИ по прежнему учат ИИ плохому (расизму, сексизму и пр): в 2019 году 45% новых выпускников программ ИИ, которые остались в США, были белыми, 2,5% - афроамериканцами и 3,2% - латиноамериканцами. Жертвы пытаются бороться: у членов Black in AI (!) было вдвое больше работ, принятых в NeurIPS в 2019 году по сравнению с 2017 годом, и участие на семинарах, проводимых "Группой женщин в машинном обучении", выросла с менее 200 участников в 2014 году до более 900 человек в 2020 году.
С тех пор, как Канада опубликовала национальную стратегию ИИ в 2017 году, другие страны последовали ее примеру, и к 2020 году более 30 стран взяли на себя обязательства по реализации национальных стратегий ИИ.
Исход ученых из академической науки в области ИИ: все больше докторов наук по ИИ устраивались на работу в частную промышленность, а не в академические круги, а профессора продолжали оставлять университеты ради работы в корпорациях. Опять таки Частные Деньги без ума от ИИ.
Корпорации стали доминировать в инструментах, которые используют исследователи ИИ, а программные библиотеки, поддерживаемые корпорациями (TensorFlow и Keras от Google и PyTorch от Facebook), стали самыми популярными фреймворками на GitHub. Звучит немного зловеще..
Государственный интерес к ИИ продолжает расти, поскольку правительство США тратит миллиарды долларов на использование ИИ в гражданских и негражданских целях. В первую очередь наблюдение, распознавание, слежка и пр.
Добро пожаловать в изменяющийся мир!
Вышел годовой отчет Стенфордского центра HAI «2021 AI Index» (https://hai.stanford.edu/research/ai-index-2021)
Индекс ИИ 2021 - это один из наиболее полных отчетов об ИИ на сегодняшний день, в котором анализируются и выявляются закономерности воздействия ИИ на все, от национальной экономики до роста рабочих мест до анализа технического прогресса в рамках самого исследования ИИ и анализа разнообразия (или отсутствия из) среди людей, создающих системы искусственного интеллекта.
Вот основные выжимки:
Частные инвестиции в ИИ существенно выросли, несмотря на то, что кризис COVID негативно повлиял на экономику в других областях.
Китай превзошел США в научной работе. Ученые, связанные с Китаем, цитировались в большем количестве рецензируемых журналов, чем ученые из любой другой страны, что указывает на то, что исследования ИИ в Китае выросли как в качественном, так и в количественном отношении.
Синтетические носители, в просторечии известные как дипфейки, находятся на подъеме (привет постпродакшен!), благодаря достижениям в области создания синтетического текста, изображений и видео, демонстрирующих прогресс ИИ, но также подчеркивающих возможность неэтичного или опасного использования. Генеративный контент рулит!
Этические проблемы приложений искусственного интеллекта стали предметом более пристального внимания сообщества ИИ: в период с 2015 по 2020 год значительно увеличилось количество статей, в которых упоминаются этика и связанные с ними ключевые слова.
Кожаные мешки в области ИИ по прежнему учат ИИ плохому (расизму, сексизму и пр): в 2019 году 45% новых выпускников программ ИИ, которые остались в США, были белыми, 2,5% - афроамериканцами и 3,2% - латиноамериканцами. Жертвы пытаются бороться: у членов Black in AI (!) было вдвое больше работ, принятых в NeurIPS в 2019 году по сравнению с 2017 годом, и участие на семинарах, проводимых "Группой женщин в машинном обучении", выросла с менее 200 участников в 2014 году до более 900 человек в 2020 году.
С тех пор, как Канада опубликовала национальную стратегию ИИ в 2017 году, другие страны последовали ее примеру, и к 2020 году более 30 стран взяли на себя обязательства по реализации национальных стратегий ИИ.
Исход ученых из академической науки в области ИИ: все больше докторов наук по ИИ устраивались на работу в частную промышленность, а не в академические круги, а профессора продолжали оставлять университеты ради работы в корпорациях. Опять таки Частные Деньги без ума от ИИ.
Корпорации стали доминировать в инструментах, которые используют исследователи ИИ, а программные библиотеки, поддерживаемые корпорациями (TensorFlow и Keras от Google и PyTorch от Facebook), стали самыми популярными фреймворками на GitHub. Звучит немного зловеще..
Государственный интерес к ИИ продолжает расти, поскольку правительство США тратит миллиарды долларов на использование ИИ в гражданских и негражданских целях. В первую очередь наблюдение, распознавание, слежка и пр.
Добро пожаловать в изменяющийся мир!
Интереснейший пост в блоге Open AI.
Нейроны Холли Берри, Спайдер-Мена и пр.
(до "нейронов бабушки" дело не дошло пока)
"Пятнадцать лет назад обнаружили, что человеческий мозг обладает мультимодальными нейронами. Эти нейроны реагируют на кластеры абстрактных концепций, сосредоточенных вокруг общей высокоуровневой темы, а не на какой-либо конкретной визуальной функции. Самым известным из них был нейрон «Холли Берри», нейрон, описанный в журналах Scientific American и The New York Times, который реагирует на фотографии, зарисовки и даже(!) текст «Холли Берри» (но не на другие имена).
Два месяца назад OpenAI анонсировала CLIP, а теперь мы публикуем наше открытие о присутствии мультимодальных нейронов в CLIP. Одним из таких нейронов, например, является нейрон «Человек-паук» (имеющий поразительное сходство с нейроном «Холли Берри»), который реагирует на изображение паука, изображение текста «паук», книгу комиксов, персонажа «Человек-паук» либо в костюме, либо с иллюстрациями. Наше открытие мультимодальных нейронов в CLIP дает нам ключ к пониманию того, что может быть общим механизмом как синтетических, так и естественных систем зрения - абстракции. Мы обнаруживаем, что самые высокие уровни CLIP организуют изображения в виде свободной семантической коллекции идей, обеспечивая простое объяснение как универсальности модели, так и компактности представления."
1. Удивительная получается картина. Нейрофизиологи ковыряются в человеческих мозгах. А ИИ-физиологи, ковыряются в слоях нейросеток, пытаясь понять, как работает черный ящик.
Одни помогают другим понять, что находится под капотом.
"В рамках CLIP мы обнаруживаем высокоуровневые концепции, которые охватывают большую часть визуального лексикона человека - географические регионы, выражения лица, религиозную иконографию, известных людей и многое другое".
2. Картинки из этой статьи можно хоть сейчас на выставку, в галерею, в музей. Если немного задержаться у картинки, то смыслы начинают переть из нее сами. Только не говорите кожаным мешкам, что это ИИ.
3. "Мы считаем, что эти исследования CLIP только верхушка айсберга в понимании поведения CLIP, и мы приглашаем исследовательское сообщество присоединиться к улучшению нашего понимания CLIP и подобных ему моделей."
Еще раз: "Понимание Поведения ИИ(Clip)".
Это к вопросу о неолуддитах, которые все (давно и хорошо) понимают про ИИ и постоянно восклицают про отсутствие новизны, ничего своего, ивощеонтупой.
А взрослые мальчики, просто пытаются понять как он устроен.
https://openai.com/blog/multimodal-neurons/
Нейроны Холли Берри, Спайдер-Мена и пр.
(до "нейронов бабушки" дело не дошло пока)
"Пятнадцать лет назад обнаружили, что человеческий мозг обладает мультимодальными нейронами. Эти нейроны реагируют на кластеры абстрактных концепций, сосредоточенных вокруг общей высокоуровневой темы, а не на какой-либо конкретной визуальной функции. Самым известным из них был нейрон «Холли Берри», нейрон, описанный в журналах Scientific American и The New York Times, который реагирует на фотографии, зарисовки и даже(!) текст «Холли Берри» (но не на другие имена).
Два месяца назад OpenAI анонсировала CLIP, а теперь мы публикуем наше открытие о присутствии мультимодальных нейронов в CLIP. Одним из таких нейронов, например, является нейрон «Человек-паук» (имеющий поразительное сходство с нейроном «Холли Берри»), который реагирует на изображение паука, изображение текста «паук», книгу комиксов, персонажа «Человек-паук» либо в костюме, либо с иллюстрациями. Наше открытие мультимодальных нейронов в CLIP дает нам ключ к пониманию того, что может быть общим механизмом как синтетических, так и естественных систем зрения - абстракции. Мы обнаруживаем, что самые высокие уровни CLIP организуют изображения в виде свободной семантической коллекции идей, обеспечивая простое объяснение как универсальности модели, так и компактности представления."
1. Удивительная получается картина. Нейрофизиологи ковыряются в человеческих мозгах. А ИИ-физиологи, ковыряются в слоях нейросеток, пытаясь понять, как работает черный ящик.
Одни помогают другим понять, что находится под капотом.
"В рамках CLIP мы обнаруживаем высокоуровневые концепции, которые охватывают большую часть визуального лексикона человека - географические регионы, выражения лица, религиозную иконографию, известных людей и многое другое".
2. Картинки из этой статьи можно хоть сейчас на выставку, в галерею, в музей. Если немного задержаться у картинки, то смыслы начинают переть из нее сами. Только не говорите кожаным мешкам, что это ИИ.
3. "Мы считаем, что эти исследования CLIP только верхушка айсберга в понимании поведения CLIP, и мы приглашаем исследовательское сообщество присоединиться к улучшению нашего понимания CLIP и подобных ему моделей."
Еще раз: "Понимание Поведения ИИ(Clip)".
Это к вопросу о неолуддитах, которые все (давно и хорошо) понимают про ИИ и постоянно восклицают про отсутствие новизны, ничего своего, ивощеонтупой.
А взрослые мальчики, просто пытаются понять как он устроен.
https://openai.com/blog/multimodal-neurons/
OpenAI
Multimodal neurons in artificial neural networks
We’ve discovered neurons in CLIP that respond to the same concept whether presented literally, symbolically, or conceptually. This may explain CLIP’s accuracy in classifying surprising visual renditions of concepts, and is also an important step toward understanding…
This media is not supported in your browser
VIEW IN TELEGRAM
Ух ты, Нерфы на стероидах.
Это прям скачок в качестве.
В общем на входе тут риг из 18 камер ГоПро, а на выходе 3Д-видео и разные эффекты,в том числе из постпродакшена: произвольная траектория камеры, облет вокруг объекта, буллет-тайм из матрицы, сломо. Причем на разрешениях от 1К.
Ну и как я понял, использование минимальной разницы между кадрами позволяет упаковать эту красоту с 18 камер в какие-то жалкие 28 мегабайт.
represent a 10 second 30 FPS multi-view video recording by 18 cameras with a model size of just 28MB.
3dmpeg?
Anton Kaplanyan, тут тебя благодарят в титрах. Признавайся, что натворил!
https://neural-3d-video.github.io/
Это прям скачок в качестве.
В общем на входе тут риг из 18 камер ГоПро, а на выходе 3Д-видео и разные эффекты,в том числе из постпродакшена: произвольная траектория камеры, облет вокруг объекта, буллет-тайм из матрицы, сломо. Причем на разрешениях от 1К.
Ну и как я понял, использование минимальной разницы между кадрами позволяет упаковать эту красоту с 18 камер в какие-то жалкие 28 мегабайт.
represent a 10 second 30 FPS multi-view video recording by 18 cameras with a model size of just 28MB.
3dmpeg?
Anton Kaplanyan, тут тебя благодарят в титрах. Признавайся, что натворил!
https://neural-3d-video.github.io/
Media is too big
VIEW IN TELEGRAM
Недавно постил про бомбический дипфейк про Тома Круза.
В общем булочки пока можно расслабить.
Однокнопочного дипфейка такого качества пока не будет.
Ибо.
Дублером Тома Круза в этих роликах был официальный двойник Тома Круза - Miles Fisher.
Поэтому дипфейк с ним - это типа фейкдипфейк.
Verge разразился целой статьей по этому поводу, там подробности, кто и как его делал (Крис Уме). И почему он удалил видео и аккаунт.
Там много фоток и хорошее making of видео.
На создание роликов ушло два месяца на обучение базовых моделей (с использованием пары NVIDIA RTX 8000) на кадрах с Томом Крузом и несколько дней дальнейшей обработки для каждого клипа. После этого Уме пришлось просмотреть каждое видео, кадр за кадром, внося небольшие корректировки, чтобы добиться общего эффекта. «Самое сложное - заставить его выглядеть живым», - говорит он.
Так что, чуда нет. Двойник Тома Круза и пара месяцев работы.
https://www.theverge.com/2021/3/5/22314980/tom-cruise-deepfake-tiktok-videos-ai-impersonator-chris-ume-miles-fishe
В общем булочки пока можно расслабить.
Однокнопочного дипфейка такого качества пока не будет.
Ибо.
Дублером Тома Круза в этих роликах был официальный двойник Тома Круза - Miles Fisher.
Поэтому дипфейк с ним - это типа фейкдипфейк.
Verge разразился целой статьей по этому поводу, там подробности, кто и как его делал (Крис Уме). И почему он удалил видео и аккаунт.
Там много фоток и хорошее making of видео.
На создание роликов ушло два месяца на обучение базовых моделей (с использованием пары NVIDIA RTX 8000) на кадрах с Томом Крузом и несколько дней дальнейшей обработки для каждого клипа. После этого Уме пришлось просмотреть каждое видео, кадр за кадром, внося небольшие корректировки, чтобы добиться общего эффекта. «Самое сложное - заставить его выглядеть живым», - говорит он.
Так что, чуда нет. Двойник Тома Круза и пара месяцев работы.
https://www.theverge.com/2021/3/5/22314980/tom-cruise-deepfake-tiktok-videos-ai-impersonator-chris-ume-miles-fishe
Пока без комментариев.
Гляньте на ночь.
Генеративный контент в 3д.
ИИ, создающий миры под запрос.
https://youtu.be/hA0MsGWvmzs
Гляньте на ночь.
Генеративный контент в 3д.
ИИ, создающий миры под запрос.
https://youtu.be/hA0MsGWvmzs
YouTube
Promethean AI Keynote
Hope you enjoy this first extensive look at Promethean AI technology!
00:00 - Exterior building demo
04:57 - Introduction
07:23 - Level 1: Comprehension
10:47 - Level 2: Discovery
12:13 - Level 3/4: Suggestion/Composition
14:06 - Level 5: Transportation…
00:00 - Exterior building demo
04:57 - Introduction
07:23 - Level 1: Comprehension
10:47 - Level 2: Discovery
12:13 - Level 3/4: Suggestion/Composition
14:06 - Level 5: Transportation…
NFT, графика, инфлюенсеры, анимация, крипто-арт и человеческий потенциал.
Пост про сам-койн заходит в фб на третью сотню коментов, наверное это повод устроить крипто-арт-викенд и продолжить тему гуманизации крипты и криптовизации (брр, дрянь-термин) гуманоида.
Глядя на то, что происходит на крипто-аукционах становится понятно, что со старым мышлением туда даже соваться не стоит и это тема для следующего поста, а пока приведу пример, продолжающий мою мысль про сам-койн и оцифрованный потенциал.
Поговорим про реальный кейс.
Все вы знаете Пашу Мунтяна и Мистера Фримана.
Мистер Фриман - это не просто виртуальный инфлюенсер, это прото-инфлюенсер. Когда пиксели Лиль Микуелы еще не приобрели фертильность, Фриман уже жег на просторах интернета и жил своей жизнью.
В общем два дня назад Мистер Фриман зашел на OpenSea и в первый же день пошли продажи.
Что наводит меня на следующие мысли.
1. Крипто-арт - это не только англоязычный рынок. Аудитория Фримана - 1000:1 русскоязычная. Фанаты Фримана есть по всему миру, но в основном - это русскоговорящая аудитория.
2. В данном случае работает потенциал Фримана, накопленный годами. Не только образ, но и вся "экосистема" - контент + аудитория.
3. Фриман - это метамем. А мемы - это хиты крипто-арта.
4. В коментах про сам-койн высказывались отличные мысли про токенизацию диджитал личности , субстанций, человеческого достоинства, социального рейтинга и виртуальных инфлюенсеров. Все это здесь присутствует практически в одном флаконе.
5. А теперь внимание, Паша, как обычно, опередил время на пару-тройку лет и уже давно сделал MF-Coin - у Фримана есть своя монета!
(Вообще-то у него есть еще много интересных субстанций)
Мы кстати, пару лет назад даже принимали mf-coinы за билеты на один из Киевских CG EVENT-ов, и mf-coin вполне себе торгуется на крипто-биржах.
В общем, мистер Фриман - интереснейший кейс, который в связке с крипто-артом начинает играть удивительными красками. Тут и токенизированный потенциал виртуальной личности, и отличная графика с анимацией, и сообщество людей, обожающих Фримана, которые теперь имеют возможность конвертировать свою любовь во вполне себе реальные NFT. И это не донаты, это инвестиции.
Ибо рано или поздно уйдут, например, все медальоны из одной из коллекций, что удесятерит цену коллекции. Кстати, с каждой перепродажи мистер Фриман получит еще немного оцифрованной любви, так устроены крипто-арт продажи.
А я желаю Паше, чтобы Фриман полетел как следует на всех криптоплощадках.
Update: пока писал этот пост, Паша прислал мне известия про еще пяток продаж, так что Фриман жжет и потенциал его, вполне себе работает на него и на его создателей. И на его фанатов.
https://opensea.io/assets/0x495f947276749ce646f68ac8c248420045cb7b5e/76710954621293814021517577192663515291415149369826023063624470585066475487233
Мистер Фриман живет тут: https://mf0.me/
Пост про сам-койн заходит в фб на третью сотню коментов, наверное это повод устроить крипто-арт-викенд и продолжить тему гуманизации крипты и криптовизации (брр, дрянь-термин) гуманоида.
Глядя на то, что происходит на крипто-аукционах становится понятно, что со старым мышлением туда даже соваться не стоит и это тема для следующего поста, а пока приведу пример, продолжающий мою мысль про сам-койн и оцифрованный потенциал.
Поговорим про реальный кейс.
Все вы знаете Пашу Мунтяна и Мистера Фримана.
Мистер Фриман - это не просто виртуальный инфлюенсер, это прото-инфлюенсер. Когда пиксели Лиль Микуелы еще не приобрели фертильность, Фриман уже жег на просторах интернета и жил своей жизнью.
В общем два дня назад Мистер Фриман зашел на OpenSea и в первый же день пошли продажи.
Что наводит меня на следующие мысли.
1. Крипто-арт - это не только англоязычный рынок. Аудитория Фримана - 1000:1 русскоязычная. Фанаты Фримана есть по всему миру, но в основном - это русскоговорящая аудитория.
2. В данном случае работает потенциал Фримана, накопленный годами. Не только образ, но и вся "экосистема" - контент + аудитория.
3. Фриман - это метамем. А мемы - это хиты крипто-арта.
4. В коментах про сам-койн высказывались отличные мысли про токенизацию диджитал личности , субстанций, человеческого достоинства, социального рейтинга и виртуальных инфлюенсеров. Все это здесь присутствует практически в одном флаконе.
5. А теперь внимание, Паша, как обычно, опередил время на пару-тройку лет и уже давно сделал MF-Coin - у Фримана есть своя монета!
(Вообще-то у него есть еще много интересных субстанций)
Мы кстати, пару лет назад даже принимали mf-coinы за билеты на один из Киевских CG EVENT-ов, и mf-coin вполне себе торгуется на крипто-биржах.
В общем, мистер Фриман - интереснейший кейс, который в связке с крипто-артом начинает играть удивительными красками. Тут и токенизированный потенциал виртуальной личности, и отличная графика с анимацией, и сообщество людей, обожающих Фримана, которые теперь имеют возможность конвертировать свою любовь во вполне себе реальные NFT. И это не донаты, это инвестиции.
Ибо рано или поздно уйдут, например, все медальоны из одной из коллекций, что удесятерит цену коллекции. Кстати, с каждой перепродажи мистер Фриман получит еще немного оцифрованной любви, так устроены крипто-арт продажи.
А я желаю Паше, чтобы Фриман полетел как следует на всех криптоплощадках.
Update: пока писал этот пост, Паша прислал мне известия про еще пяток продаж, так что Фриман жжет и потенциал его, вполне себе работает на него и на его создателей. И на его фанатов.
https://opensea.io/assets/0x495f947276749ce646f68ac8c248420045cb7b5e/76710954621293814021517577192663515291415149369826023063624470585066475487233
Мистер Фриман живет тут: https://mf0.me/
OpenSea
The fair & the golden egg - Mr. Freeman | OpenSea
One of the comic pictures of Mr. Freeman (the original file) from the official graphic Telegram-channel.
GBCI - Все ближе к матрице. И к мозгу.
Я примерно года три уже пишу и рассказываю, что все идет к тому, что ИИ будет генерить визуальный контент, от которого нельзя будет отказаться.
Все в ужасе хихикают, но считают это дедушкиными сказками и сюжетом для фильма про ИИ.
Но смышленые ребята двигаются в этом направлении довольно быстро.
Ну и правда, все, что нужно, это веселые картинки, фидбек от мозга при их созерцании и немножко ИИ.
Итого читаем, как горячие финские парни сделали это:
Brain-computer interface for generating personally attractive images
ссылка в первом коменте.
Переводим на журналистский:
"Нейросеть создала индивидуально привлекательные изображения лиц по активности мозга".
Горячие Финские ученые обучили GAN использовать данные ЭЭГ и создавать на их основе изображения мужских и женских лиц, которые отвечают индивидуальным эстетическим предпочтениям отдельного человека. Точность, с которой она предсказала эстетические предпочтения участников, была выше восьмидесяти пяти процентов.
И пока психологи, криминалисты и косметологи впаривают вам информацию о том, как вы воспринимаете "красивое" лицо и что за этим стоит (на деле только домыслы и истории, призванные продавать больше симметричных или (если надо) асимметричных лиц), ИИ берет и делает. Причем не претендуя на "культурное наследие, сформировавшее этетический взгляд" и прочую мишуру, а индивидуально. Для каждого. Ибо у каждого свои гены, импринты, прошлые опыты и вообще все разные, если что.
Исследователи просили участников рассмотреть и оценить привлекательность образов, в то время как их мозговые реакции регистрировались с помощью ЭЭГ: использовался так называемый метод потенциала, связанного с событием (ПСС), который позволяет измерить отклик мозга на определенное ощущение, когнитивное или моторное событие (в данном случае — на эстетическое предпочтение). Но прежде участники посмотрели 8 серий по 4 изображения и выбирали по одному непривлекательному в каждой серии.
Исследователи одели датчики ЭЭГ на испытуемых, которым показывали картинки, а потом использовали данные ЭЭГ для GAN, так чтобы она могла обучаться создавать индивидуально привлекательные изображения лиц для каждого участника. Спустя два месяца участники пришли, чтобы оценить результаты. Для этого созданные по индивидуальным предпочтениям изображения поместили среди других непривлекательных и нейтральных в матрицу из двух рядов по 12 картинок, и участники нажимали, на те, которые считали привлекательными, а также оценивали их по шкале от 1 (очень непривлекательное) до 5 (очень привлекательное).
Оказалось, что 86,7 процента изображений, которые ИИ создал как привлекательные, участники считали привлекательными для себя.
В итоге: ИИ смог найти такую структуру данных, которая позволяет разделять реакции мозга на привлекательные и непривлекательные лица, и делает она это с высокой точностью (80+%).
Персонально, для вас.
Теперь немного дообобщим подход от лиц через котиков до общих пейзажей - и вот уже ваша персональная визуальная нирвана готова. Накрываем кожаного мешка виарчиком, питание подаем через маску от Razer или капельницу и ваша персональная матрица готова.
Думаете сможете отказаться? Хе, вы от смартфона не можете отказаться, а там пока еще нет этих персонально привлекательных картинок. Но скоро будут.
Ссылки и умные правильные слова ниже:
Я примерно года три уже пишу и рассказываю, что все идет к тому, что ИИ будет генерить визуальный контент, от которого нельзя будет отказаться.
Все в ужасе хихикают, но считают это дедушкиными сказками и сюжетом для фильма про ИИ.
Но смышленые ребята двигаются в этом направлении довольно быстро.
Ну и правда, все, что нужно, это веселые картинки, фидбек от мозга при их созерцании и немножко ИИ.
Итого читаем, как горячие финские парни сделали это:
Brain-computer interface for generating personally attractive images
ссылка в первом коменте.
Переводим на журналистский:
"Нейросеть создала индивидуально привлекательные изображения лиц по активности мозга".
Горячие Финские ученые обучили GAN использовать данные ЭЭГ и создавать на их основе изображения мужских и женских лиц, которые отвечают индивидуальным эстетическим предпочтениям отдельного человека. Точность, с которой она предсказала эстетические предпочтения участников, была выше восьмидесяти пяти процентов.
И пока психологи, криминалисты и косметологи впаривают вам информацию о том, как вы воспринимаете "красивое" лицо и что за этим стоит (на деле только домыслы и истории, призванные продавать больше симметричных или (если надо) асимметричных лиц), ИИ берет и делает. Причем не претендуя на "культурное наследие, сформировавшее этетический взгляд" и прочую мишуру, а индивидуально. Для каждого. Ибо у каждого свои гены, импринты, прошлые опыты и вообще все разные, если что.
Исследователи просили участников рассмотреть и оценить привлекательность образов, в то время как их мозговые реакции регистрировались с помощью ЭЭГ: использовался так называемый метод потенциала, связанного с событием (ПСС), который позволяет измерить отклик мозга на определенное ощущение, когнитивное или моторное событие (в данном случае — на эстетическое предпочтение). Но прежде участники посмотрели 8 серий по 4 изображения и выбирали по одному непривлекательному в каждой серии.
Исследователи одели датчики ЭЭГ на испытуемых, которым показывали картинки, а потом использовали данные ЭЭГ для GAN, так чтобы она могла обучаться создавать индивидуально привлекательные изображения лиц для каждого участника. Спустя два месяца участники пришли, чтобы оценить результаты. Для этого созданные по индивидуальным предпочтениям изображения поместили среди других непривлекательных и нейтральных в матрицу из двух рядов по 12 картинок, и участники нажимали, на те, которые считали привлекательными, а также оценивали их по шкале от 1 (очень непривлекательное) до 5 (очень привлекательное).
Оказалось, что 86,7 процента изображений, которые ИИ создал как привлекательные, участники считали привлекательными для себя.
В итоге: ИИ смог найти такую структуру данных, которая позволяет разделять реакции мозга на привлекательные и непривлекательные лица, и делает она это с высокой точностью (80+%).
Персонально, для вас.
Теперь немного дообобщим подход от лиц через котиков до общих пейзажей - и вот уже ваша персональная визуальная нирвана готова. Накрываем кожаного мешка виарчиком, питание подаем через маску от Razer или капельницу и ваша персональная матрица готова.
Думаете сможете отказаться? Хе, вы от смартфона не можете отказаться, а там пока еще нет этих персонально привлекательных картинок. Но скоро будут.
Ссылки и умные правильные слова ниже:
"Хотя мы мгновенно распознаем лицо как привлекательное, гораздо сложнее объяснить, что именно определяет личное влечение. Это говорит о том, что влечение зависит от неявной обработки сложных, культурно и индивидуально определенных черт. Генеративные состязательные нейронные сети (GAN), которые учатся имитировать сложные распределения данных, потенциально могут моделировать субъективные предпочтения, не ограниченные заранее определенной параметризацией модели. Здесь мы представляем генеративные интерфейсы мозг-компьютер (GBCI), связывающие GAN с интерфейсами мозг-компьютер. GBCI сначала представляет подборку изображений и фиксирует индивидуальные реакции привлекательности на изображения с помощью электроэнцефалографии. Эти реакции затем используются для управления моделью GAN, находя представление, которое соответствует характеристикам, составляющим привлекательный для человека образ. Мы провели эксперимент (N = 30) для проверки GBCI с использованием GAN, генерирующего лица, и создания изображений, которые предположительно являются привлекательными для каждого. При двойной слепой оценке изображений, полученных с помощью GBCI, по сравнению с подобранными контрольными объектами мы обнаружили, что GBCI дала очень точные результаты. Таким образом, использование ответов ЭЭГ для управления GAN представляет собой действенный инструмент для интерактивного генерирования информации. Кроме того, изображения, полученные с помощью GBCI, визуально воспроизводили известные эффекты социальной нейробиологии, предполагая, что индивидуально реагирующая, генеративная природа GBCI обеспечивает мощный новый инструмент для картирования индивидуальных различий и визуализации когнитивно-аффективной обработки."
https://ieeexplore.ieee.org/document/9353984/
https://ieeexplore.ieee.org/document/9353984/