Forwarded from LAMBDA_News
Пришлашаем завтра на научно-технический вебинар «Генеративные модели в науке и индустрии» от НТР.
Спикер: Гущин Михаил, Лямбда ФКН НИУ ВШЭ
Время: 27 июня 2023, 14:00 МСК
Ссылка для регистрации: https://ntr.ai/webinar/nauchno-tehnicheskij-vebinar-generativnye-modeli-v-nauke-i-industrii/
Спикер: Гущин Михаил, Лямбда ФКН НИУ ВШЭ
Время: 27 июня 2023, 14:00 МСК
Ссылка для регистрации: https://ntr.ai/webinar/nauchno-tehnicheskij-vebinar-generativnye-modeli-v-nauke-i-industrii/
Компания НТР | Разработка информационных систем
Научно-технический вебинар «Генеративные модели в науке и индустрии» | Компания НТР
Научно-технический вебинар «Генеративные модели в науке и индустрии» Компания НТР. Наш телефон в Москве: +7(495)230-08-99, Томске: +7 3822 48-85-32
Forwarded from Machine learning Interview
🔥Одна из самых популярных нейросетей - Stable diffusion, которая позволяет генерировать изображения на основании текстового запроса. Результаты ее работы удивляют и потрясают пользователей. Предлагаем разобраться в ее устройстве со стороны специалиста по компьютерному зрению на открытом уроке 12 июля в 20:00 мск.
На встрече вы узнаете принципы построения диффузионных моделей, как устроена модель Stable Diffusion, и какие задачи можно решать с ее помощью
Вебинар «Диффузионные модели. Stable diffusion и все-все-все» пройдет в рамках онлайн-курса «Компьютерное зрение» в OTUS.
📌 В результате урока вы:
- Изучите принцип работы и математические аспекты диффузионных моделей
- Поймете, как устроены основные блоки модели Stable Diffusion
- Получите понимание для каких задач можно использовать модель Stable Diffusion
- Узнаете возможное дальнейшее развитие диффузионных моделей
👉 Для участия зарегистрируйтесь https://otus.pw/bCuXc/
Урок будет полезен:
— Специалистам в области Computer Vision, NLP и ML-инженерам
— Тимлидам data science команд
— Тем, кто интересуется современными архитектурами в DL
Не упустите возможность протестировать курс! Продолжить обучение на нем возможно в рассрочку. Нативная интеграция подробная информация о продукте на сайте www.otus.ru
На встрече вы узнаете принципы построения диффузионных моделей, как устроена модель Stable Diffusion, и какие задачи можно решать с ее помощью
Вебинар «Диффузионные модели. Stable diffusion и все-все-все» пройдет в рамках онлайн-курса «Компьютерное зрение» в OTUS.
- Изучите принцип работы и математические аспекты диффузионных моделей
- Поймете, как устроены основные блоки модели Stable Diffusion
- Получите понимание для каких задач можно использовать модель Stable Diffusion
- Узнаете возможное дальнейшее развитие диффузионных моделей
Урок будет полезен:
— Специалистам в области Computer Vision, NLP и ML-инженерам
— Тимлидам data science команд
— Тем, кто интересуется современными архитектурами в DL
Не упустите возможность протестировать курс! Продолжить обучение на нем возможно в рассрочку. Нативная интеграция подробная информация о продукте на сайте www.otus.ru
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from DeepSchool
Self-Supervised Learning (SSL)
Возможно, вы замечали, что этот термин все чаще мелькает в статьях про архитектуры моделей или разные трюки при обучении. И это легко объясняется пользой этого подхода.
SSL помогает уменьшать потребление размеченных данных, быстрее обучать модельки и извлекать качественные эмбеддинги из ваших данных. Поверх таких эмбеддингов можно строить совсем простые модели, которые зачастую решают целевую задачу не хуже, чем целая сеть, обученная под эту целевую задачу.
Из этой статьи вы узнаете:
- что такое self-supervised learning
- какая история у self-supervised learning
- зачем он нужен
- и каким он бывает
Читайте нашу статью и разбирайтесь в популярной теме: https://deepschool-pro.notion.site/Self-supervised-learning-f4a03ba2f30341afa3c295466007afbc?pvs=4
Возможно, вы замечали, что этот термин все чаще мелькает в статьях про архитектуры моделей или разные трюки при обучении. И это легко объясняется пользой этого подхода.
SSL помогает уменьшать потребление размеченных данных, быстрее обучать модельки и извлекать качественные эмбеддинги из ваших данных. Поверх таких эмбеддингов можно строить совсем простые модели, которые зачастую решают целевую задачу не хуже, чем целая сеть, обученная под эту целевую задачу.
Из этой статьи вы узнаете:
- что такое self-supervised learning
- какая история у self-supervised learning
- зачем он нужен
- и каким он бывает
Читайте нашу статью и разбирайтесь в популярной теме: https://deepschool-pro.notion.site/Self-supervised-learning-f4a03ba2f30341afa3c295466007afbc?pvs=4
deepschool-pro on Notion
Self-supervised learning | Notion
Автор: Марк Страхов
Редактура: Андрей Шадриков
Редактура: Андрей Шадриков
Forwarded from Yandex for ML
Пока вы наслаждаетесь тёплым летом, мы готовим для вас большую конференцию по прикладному Machine Learning — чтобы обсудить все изменения, которые постоянно происходят в ML-отрасли, и то, как их можно внедрить в свои проекты.
7 сентября вас ждут 500 экспертов, 8 профильных направлений и опытные ML-инженеры, которые меняют сферу уже сейчас. Поговорим о ключевых вопросах индустрии: генеративных моделях, Research, NLP, Hardware, CV, RecSys, MLOps и Ecomm.
Если вы хотите прочитать доклад о прикладном ML, то заполняйте форму до 17 июля. А если нет — save the date и ждите новые подробности: скоро мы начнём рассказывать о программе Practical ML Conf 2023.
До встречи 7 сентября на Practical ML Conf в Москве или онлайн!
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
Как бороться с утечкой данных в машинном обучении
Команда VK Cloud перевела статью о том, как информация из тестового датасета ошибочно попадает в обучающий, какие у этого могут быть последствия.
В статье описываются примеры реальных датасетов со способами предотвращения утечки данных: проверки вручную, пайплайнами, перекрёстным контролем и др.
🔗 Хабр: https://habr.com/ru/companies/vk/articles/746360/
ai_machinelearning_big_data
Команда VK Cloud перевела статью о том, как информация из тестового датасета ошибочно попадает в обучающий, какие у этого могут быть последствия.
В статье описываются примеры реальных датасетов со способами предотвращения утечки данных: проверки вручную, пайплайнами, перекрёстным контролем и др.
🔗 Хабр: https://habr.com/ru/companies/vk/articles/746360/
ai_machinelearning_big_data
Forwarded from Machine learning Interview
Встречай AI Generative Product Hackathon, где участники создадут инновационные продукты, экспериментируя с технологиями ChatGPT, Midjourney и elDinero.ai
Партнеры хакатона — компании с мировым именем, чьи продукты мы используем каждый день: Unilever в России, Ашан, Danone, Tefal, Альфа-банк.
Соорганизаторы — крупнейшая в стране магистратура инженерии машинного обучения AI Talent Hub университета ИТМО, AI-компания Napoleon IT и разработчик CDP платформы Konnektu.
◾️Призовой фонд — 600 000
◾️Более 30 мест для стажировок в компаниях-партнерах
◾️Регистрация до 31 июля
Участниками могут стать: ML-инженеры, аналитики данных, промпт-инженеры, продакт-менеджеры, маркетологи, бренд-менеджеры и студенты IT-специальностей.
Лучшие решения получат не только денежный приз, но и возможность реализации в компаниях-партнерах или в качестве самостоятельного стартапа с первыми инвестициями.
Стань частью крутой команды или создай свою собственную, заполни заявку по ссылке
Партнеры хакатона — компании с мировым именем, чьи продукты мы используем каждый день: Unilever в России, Ашан, Danone, Tefal, Альфа-банк.
Соорганизаторы — крупнейшая в стране магистратура инженерии машинного обучения AI Talent Hub университета ИТМО, AI-компания Napoleon IT и разработчик CDP платформы Konnektu.
◾️Призовой фонд — 600 000
◾️Более 30 мест для стажировок в компаниях-партнерах
◾️Регистрация до 31 июля
Участниками могут стать: ML-инженеры, аналитики данных, промпт-инженеры, продакт-менеджеры, маркетологи, бренд-менеджеры и студенты IT-специальностей.
Лучшие решения получат не только денежный приз, но и возможность реализации в компаниях-партнерах или в качестве самостоятельного стартапа с первыми инвестициями.
Стань частью крутой команды или создай свою собственную, заполни заявку по ссылке
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
Не знаю, видели ли вы уже новую text2video генерацию от Pika labs?
В общем, это еще один сервис, типа миджорни, но для генерации видео по тексту. И тоже в дискорде, где с помощью команды
🔹На вход также можно подать картинку и попросить оживить ее на основе заданного промпта.
🔹Я так подозреваю, там опять же все основано на Latent Diffusion, но просто предсказывают сразу пачку кадров вместо одного.
🔹Как мы видим, такого рода модели все ещё не могу генерить очень диинамнческие сцены. А вот для статических сцен с небольшим движением они очень даже неплохи.
Прикрепленное видео полность сгенерировано (состоит из нескольких склеенных кусочков).
Инвайт в дискорд: discord.gg/pika
@ai_newz
В общем, это еще один сервис, типа миджорни, но для генерации видео по тексту. И тоже в дискорде, где с помощью команды
/create PROMPT можно сгенерить трехсекундное видео. 🔹На вход также можно подать картинку и попросить оживить ее на основе заданного промпта.
🔹Я так подозреваю, там опять же все основано на Latent Diffusion, но просто предсказывают сразу пачку кадров вместо одного.
🔹Как мы видим, такого рода модели все ещё не могу генерить очень диинамнческие сцены. А вот для статических сцен с небольшим движением они очень даже неплохи.
Прикрепленное видео полность сгенерировано (состоит из нескольких склеенных кусочков).
Инвайт в дискорд: discord.gg/pika
@ai_newz
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
В комментах скинули сравнения text2video моделей Gen-2 и Pika.
Gen-2 беспощадно уничтожает Пику. Качество видео у Gen-2 стало просто на голову выше (когда я раньше ее тестил, у меня получался полный мрак).
Хотя, кажется, что не совсем корректное сравнение провели, ведь под каждую модель нужно подбирать свои промпты, чтобы выжать из модели максимальный результат. Если промпты оттачивали на Gen-2, а затем вслепую перенесли на Пику, то такой результат ожидаем. Тут у бедной Пики вообще ничего не двигается.
@ai_newz
Gen-2 беспощадно уничтожает Пику. Качество видео у Gen-2 стало просто на голову выше (когда я раньше ее тестил, у меня получался полный мрак).
Хотя, кажется, что не совсем корректное сравнение провели, ведь под каждую модель нужно подбирать свои промпты, чтобы выжать из модели максимальный результат. Если промпты оттачивали на Gen-2, а затем вслепую перенесли на Пику, то такой результат ожидаем. Тут у бедной Пики вообще ничего не двигается.
@ai_newz
Forwarded from ODS Events
Привет!
Рады сообщить, что регистрация на осенний сезон активностей сообщества Open Data Science открыта 🎉
Вас ждут:
🚀🆕Новинка сезона: новая часть базового ML курса – Open ML Course: Деревья и их ансамбли. Узнайте больше о регрессивных деревьях и случайных лесах.
🚀Третий запуск курса Open ML Course: Линейные модели, приходите освежить свои знания о линейной и логистической регрессиях, метриках, валидации и генерации признаков.
🚀Запуск обновлённого курса ML System Design с Дмитрием Колодезевым, теперь полностью онлайн. Курс подойдет для тех, кто только начинает свой путь к дизайну систем машинного обучения, а также для тех, что хочет обновить свои знания.
🚀Пятый запуск курса Natural Language Processing course с Валентином Малых, наш абсолютный рекордсмен по количеству стримов, традиционно на английском.
🚀Перезапуск курса по Deep Reinforcement Learning с Антоном Плаксиным. Если не успели на прошлый поток – ловите этот шанс.
Поддержите авторов курсов 🫶
Ваши регистрации, активность в чатах telegram и matrix, а также эмодзи на страницах наших открытых и бесплатных курсов на сайте ods.ai – лучшая мотивация.
👀 Не пропустите регистрацию, во многие курсы вкатиться в процессе не так-то просто, а следующего запуска чаще всего приходится ждать целый год 📅
🤗 По итогу каждого запуска, топ лучших студентов получают фирменные футболки от сообщества 🎁
🤝 Если у вас есть идеи и материалы для нового курса, которым хотелось бы поделиться с участниками сообщества – заполните форму ❤️
Рады сообщить, что регистрация на осенний сезон активностей сообщества Open Data Science открыта 🎉
Вас ждут:
🚀🆕Новинка сезона: новая часть базового ML курса – Open ML Course: Деревья и их ансамбли. Узнайте больше о регрессивных деревьях и случайных лесах.
🚀Третий запуск курса Open ML Course: Линейные модели, приходите освежить свои знания о линейной и логистической регрессиях, метриках, валидации и генерации признаков.
🚀Запуск обновлённого курса ML System Design с Дмитрием Колодезевым, теперь полностью онлайн. Курс подойдет для тех, кто только начинает свой путь к дизайну систем машинного обучения, а также для тех, что хочет обновить свои знания.
🚀Пятый запуск курса Natural Language Processing course с Валентином Малых, наш абсолютный рекордсмен по количеству стримов, традиционно на английском.
🚀Перезапуск курса по Deep Reinforcement Learning с Антоном Плаксиным. Если не успели на прошлый поток – ловите этот шанс.
Поддержите авторов курсов 🫶
Ваши регистрации, активность в чатах telegram и matrix, а также эмодзи на страницах наших открытых и бесплатных курсов на сайте ods.ai – лучшая мотивация.
👀 Не пропустите регистрацию, во многие курсы вкатиться в процессе не так-то просто, а следующего запуска чаще всего приходится ждать целый год 📅
🤗 По итогу каждого запуска, топ лучших студентов получают фирменные футболки от сообщества 🎁
🤝 Если у вас есть идеи и материалы для нового курса, которым хотелось бы поделиться с участниками сообщества – заполните форму ❤️
Forwarded from Machinelearning
Присоединяйтесь к TechTrain 2023 Autumn — онлайн-фестивалю, посвященному машинному обучению и искусственному интеллекту.
В программе — классическое ML, Computer Vision, NLP, ASR, RecSys, LLMs и MLOps. Обязательно будут обсуждения прикладного использования ML на примере конкретных проектов. Обзор таких тем, как графовые модели, генеративные нейросети, AI в разработке и другое.
Участников ждут как актуальные практики применения ML&AI, так и дискуссии со спикерами и экспертами.
Проводит фестиваль JUG Ru Group — организатор крупных технических IT-конференций и митапов для разработчиков. Дата проведения: 30 августа.
Читайте подробности и регистрируйтесь бесплатно — на сайте.
В программе — классическое ML, Computer Vision, NLP, ASR, RecSys, LLMs и MLOps. Обязательно будут обсуждения прикладного использования ML на примере конкретных проектов. Обзор таких тем, как графовые модели, генеративные нейросети, AI в разработке и другое.
Участников ждут как актуальные практики применения ML&AI, так и дискуссии со спикерами и экспертами.
Проводит фестиваль JUG Ru Group — организатор крупных технических IT-конференций и митапов для разработчиков. Дата проведения: 30 августа.
Читайте подробности и регистрируйтесь бесплатно — на сайте.
Forwarded from DLStories
В конце июня в Ванкувере была конференция CVPR (на которую у меня был билет, но я не поехала, потому что Канада не выдала визу в срок😒)
CVPR — самая масштабная конференция по computer vision, на которой много воркшопов и туториалов.
Воркшоп — это раздел конференции, где собраны доклады вокруг конкретной темы. Например, event-based vision или Vision-Centric Autonomous Driving. Это часто либо более обзорные доклады, чем те, что на основной конференции, либо вообще work in progress — доклады об исследованиях, которые еще не закончены, и в которых еще не получены явные результаты. Туториал — это также раздел с докладами на определенную тему, но они более вводные и более глубокие, дающие представление о конкретном разделе исследования. То есть, такой мини-курс. Часто еще на туториалах бывает интерактив (практика).
И вот вам списки туториалов и воркшопов с CVPR-2023:
- Воркшопы;
- Туториалы.
Видео многих из них к этому моменту уже выложены в открытый доступ, а некоторые будут выложены в ближайшее время.
Конкретно я буду смотреть туториал Recent Advances in Vision Foundation Models
#learning
CVPR — самая масштабная конференция по computer vision, на которой много воркшопов и туториалов.
Воркшоп — это раздел конференции, где собраны доклады вокруг конкретной темы. Например, event-based vision или Vision-Centric Autonomous Driving. Это часто либо более обзорные доклады, чем те, что на основной конференции, либо вообще work in progress — доклады об исследованиях, которые еще не закончены, и в которых еще не получены явные результаты. Туториал — это также раздел с докладами на определенную тему, но они более вводные и более глубокие, дающие представление о конкретном разделе исследования. То есть, такой мини-курс. Часто еще на туториалах бывает интерактив (практика).
И вот вам списки туториалов и воркшопов с CVPR-2023:
- Воркшопы;
- Туториалы.
Видео многих из них к этому моменту уже выложены в открытый доступ, а некоторые будут выложены в ближайшее время.
Конкретно я буду смотреть туториал Recent Advances in Vision Foundation Models
#learning
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
Новый фреймворк для переноса создания любого стиля на видео.
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
Онлайн-конференция по большим данным от Х5 Tech
В программе:
🎯 Развитие команды аналитики в сервисе доставки из магазинов «Пятёрочка»: зарождение продукта, трудности, неудачные решения.
🎯 Как работает Data-спецназ X5 Tech, автоматизация А/Б тестирования в оффлайне и что делать математику в ритейле.
🎯 Необходимые инструменты мониторинга и управления, когда число IT-продуктов и ML-моделей исчисляется сотнями. Подходы к оптимизации распределения ресурсов и учет рисков.
🎯 Классический подход к проведению рекламы VS AdHoc-подход на основе эконометрической модели: ключевые факторы динамики трафика, влияние РК, оценка ROI и оптимизация затрат с помощью big data.
📅 31 августа, начало в 11:00
🌐 Формат - онлайн
Зарегистрироваться
В программе:
🎯 Развитие команды аналитики в сервисе доставки из магазинов «Пятёрочка»: зарождение продукта, трудности, неудачные решения.
🎯 Как работает Data-спецназ X5 Tech, автоматизация А/Б тестирования в оффлайне и что делать математику в ритейле.
🎯 Необходимые инструменты мониторинга и управления, когда число IT-продуктов и ML-моделей исчисляется сотнями. Подходы к оптимизации распределения ресурсов и учет рисков.
🎯 Классический подход к проведению рекламы VS AdHoc-подход на основе эконометрической модели: ключевые факторы динамики трафика, влияние РК, оценка ROI и оптимизация затрат с помощью big data.
📅 31 августа, начало в 11:00
🌐 Формат - онлайн
Зарегистрироваться
Forwarded from Machinelearning
🧑 FaceChain
Deep-learning toolchain for generating your Digital-Twin.
FaceChain — это набор инструментов машинного обучения для создания собственного цифрового двойника.
Всего из одной портретной фотографию, вы можете создать своего собственного цифрового двойника и начать генерировать персональные портреты с различными настройками.
🖥 Github: https://github.com/modelscope/facechain
📕 Paper: https://arxiv.org/abs/2308.14256v1
🖥 Colab: https://colab.research.google.com/drive/1cUhnVXseqD2EJiotZk3k7GsfQK9_yJu_?usp=sharing
⭐️ Dataset: https://paperswithcode.com/dataset/fairface
ai_machinelearning_big_data
Deep-learning toolchain for generating your Digital-Twin.
FaceChain — это набор инструментов машинного обучения для создания собственного цифрового двойника.
Всего из одной портретной фотографию, вы можете создать своего собственного цифрового двойника и начать генерировать персональные портреты с различными настройками.
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from RuCode Festival
This media is not supported in your browser
VIEW IN TELEGRAM
Хочешь создавать в нейросетях качественные видео без водяного знака – плати за подписку 😐 На это правило нашлось исключение!
«Яндекс» внедрил в нейросети «Шедеврум» технологию генерации видеороликов. Теперь это первая российская нейронная сеть для производства видео🥇
Пользователи приложения «Шедеврум» могут создавать короткие ролики длиной четыре секунды с частотой 24 кадра в секунду. Новая возможность пригодится для общения в мессенджерах и соцсетях, оформления презентаций и проектов, производства контента специалистам в сфере маркетинга и просто самовыражения!
Как создать видео в «Шедеврум»:
▪ Составь текстовый запрос. Приложение предложит четыре варианта первого кадра и набор анимационных эффектов для создания движения.
▪ Выбери первый кадр и 1 из 7-ми переходов.
▪ Нейросеть создаст видео на основе выбранного изображения и его измененных версий, объединив все одним эффектом.
Источник - iphones.ru
#десятилетиенауки #МинобрнаукиРоссии #популяризациянауки
«Яндекс» внедрил в нейросети «Шедеврум» технологию генерации видеороликов. Теперь это первая российская нейронная сеть для производства видео🥇
Пользователи приложения «Шедеврум» могут создавать короткие ролики длиной четыре секунды с частотой 24 кадра в секунду. Новая возможность пригодится для общения в мессенджерах и соцсетях, оформления презентаций и проектов, производства контента специалистам в сфере маркетинга и просто самовыражения!
Как создать видео в «Шедеврум»:
▪ Составь текстовый запрос. Приложение предложит четыре варианта первого кадра и набор анимационных эффектов для создания движения.
▪ Выбери первый кадр и 1 из 7-ми переходов.
▪ Нейросеть создаст видео на основе выбранного изображения и его измененных версий, объединив все одним эффектом.
Источник - iphones.ru
#десятилетиенауки #МинобрнаукиРоссии #популяризациянауки
Робот для сбора фруктов
https://vk.com/video-197117426_456279914
https://vk.com/video-197117426_456279914
Vk
Галилео | Чудо Инженерии
vk video
Forwarded from Machinelearning
This media is not supported in your browser
VIEW IN TELEGRAM
🧑 ReliTalk - Drive any portrait with only a single training video required
Vivid audio-driven portraits from monocular videos.
Новый фреймворк для создания реалистичных, говорящих портретов на основе видео.
🖥 Github: https://github.com/arthur-qiu/ReliTalk
📕 Paper: https://arxiv.org/abs/2309.02434
⏩ Demo Video: https://www.youtube.com/watch?v=tS2Tek_72J0
⭐️ Project: http://haonanqiu.com/projects/ReliTalk.html
ai_machinelearning_big_data
Vivid audio-driven portraits from monocular videos.
Новый фреймворк для создания реалистичных, говорящих портретов на основе видео.
ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Институт AIRI
Исследователи AIRI при поддержке Сбера создали библиотеку, которая поможет снизить выбросы CO2 в процессе обучения нейросетей 💡
Eco4cast позволяет отслеживать, как много энергии потребляется на разных этапах обучения систем, и конвертировать эти показатели в объемы выбросов CO2.
⚙ Встроенная нейросеть использует данные для выбора одного из 13 облачных сервисов в разных регионах мира, при использовании которого процесс обучения системы ИИ будет оставлять минимальный углеродный след. Так исследователи называют условный показатель количества энергии, затраченной на тот или иной процесс.
Первые предварительные проверки подхода показали, что он позволяет сократить выбросы примерно на 90%. Эта разработка поможет снизить затраты на обучение нейросетей и уменьшить связанные с этим процессом выбросы парниковых газов.
📎 Алгоритм Eco4cast опубликован в открытом доступе, делимся ссылкой на Github
📎 Подробнее про исследование читайте на ТАСС Наука
Eco4cast позволяет отслеживать, как много энергии потребляется на разных этапах обучения систем, и конвертировать эти показатели в объемы выбросов CO2.
Первые предварительные проверки подхода показали, что он позволяет сократить выбросы примерно на 90%. Эта разработка поможет снизить затраты на обучение нейросетей и уменьшить связанные с этим процессом выбросы парниковых газов.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from эйай ньюз
Beyond Surface Statistics:
Scene Representations in a Latent Diffusion Model
Вышла интересная статья, где показали, что Latent Diffusion (LDM) выучивает информацию о глубине сцены в своих latent фичах.
Проверили очень просто - взяли фичи из промежуточных self-attenion слоев у Stable Diffusion v1 и натренили линейную регрессию восстанавливать глубину и saliency (это по сути бинарная сегментация). По одному лин-регу на каждый слой и на каждый шаг солвера t.
Итак, мы видим, что уже после пяти шагов солвера, фичи содержат довольно много инфы о глубине объектов, в то время как сам объект еще не разобрать.
А самая точная глубина содержится в первом self-attention слое декодера Unet.
Еще авторы показали, что можно отредактировать фичи, которые соответствуют инфе о глубине так, что передвинется объект на итоговой генерации.
Cтатья подтвердила интуицию о том, что LDM учит неявное 3D представление об объектах, иначе она бы не смогла генерить такие качественные изображения и эффекты вроде блюра.
@ai_newz
Scene Representations in a Latent Diffusion Model
Вышла интересная статья, где показали, что Latent Diffusion (LDM) выучивает информацию о глубине сцены в своих latent фичах.
Проверили очень просто - взяли фичи из промежуточных self-attenion слоев у Stable Diffusion v1 и натренили линейную регрессию восстанавливать глубину и saliency (это по сути бинарная сегментация). По одному лин-регу на каждый слой и на каждый шаг солвера t.
Итак, мы видим, что уже после пяти шагов солвера, фичи содержат довольно много инфы о глубине объектов, в то время как сам объект еще не разобрать.
А самая точная глубина содержится в первом self-attention слое декодера Unet.
Еще авторы показали, что можно отредактировать фичи, которые соответствуют инфе о глубине так, что передвинется объект на итоговой генерации.
Cтатья подтвердила интуицию о том, что LDM учит неявное 3D представление об объектах, иначе она бы не смогла генерить такие качественные изображения и эффекты вроде блюра.
@ai_newz