Forwarded from DLStories
Ребята из Nvidia и CalTech придумали суперпростой, но при этом суперэффективный метод защиты картинок от adversarial attack. Называется он DiffPure и заключается вот в чем:
- берем атакованную картинку, немного зашумляем гауссовым шумом;
- восстанавливаем зашумленную картинку обратно с помощью диффузионной модели.
Так как зашумляли атакованную картинку несильно, визуально для человека картинка практически не изменится. А вот те претурбации картинки, что вызывали конфуз сети, исчезнут.
Иллюстрация метода — на 1 картинке к посту.
Эксперименты показывают, что такой алгоритм работает круче остальных SOTA методов на разных видах атак, датасетах и моделях (2 картинка к посту) При этом DiffPure не требует сбора дополнительных данных и никакого (до)обучения, и все равно обгоняет по качеству модели, которые были специально дообучены на adversarial примерах.
Выгод здесь тонна:
- не нужно тратить время и собирать данные для дообучения;
- дообучение на adversarial данных обычно ухудшает общее качество работы модели на неатакованных (clean) картинках. А DiffPure саму модель не меняет: он меняет картинки (т.е. решает задачу adversarial purification, а не adversarial training). Поэтому общее качество модели остается прежним, качество на adversarial картинках (robust accuracy) сильно растет;
- DiffPure отлично справляется с unseen attack (3 картинка к посту) То есть, с типами атак, которые модель не видела во время обучения. Ну, оно и неудивительно: обучения-то нет).
Ссылки:
Сайт проекта
Статья
Код на GitHub
Инфу о статье нашла тут
- берем атакованную картинку, немного зашумляем гауссовым шумом;
- восстанавливаем зашумленную картинку обратно с помощью диффузионной модели.
Так как зашумляли атакованную картинку несильно, визуально для человека картинка практически не изменится. А вот те претурбации картинки, что вызывали конфуз сети, исчезнут.
Иллюстрация метода — на 1 картинке к посту.
Эксперименты показывают, что такой алгоритм работает круче остальных SOTA методов на разных видах атак, датасетах и моделях (2 картинка к посту) При этом DiffPure не требует сбора дополнительных данных и никакого (до)обучения, и все равно обгоняет по качеству модели, которые были специально дообучены на adversarial примерах.
Выгод здесь тонна:
- не нужно тратить время и собирать данные для дообучения;
- дообучение на adversarial данных обычно ухудшает общее качество работы модели на неатакованных (clean) картинках. А DiffPure саму модель не меняет: он меняет картинки (т.е. решает задачу adversarial purification, а не adversarial training). Поэтому общее качество модели остается прежним, качество на adversarial картинках (robust accuracy) сильно растет;
- DiffPure отлично справляется с unseen attack (3 картинка к посту) То есть, с типами атак, которые модель не видела во время обучения. Ну, оно и неудивительно: обучения-то нет).
Ссылки:
Сайт проекта
Статья
Код на GitHub
Инфу о статье нашла тут
Forwarded from DeepSchool
Дешево считаем в облаке, если нет GPU
Когда у студентов нашего курса возникают проблемы с их машинами, мы выдаем кредиты на аренду GPU в сервисе vast.ai.
Чтобы было проще познакомиться с сервисом и настроить удаленную работу, мы написали туториал. В нем мы рассказали как выбрать машину, настроить удаленное подключение и работать в VSCode так, будто GPU стоит на вашем компьютере.
Если вы тоже можете платить криптой или зарубежной картой и ищете дешевую машину для краткосрочных проектов, то наш туториал будет полезен и вам.
Читайте и сохраняйте на будущее: https://telegra.ph/Deshevo-schitaem-v-oblake-esli-net-GPU-vastai--VSCode-01-14 😉
Когда у студентов нашего курса возникают проблемы с их машинами, мы выдаем кредиты на аренду GPU в сервисе vast.ai.
Чтобы было проще познакомиться с сервисом и настроить удаленную работу, мы написали туториал. В нем мы рассказали как выбрать машину, настроить удаленное подключение и работать в VSCode так, будто GPU стоит на вашем компьютере.
Если вы тоже можете платить криптой или зарубежной картой и ищете дешевую машину для краткосрочных проектов, то наш туториал будет полезен и вам.
Читайте и сохраняйте на будущее: https://telegra.ph/Deshevo-schitaem-v-oblake-esli-net-GPU-vastai--VSCode-01-14 😉
Telegraph
Дешево считаем в облаке если нет GPU: vast.ai + VSCode
Автор: Тимур ФатыховРедактор: Александр Гончаренко В этом гайде мы покажем как связать VSCode с облачной GPU, арендованной на vast.ai. При этом, все будет выглядеть так, как будто вы считаете на своем компьютере, а не где-то в облаке. Важное замечание перед…
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
Хорошие новости для представителей дизайнерских профессий. Теперь Stable Diffusion зашёл в Photoshop бесплатно (не то, что предыдущий плагин за $50/мес).
Более того новый плагин Stable.art ещё и в оупенсорсе и лежит на гитхабе. Плагин использует Automatic1111 как бекенд, который крутит сеть локально либо в Google Colab. Нужна только машина с GPU либо подписка на Коллаб.
@ai_newz
Более того новый плагин Stable.art ещё и в оупенсорсе и лежит на гитхабе. Плагин использует Automatic1111 как бекенд, который крутит сеть локально либо в Google Colab. Нужна только машина с GPU либо подписка на Коллаб.
@ai_newz
Видео про библиотеку компьютерного зрения Kornia
https://www.youtube.com/watch?v=I769seMhZkU
https://kornia.github.io/
Вы узнаете:
- Почему Kornia применяется в обучении нейронных сетей и PyTorch, а OpenCV — нет
- За счет чего Kornia работает в разы быстрее, чем OpenCV
- Какие продвинутые функции потерь и алгоритмы для моделей CV предоставляет Kornia
- Как написать алгоритм, которые автоматически сшивает несколько фотографий в панорамный снимок
- Почему Kornia — это лучший инструмент для задач, связанных с геометрией изображений
https://www.youtube.com/watch?v=I769seMhZkU
https://kornia.github.io/
Вы узнаете:
- Почему Kornia применяется в обучении нейронных сетей и PyTorch, а OpenCV — нет
- За счет чего Kornia работает в разы быстрее, чем OpenCV
- Какие продвинутые функции потерь и алгоритмы для моделей CV предоставляет Kornia
- Как написать алгоритм, которые автоматически сшивает несколько фотографий в панорамный снимок
- Почему Kornia — это лучший инструмент для задач, связанных с геометрией изображений
YouTube
Kornia - убийца OpenCV? // Демо-занятие курса «Компьютерное зрение»
Дифференцируемая библиотека компьютерного зрения Kornia
Вы узнаете:
- Почему Kornia применяется в обучении нейронных сетей и PyTorch, а OpenCV - нет
- За счет чего Kornia работает в разы быстрее чем OpenCV
- Какие продвинутые функции потерь и алгоритмы для…
Вы узнаете:
- Почему Kornia применяется в обучении нейронных сетей и PyTorch, а OpenCV - нет
- За счет чего Kornia работает в разы быстрее чем OpenCV
- Какие продвинутые функции потерь и алгоритмы для…
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
❤️🔥Вышел апдейт плагина Stable Diffusion V1.2.0 для Photoshop, включающий ControlNet
- Поддержка ControlNet (особенно круто генерит по скетчам в моде "canny")
- Устанавливаешь в один клик и наслаждаешься работой.
- Добавлен режим "Heal Brush", который позволяет легко удалять любые объекты или предметы из любого изображения.
- Live Preview результатов генерации
- Можно гонять как на локальной GPU, так и в облаке
Все-таки это огромный переворот в том, как сейчас должны работать успешные художники и дизайнеры.
GitHub
@ai_newz
- Поддержка ControlNet (особенно круто генерит по скетчам в моде "canny")
- Устанавливаешь в один клик и наслаждаешься работой.
- Добавлен режим "Heal Brush", который позволяет легко удалять любые объекты или предметы из любого изображения.
- Live Preview результатов генерации
- Можно гонять как на локальной GPU, так и в облаке
Все-таки это огромный переворот в том, как сейчас должны работать успешные художники и дизайнеры.
GitHub
@ai_newz
Forwarded from DeepSchool
Матчинг гистограмм
В новой статье разберем и покажем один из методов доменной адаптации. С его помощью вы сможете быстро и дешево расширить датасет.
В статье пройдемся по основным этапам алгоритма, чтобы вы разобрались, как одна картинка приобретает черты другой при помощи матчинга гистограм.
Читайте подробнее по ссылке: https://deepschool-pro.notion.site/884b0a10c9ac4b97b03fc1e23b4cface
В новой статье разберем и покажем один из методов доменной адаптации. С его помощью вы сможете быстро и дешево расширить датасет.
В статье пройдемся по основным этапам алгоритма, чтобы вы разобрались, как одна картинка приобретает черты другой при помощи матчинга гистограм.
Читайте подробнее по ссылке: https://deepschool-pro.notion.site/884b0a10c9ac4b97b03fc1e23b4cface
DeepSchool on Notion
Матчинг гистограмм | Notion
Автор: Ксения Рябинова
Редактура: Александр Гончаренко
Редактура: Александр Гончаренко
Forwarded from Градиентное погружение (Максим Герасимов)
🧹 Автоматическая чистка данных
Cleanlab и CleanVision - это два мощных инструмента для автоматической чистки датасетов.
Cleanlab - инструмент способный находить в наборах проблемные метки используя популярные фреймворки (torch, hf, sk-learn) и такие модальности как текст, изображения, табличные данные и звук.
CleanVision - позволяет находить копии и пересветы изображений, а также другие артефакты в датасетах компьютерного зрения.
Я попробовал второй инструмент во время участия в соревновании по классификации. Пара строк кода помогла мне найти и визуализировать проблемные места за 20 минут на датасете из 80к картинок.
CleanVision
Cleanlab
Демонстрация label issue ImageNet
Cleanlab и CleanVision - это два мощных инструмента для автоматической чистки датасетов.
Cleanlab - инструмент способный находить в наборах проблемные метки используя популярные фреймворки (torch, hf, sk-learn) и такие модальности как текст, изображения, табличные данные и звук.
CleanVision - позволяет находить копии и пересветы изображений, а также другие артефакты в датасетах компьютерного зрения.
Я попробовал второй инструмент во время участия в соревновании по классификации. Пара строк кода помогла мне найти и визуализировать проблемные места за 20 минут на датасете из 80к картинок.
CleanVision
Cleanlab
Демонстрация label issue ImageNet
Forwarded from Соне нравится (или нет)
Мы с частью нашей команды активно потрудились в начале этого года и теперь готовы представить наш качественно размеченный датасет для обучения моделей в задачах Face Parsing и Portrait Segmentation. Решать данные задачи с нашим датасетом стало так просто, что мы назвали его EasyPortrait. 😎
Все мы не первый день в машинном обучении и знаем, что большую часть успеха в обучении модели играют данные. И прежде, чем обучать модель, стоит оценить качество данных, с которыми нужно работать. Если данные хорошо размечены, их много и они разнообразныеа ещё у ML-разработчика прямые руки, то можно взять стандартный пайплайн обучения без каких-либо усложнений и быстро обучить модель с лёгкой архитектурой, получая на уже относительно ранних шагах достаточно высокие метрики. Если же ситуация с данными неутешительная, то в ход идут усложнения пайплайна обучения или препроцессинга данных.
Я и мои work-✨ besties✨ предполагали, что наш датасет будет использоваться для разработки моделей для приложений с видеозвонками, где есть спрос на сегментацию фона, чтобы его заблюрить, или на сегментацию кожи и зубов для бьютификации. 💅✨ Поэтому данные модели должны быть максимально лёгкими и быстрыми, чтобы работать в риал-тайме почти без пропусков кадров, ведь пайплайн инференса будет происходить на CPU вашего любимого компьютера! А ещё мы так и не нашли ни одного датасета из всех существующих, который бы удовлетворил наши требования при решении задач Face Parsing и Portrait Segmentation, поэтому прошу любить и активно использовать EasyPortrait в своих задачах, вам должно понравится.
А ещё не забудьте усыпать нам звёздами репозиторий на GitHub. Нам было бы приятно! И ещё будем очень признательны за фидбек, а также мы готовы к совместным проектам!🥰
➡️ Ссылки:
💙 arXiv
💙 GitHub
💙 Habr
💙 Medium (soon)
Все мы не первый день в машинном обучении и знаем, что большую часть успеха в обучении модели играют данные. И прежде, чем обучать модель, стоит оценить качество данных, с которыми нужно работать. Если данные хорошо размечены, их много и они разнообразные
Я и мои work-
А ещё не забудьте усыпать нам звёздами репозиторий на GitHub. Нам было бы приятно! И ещё будем очень признательны за фидбек, а также мы готовы к совместным проектам!
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from эйай ньюз
AI-Tutor на базе ChatGPT-4
Репетиторы вышли из чата. Если вы до этого не пользовались гпт для изучения чего-то нового, то кажется, вы что-то упустили. Будь-то иностранные языки, литература или ML, ChatGPT выстроит вам учебный план, объяснит материал и будет терпеливо отвечать на все вопросы. А затем протестирует вас для закрепления знаний.
Ни для кого уже не секрет, что для максимизации полезности языковых моделей нужны правильные промпты. Так вот для включения режима AI-учителя, положен правильный промпт с этого репозитория, завирусившегося в твиттере.
Просто копируете содержимое json файла в новый чат GPT-4 и погнали. Далее устанавливаете стиль учителя и глубину материала (см скрины), просите составить план изучения командой /plan и приступаете к интерактивному изучению.
Я, например, поизучал TRON блокчейн и мне прям зашло. Особенно круто работает по темам, где вы еще не эксперт, на которые хотите получить плотную иформацию и позадавать глупые вопросы без стеснения.
Подробная инструкция.
@ai_newz
Репетиторы вышли из чата. Если вы до этого не пользовались гпт для изучения чего-то нового, то кажется, вы что-то упустили. Будь-то иностранные языки, литература или ML, ChatGPT выстроит вам учебный план, объяснит материал и будет терпеливо отвечать на все вопросы. А затем протестирует вас для закрепления знаний.
Ни для кого уже не секрет, что для максимизации полезности языковых моделей нужны правильные промпты. Так вот для включения режима AI-учителя, положен правильный промпт с этого репозитория, завирусившегося в твиттере.
Просто копируете содержимое json файла в новый чат GPT-4 и погнали. Далее устанавливаете стиль учителя и глубину материала (см скрины), просите составить план изучения командой /plan и приступаете к интерактивному изучению.
Я, например, поизучал TRON блокчейн и мне прям зашло. Особенно круто работает по темам, где вы еще не эксперт, на которые хотите получить плотную иформацию и позадавать глупые вопросы без стеснения.
Подробная инструкция.
@ai_newz
Forwarded from DeepSchool
Prepare your data
После DL-курсов новички часто думают, что на метрики сильнее всего влияют подбор архитектуры и гиперпараметров. Решая соревнования и игрушечные задания, инженеры привыкают перебирать модели, потому что другого не остается: датасет уже фиксирован.
Но на работе данные приходится собирать самим. И чем лучше мы постараемся, тем выше будут метрики.
Ничто не увеличит ваши метрики так, как чистка разметки и сбор данных!
В этой статье мы расскажем на что нужно обращать внимание при выборе и подготовке датасета, читайте по ссылке: https://deepschool-pro.notion.site/Prepare-your-data-e8be3fcec2d2411a836cb51a4b712601
После DL-курсов новички часто думают, что на метрики сильнее всего влияют подбор архитектуры и гиперпараметров. Решая соревнования и игрушечные задания, инженеры привыкают перебирать модели, потому что другого не остается: датасет уже фиксирован.
Но на работе данные приходится собирать самим. И чем лучше мы постараемся, тем выше будут метрики.
Ничто не увеличит ваши метрики так, как чистка разметки и сбор данных!
В этой статье мы расскажем на что нужно обращать внимание при выборе и подготовке датасета, читайте по ссылке: https://deepschool-pro.notion.site/Prepare-your-data-e8be3fcec2d2411a836cb51a4b712601
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
Rerender A Video: Zero-Shot Text-Guided Video-to-Video Translation
Моушн-дизайнерам на заметку!
Все, кто пытался стилизовать видео по текстовому запросу с помощью SD + ControlNet знают, что результат такой генерации начинает прыгать как собака, потому что каждый кадр обрабатывается независимо.
В этой статье эту проблемку частично решают. Решение не научное, а скорее инженерное и не требует перетренировки сеток. Предлагают стилизовать ключевые кадры, причем для достижения консистентности по стилю, пробрасывают cross-attention между ключевыми кадрами. Как я понял, сначала стилизуют один ключевой кадр, а потом используют его как контекст во время стилизации всех других.
Затем авторы пропагируют информацию от ключевых кадров к тем, что между ними. Тут для консистентности формы, текстур и цвета используются трюки в latent пространстве LDM: AdaIN для цвета, ворпинг кадров друг на друга (используя optical flow) для формы.
Подробности в статье.
Результаты на сайте проекта просто🔥
@ai_newz
Моушн-дизайнерам на заметку!
Все, кто пытался стилизовать видео по текстовому запросу с помощью SD + ControlNet знают, что результат такой генерации начинает прыгать как собака, потому что каждый кадр обрабатывается независимо.
В этой статье эту проблемку частично решают. Решение не научное, а скорее инженерное и не требует перетренировки сеток. Предлагают стилизовать ключевые кадры, причем для достижения консистентности по стилю, пробрасывают cross-attention между ключевыми кадрами. Как я понял, сначала стилизуют один ключевой кадр, а потом используют его как контекст во время стилизации всех других.
Затем авторы пропагируют информацию от ключевых кадров к тем, что между ними. Тут для консистентности формы, текстур и цвета используются трюки в latent пространстве LDM: AdaIN для цвета, ворпинг кадров друг на друга (используя optical flow) для формы.
Подробности в статье.
Результаты на сайте проекта просто🔥
@ai_newz
Forwarded from DeepSchool
Zoom-лекция “Погружение в 3D CV: как создают цифровых аватаров”
Продолжаем знакомить вас с областью 3D Computer Vision. В прошлых постах мы рассказали, почему это направление CV становится более востребованным и почему в нем сложно разбираться в одиночку.
Чтобы облегчить ваше знакомство с этой областью компьютерного зрения, мы подготовили:
- схему направлений и инструментов в 3D с описанием каждого из них
- и онлайн-лекцию с более подробным погружением в одну из задач
Онлайн лекция пройдет во вторник, на ней мы обсудим:
🔹краткий анализ вакансий в области 3D CV
🔹почему есть тренд на рост числа таких вакансий
🔹зачем калибровать камеры, что такое SfM, NeRF и параметрические модели человека
🔹как с помощью этих инструментов создают цифровых аватаров людей
🔹а также представим программу нашего курса “3D Computer Vision” и подарим скидки на обучение всем участникам
Лекцию будут вести:
Тимур Фатыхов — один из основателей школы DeepSchool, ex Lead CV Engineer KoronaPay
Давид Свитов — к.т.н. и исследователь в Samsung AI Center
🎁 При регистрации по ссылке в боте вы получите Road Map по направлениям в 3D CV — мы подготовили его силами всей команды спикеров. В нем мы кратко описали инструменты и подходы, которые есть в области 3D и указали, как они связаны между собой. Вам будет гораздо легче познакомиться с этим направлением при помощи нашей схемы!
🗓 Лекция пройдет во вторник 20 июня в 18:00 Мск
Переходите в бот, регистрируйтесь, изучайте Road Map и продолжайте развиваться в Deep Learning. До встречи на лекции!
Продолжаем знакомить вас с областью 3D Computer Vision. В прошлых постах мы рассказали, почему это направление CV становится более востребованным и почему в нем сложно разбираться в одиночку.
Чтобы облегчить ваше знакомство с этой областью компьютерного зрения, мы подготовили:
- схему направлений и инструментов в 3D с описанием каждого из них
- и онлайн-лекцию с более подробным погружением в одну из задач
Онлайн лекция пройдет во вторник, на ней мы обсудим:
🔹краткий анализ вакансий в области 3D CV
🔹почему есть тренд на рост числа таких вакансий
🔹зачем калибровать камеры, что такое SfM, NeRF и параметрические модели человека
🔹как с помощью этих инструментов создают цифровых аватаров людей
🔹а также представим программу нашего курса “3D Computer Vision” и подарим скидки на обучение всем участникам
Лекцию будут вести:
Тимур Фатыхов — один из основателей школы DeepSchool, ex Lead CV Engineer KoronaPay
Давид Свитов — к.т.н. и исследователь в Samsung AI Center
🎁 При регистрации по ссылке в боте вы получите Road Map по направлениям в 3D CV — мы подготовили его силами всей команды спикеров. В нем мы кратко описали инструменты и подходы, которые есть в области 3D и указали, как они связаны между собой. Вам будет гораздо легче познакомиться с этим направлением при помощи нашей схемы!
🗓 Лекция пройдет во вторник 20 июня в 18:00 Мск
Переходите в бот, регистрируйтесь, изучайте Road Map и продолжайте развиваться в Deep Learning. До встречи на лекции!
Forwarded from Windows Community
В связи с последними новостями, IT - компания решила анонсировать раньше времени.
На Российском рынке появилась новая языковая модель - искусственный интеллект NIKA.
Она уже доступно на всех площадках iOS/Android.
Преимущество заключается в том, что разработчики говорят, что в августе она будет напрямую подключена к интернету.
Сейчас она может генерировать любой текст, советовать рестораны и отели, помогать в бизнесе и так далее.
В будущем она будет это делать, основываясь на анализе базы данных за 2023 год.
Также будет полная интеграция с iOS/Android системами, интеграция с Siri и так далее.
Сейчас проходит открытое тестирование beta-версии.
Нам удалось согласовать новостной пост и поделиться с вами этой информацией.
На Российском рынке появилась новая языковая модель - искусственный интеллект NIKA.
Она уже доступно на всех площадках iOS/Android.
Преимущество заключается в том, что разработчики говорят, что в августе она будет напрямую подключена к интернету.
Сейчас она может генерировать любой текст, советовать рестораны и отели, помогать в бизнесе и так далее.
В будущем она будет это делать, основываясь на анализе базы данных за 2023 год.
Также будет полная интеграция с iOS/Android системами, интеграция с Siri и так далее.
Сейчас проходит открытое тестирование beta-версии.
Нам удалось согласовать новостной пост и поделиться с вами этой информацией.