Forwarded from Градиентное погружение (Максим Герасимов)
🧹 Автоматическая чистка данных
Cleanlab и CleanVision - это два мощных инструмента для автоматической чистки датасетов.
Cleanlab - инструмент способный находить в наборах проблемные метки используя популярные фреймворки (torch, hf, sk-learn) и такие модальности как текст, изображения, табличные данные и звук.
CleanVision - позволяет находить копии и пересветы изображений, а также другие артефакты в датасетах компьютерного зрения.
Я попробовал второй инструмент во время участия в соревновании по классификации. Пара строк кода помогла мне найти и визуализировать проблемные места за 20 минут на датасете из 80к картинок.
CleanVision
Cleanlab
Демонстрация label issue ImageNet
Cleanlab и CleanVision - это два мощных инструмента для автоматической чистки датасетов.
Cleanlab - инструмент способный находить в наборах проблемные метки используя популярные фреймворки (torch, hf, sk-learn) и такие модальности как текст, изображения, табличные данные и звук.
CleanVision - позволяет находить копии и пересветы изображений, а также другие артефакты в датасетах компьютерного зрения.
Я попробовал второй инструмент во время участия в соревновании по классификации. Пара строк кода помогла мне найти и визуализировать проблемные места за 20 минут на датасете из 80к картинок.
CleanVision
Cleanlab
Демонстрация label issue ImageNet
Forwarded from Соне нравится (или нет)
Мы с частью нашей команды активно потрудились в начале этого года и теперь готовы представить наш качественно размеченный датасет для обучения моделей в задачах Face Parsing и Portrait Segmentation. Решать данные задачи с нашим датасетом стало так просто, что мы назвали его EasyPortrait. 😎
Все мы не первый день в машинном обучении и знаем, что большую часть успеха в обучении модели играют данные. И прежде, чем обучать модель, стоит оценить качество данных, с которыми нужно работать. Если данные хорошо размечены, их много и они разнообразныеа ещё у ML-разработчика прямые руки, то можно взять стандартный пайплайн обучения без каких-либо усложнений и быстро обучить модель с лёгкой архитектурой, получая на уже относительно ранних шагах достаточно высокие метрики. Если же ситуация с данными неутешительная, то в ход идут усложнения пайплайна обучения или препроцессинга данных.
Я и мои work-✨ besties✨ предполагали, что наш датасет будет использоваться для разработки моделей для приложений с видеозвонками, где есть спрос на сегментацию фона, чтобы его заблюрить, или на сегментацию кожи и зубов для бьютификации. 💅✨ Поэтому данные модели должны быть максимально лёгкими и быстрыми, чтобы работать в риал-тайме почти без пропусков кадров, ведь пайплайн инференса будет происходить на CPU вашего любимого компьютера! А ещё мы так и не нашли ни одного датасета из всех существующих, который бы удовлетворил наши требования при решении задач Face Parsing и Portrait Segmentation, поэтому прошу любить и активно использовать EasyPortrait в своих задачах, вам должно понравится.
А ещё не забудьте усыпать нам звёздами репозиторий на GitHub. Нам было бы приятно! И ещё будем очень признательны за фидбек, а также мы готовы к совместным проектам!🥰
➡️ Ссылки:
💙 arXiv
💙 GitHub
💙 Habr
💙 Medium (soon)
Все мы не первый день в машинном обучении и знаем, что большую часть успеха в обучении модели играют данные. И прежде, чем обучать модель, стоит оценить качество данных, с которыми нужно работать. Если данные хорошо размечены, их много и они разнообразные
Я и мои work-
А ещё не забудьте усыпать нам звёздами репозиторий на GitHub. Нам было бы приятно! И ещё будем очень признательны за фидбек, а также мы готовы к совместным проектам!
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from эйай ньюз
AI-Tutor на базе ChatGPT-4
Репетиторы вышли из чата. Если вы до этого не пользовались гпт для изучения чего-то нового, то кажется, вы что-то упустили. Будь-то иностранные языки, литература или ML, ChatGPT выстроит вам учебный план, объяснит материал и будет терпеливо отвечать на все вопросы. А затем протестирует вас для закрепления знаний.
Ни для кого уже не секрет, что для максимизации полезности языковых моделей нужны правильные промпты. Так вот для включения режима AI-учителя, положен правильный промпт с этого репозитория, завирусившегося в твиттере.
Просто копируете содержимое json файла в новый чат GPT-4 и погнали. Далее устанавливаете стиль учителя и глубину материала (см скрины), просите составить план изучения командой /plan и приступаете к интерактивному изучению.
Я, например, поизучал TRON блокчейн и мне прям зашло. Особенно круто работает по темам, где вы еще не эксперт, на которые хотите получить плотную иформацию и позадавать глупые вопросы без стеснения.
Подробная инструкция.
@ai_newz
Репетиторы вышли из чата. Если вы до этого не пользовались гпт для изучения чего-то нового, то кажется, вы что-то упустили. Будь-то иностранные языки, литература или ML, ChatGPT выстроит вам учебный план, объяснит материал и будет терпеливо отвечать на все вопросы. А затем протестирует вас для закрепления знаний.
Ни для кого уже не секрет, что для максимизации полезности языковых моделей нужны правильные промпты. Так вот для включения режима AI-учителя, положен правильный промпт с этого репозитория, завирусившегося в твиттере.
Просто копируете содержимое json файла в новый чат GPT-4 и погнали. Далее устанавливаете стиль учителя и глубину материала (см скрины), просите составить план изучения командой /plan и приступаете к интерактивному изучению.
Я, например, поизучал TRON блокчейн и мне прям зашло. Особенно круто работает по темам, где вы еще не эксперт, на которые хотите получить плотную иформацию и позадавать глупые вопросы без стеснения.
Подробная инструкция.
@ai_newz
Forwarded from DeepSchool
Prepare your data
После DL-курсов новички часто думают, что на метрики сильнее всего влияют подбор архитектуры и гиперпараметров. Решая соревнования и игрушечные задания, инженеры привыкают перебирать модели, потому что другого не остается: датасет уже фиксирован.
Но на работе данные приходится собирать самим. И чем лучше мы постараемся, тем выше будут метрики.
Ничто не увеличит ваши метрики так, как чистка разметки и сбор данных!
В этой статье мы расскажем на что нужно обращать внимание при выборе и подготовке датасета, читайте по ссылке: https://deepschool-pro.notion.site/Prepare-your-data-e8be3fcec2d2411a836cb51a4b712601
После DL-курсов новички часто думают, что на метрики сильнее всего влияют подбор архитектуры и гиперпараметров. Решая соревнования и игрушечные задания, инженеры привыкают перебирать модели, потому что другого не остается: датасет уже фиксирован.
Но на работе данные приходится собирать самим. И чем лучше мы постараемся, тем выше будут метрики.
Ничто не увеличит ваши метрики так, как чистка разметки и сбор данных!
В этой статье мы расскажем на что нужно обращать внимание при выборе и подготовке датасета, читайте по ссылке: https://deepschool-pro.notion.site/Prepare-your-data-e8be3fcec2d2411a836cb51a4b712601
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
Rerender A Video: Zero-Shot Text-Guided Video-to-Video Translation
Моушн-дизайнерам на заметку!
Все, кто пытался стилизовать видео по текстовому запросу с помощью SD + ControlNet знают, что результат такой генерации начинает прыгать как собака, потому что каждый кадр обрабатывается независимо.
В этой статье эту проблемку частично решают. Решение не научное, а скорее инженерное и не требует перетренировки сеток. Предлагают стилизовать ключевые кадры, причем для достижения консистентности по стилю, пробрасывают cross-attention между ключевыми кадрами. Как я понял, сначала стилизуют один ключевой кадр, а потом используют его как контекст во время стилизации всех других.
Затем авторы пропагируют информацию от ключевых кадров к тем, что между ними. Тут для консистентности формы, текстур и цвета используются трюки в latent пространстве LDM: AdaIN для цвета, ворпинг кадров друг на друга (используя optical flow) для формы.
Подробности в статье.
Результаты на сайте проекта просто🔥
@ai_newz
Моушн-дизайнерам на заметку!
Все, кто пытался стилизовать видео по текстовому запросу с помощью SD + ControlNet знают, что результат такой генерации начинает прыгать как собака, потому что каждый кадр обрабатывается независимо.
В этой статье эту проблемку частично решают. Решение не научное, а скорее инженерное и не требует перетренировки сеток. Предлагают стилизовать ключевые кадры, причем для достижения консистентности по стилю, пробрасывают cross-attention между ключевыми кадрами. Как я понял, сначала стилизуют один ключевой кадр, а потом используют его как контекст во время стилизации всех других.
Затем авторы пропагируют информацию от ключевых кадров к тем, что между ними. Тут для консистентности формы, текстур и цвета используются трюки в latent пространстве LDM: AdaIN для цвета, ворпинг кадров друг на друга (используя optical flow) для формы.
Подробности в статье.
Результаты на сайте проекта просто🔥
@ai_newz
Forwarded from DeepSchool
Zoom-лекция “Погружение в 3D CV: как создают цифровых аватаров”
Продолжаем знакомить вас с областью 3D Computer Vision. В прошлых постах мы рассказали, почему это направление CV становится более востребованным и почему в нем сложно разбираться в одиночку.
Чтобы облегчить ваше знакомство с этой областью компьютерного зрения, мы подготовили:
- схему направлений и инструментов в 3D с описанием каждого из них
- и онлайн-лекцию с более подробным погружением в одну из задач
Онлайн лекция пройдет во вторник, на ней мы обсудим:
🔹краткий анализ вакансий в области 3D CV
🔹почему есть тренд на рост числа таких вакансий
🔹зачем калибровать камеры, что такое SfM, NeRF и параметрические модели человека
🔹как с помощью этих инструментов создают цифровых аватаров людей
🔹а также представим программу нашего курса “3D Computer Vision” и подарим скидки на обучение всем участникам
Лекцию будут вести:
Тимур Фатыхов — один из основателей школы DeepSchool, ex Lead CV Engineer KoronaPay
Давид Свитов — к.т.н. и исследователь в Samsung AI Center
🎁 При регистрации по ссылке в боте вы получите Road Map по направлениям в 3D CV — мы подготовили его силами всей команды спикеров. В нем мы кратко описали инструменты и подходы, которые есть в области 3D и указали, как они связаны между собой. Вам будет гораздо легче познакомиться с этим направлением при помощи нашей схемы!
🗓 Лекция пройдет во вторник 20 июня в 18:00 Мск
Переходите в бот, регистрируйтесь, изучайте Road Map и продолжайте развиваться в Deep Learning. До встречи на лекции!
Продолжаем знакомить вас с областью 3D Computer Vision. В прошлых постах мы рассказали, почему это направление CV становится более востребованным и почему в нем сложно разбираться в одиночку.
Чтобы облегчить ваше знакомство с этой областью компьютерного зрения, мы подготовили:
- схему направлений и инструментов в 3D с описанием каждого из них
- и онлайн-лекцию с более подробным погружением в одну из задач
Онлайн лекция пройдет во вторник, на ней мы обсудим:
🔹краткий анализ вакансий в области 3D CV
🔹почему есть тренд на рост числа таких вакансий
🔹зачем калибровать камеры, что такое SfM, NeRF и параметрические модели человека
🔹как с помощью этих инструментов создают цифровых аватаров людей
🔹а также представим программу нашего курса “3D Computer Vision” и подарим скидки на обучение всем участникам
Лекцию будут вести:
Тимур Фатыхов — один из основателей школы DeepSchool, ex Lead CV Engineer KoronaPay
Давид Свитов — к.т.н. и исследователь в Samsung AI Center
🎁 При регистрации по ссылке в боте вы получите Road Map по направлениям в 3D CV — мы подготовили его силами всей команды спикеров. В нем мы кратко описали инструменты и подходы, которые есть в области 3D и указали, как они связаны между собой. Вам будет гораздо легче познакомиться с этим направлением при помощи нашей схемы!
🗓 Лекция пройдет во вторник 20 июня в 18:00 Мск
Переходите в бот, регистрируйтесь, изучайте Road Map и продолжайте развиваться в Deep Learning. До встречи на лекции!
Forwarded from Windows Community
В связи с последними новостями, IT - компания решила анонсировать раньше времени.
На Российском рынке появилась новая языковая модель - искусственный интеллект NIKA.
Она уже доступно на всех площадках iOS/Android.
Преимущество заключается в том, что разработчики говорят, что в августе она будет напрямую подключена к интернету.
Сейчас она может генерировать любой текст, советовать рестораны и отели, помогать в бизнесе и так далее.
В будущем она будет это делать, основываясь на анализе базы данных за 2023 год.
Также будет полная интеграция с iOS/Android системами, интеграция с Siri и так далее.
Сейчас проходит открытое тестирование beta-версии.
Нам удалось согласовать новостной пост и поделиться с вами этой информацией.
На Российском рынке появилась новая языковая модель - искусственный интеллект NIKA.
Она уже доступно на всех площадках iOS/Android.
Преимущество заключается в том, что разработчики говорят, что в августе она будет напрямую подключена к интернету.
Сейчас она может генерировать любой текст, советовать рестораны и отели, помогать в бизнесе и так далее.
В будущем она будет это делать, основываясь на анализе базы данных за 2023 год.
Также будет полная интеграция с iOS/Android системами, интеграция с Siri и так далее.
Сейчас проходит открытое тестирование beta-версии.
Нам удалось согласовать новостной пост и поделиться с вами этой информацией.
Forwarded from LAMBDA_News
Пришлашаем завтра на научно-технический вебинар «Генеративные модели в науке и индустрии» от НТР.
Спикер: Гущин Михаил, Лямбда ФКН НИУ ВШЭ
Время: 27 июня 2023, 14:00 МСК
Ссылка для регистрации: https://ntr.ai/webinar/nauchno-tehnicheskij-vebinar-generativnye-modeli-v-nauke-i-industrii/
Спикер: Гущин Михаил, Лямбда ФКН НИУ ВШЭ
Время: 27 июня 2023, 14:00 МСК
Ссылка для регистрации: https://ntr.ai/webinar/nauchno-tehnicheskij-vebinar-generativnye-modeli-v-nauke-i-industrii/
Компания НТР | Разработка информационных систем
Научно-технический вебинар «Генеративные модели в науке и индустрии» | Компания НТР
Научно-технический вебинар «Генеративные модели в науке и индустрии» Компания НТР. Наш телефон в Москве: +7(495)230-08-99, Томске: +7 3822 48-85-32
Forwarded from Machine learning Interview
🔥Одна из самых популярных нейросетей - Stable diffusion, которая позволяет генерировать изображения на основании текстового запроса. Результаты ее работы удивляют и потрясают пользователей. Предлагаем разобраться в ее устройстве со стороны специалиста по компьютерному зрению на открытом уроке 12 июля в 20:00 мск.
На встрече вы узнаете принципы построения диффузионных моделей, как устроена модель Stable Diffusion, и какие задачи можно решать с ее помощью
Вебинар «Диффузионные модели. Stable diffusion и все-все-все» пройдет в рамках онлайн-курса «Компьютерное зрение» в OTUS.
📌 В результате урока вы:
- Изучите принцип работы и математические аспекты диффузионных моделей
- Поймете, как устроены основные блоки модели Stable Diffusion
- Получите понимание для каких задач можно использовать модель Stable Diffusion
- Узнаете возможное дальнейшее развитие диффузионных моделей
👉 Для участия зарегистрируйтесь https://otus.pw/bCuXc/
Урок будет полезен:
— Специалистам в области Computer Vision, NLP и ML-инженерам
— Тимлидам data science команд
— Тем, кто интересуется современными архитектурами в DL
Не упустите возможность протестировать курс! Продолжить обучение на нем возможно в рассрочку. Нативная интеграция подробная информация о продукте на сайте www.otus.ru
На встрече вы узнаете принципы построения диффузионных моделей, как устроена модель Stable Diffusion, и какие задачи можно решать с ее помощью
Вебинар «Диффузионные модели. Stable diffusion и все-все-все» пройдет в рамках онлайн-курса «Компьютерное зрение» в OTUS.
- Изучите принцип работы и математические аспекты диффузионных моделей
- Поймете, как устроены основные блоки модели Stable Diffusion
- Получите понимание для каких задач можно использовать модель Stable Diffusion
- Узнаете возможное дальнейшее развитие диффузионных моделей
Урок будет полезен:
— Специалистам в области Computer Vision, NLP и ML-инженерам
— Тимлидам data science команд
— Тем, кто интересуется современными архитектурами в DL
Не упустите возможность протестировать курс! Продолжить обучение на нем возможно в рассрочку. Нативная интеграция подробная информация о продукте на сайте www.otus.ru
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from DeepSchool
Self-Supervised Learning (SSL)
Возможно, вы замечали, что этот термин все чаще мелькает в статьях про архитектуры моделей или разные трюки при обучении. И это легко объясняется пользой этого подхода.
SSL помогает уменьшать потребление размеченных данных, быстрее обучать модельки и извлекать качественные эмбеддинги из ваших данных. Поверх таких эмбеддингов можно строить совсем простые модели, которые зачастую решают целевую задачу не хуже, чем целая сеть, обученная под эту целевую задачу.
Из этой статьи вы узнаете:
- что такое self-supervised learning
- какая история у self-supervised learning
- зачем он нужен
- и каким он бывает
Читайте нашу статью и разбирайтесь в популярной теме: https://deepschool-pro.notion.site/Self-supervised-learning-f4a03ba2f30341afa3c295466007afbc?pvs=4
Возможно, вы замечали, что этот термин все чаще мелькает в статьях про архитектуры моделей или разные трюки при обучении. И это легко объясняется пользой этого подхода.
SSL помогает уменьшать потребление размеченных данных, быстрее обучать модельки и извлекать качественные эмбеддинги из ваших данных. Поверх таких эмбеддингов можно строить совсем простые модели, которые зачастую решают целевую задачу не хуже, чем целая сеть, обученная под эту целевую задачу.
Из этой статьи вы узнаете:
- что такое self-supervised learning
- какая история у self-supervised learning
- зачем он нужен
- и каким он бывает
Читайте нашу статью и разбирайтесь в популярной теме: https://deepschool-pro.notion.site/Self-supervised-learning-f4a03ba2f30341afa3c295466007afbc?pvs=4
deepschool-pro on Notion
Self-supervised learning | Notion
Автор: Марк Страхов
Редактура: Андрей Шадриков
Редактура: Андрей Шадриков
Forwarded from Yandex for ML
Пока вы наслаждаетесь тёплым летом, мы готовим для вас большую конференцию по прикладному Machine Learning — чтобы обсудить все изменения, которые постоянно происходят в ML-отрасли, и то, как их можно внедрить в свои проекты.
7 сентября вас ждут 500 экспертов, 8 профильных направлений и опытные ML-инженеры, которые меняют сферу уже сейчас. Поговорим о ключевых вопросах индустрии: генеративных моделях, Research, NLP, Hardware, CV, RecSys, MLOps и Ecomm.
Если вы хотите прочитать доклад о прикладном ML, то заполняйте форму до 17 июля. А если нет — save the date и ждите новые подробности: скоро мы начнём рассказывать о программе Practical ML Conf 2023.
До встречи 7 сентября на Practical ML Conf в Москве или онлайн!
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Machinelearning
Как бороться с утечкой данных в машинном обучении
Команда VK Cloud перевела статью о том, как информация из тестового датасета ошибочно попадает в обучающий, какие у этого могут быть последствия.
В статье описываются примеры реальных датасетов со способами предотвращения утечки данных: проверки вручную, пайплайнами, перекрёстным контролем и др.
🔗 Хабр: https://habr.com/ru/companies/vk/articles/746360/
ai_machinelearning_big_data
Команда VK Cloud перевела статью о том, как информация из тестового датасета ошибочно попадает в обучающий, какие у этого могут быть последствия.
В статье описываются примеры реальных датасетов со способами предотвращения утечки данных: проверки вручную, пайплайнами, перекрёстным контролем и др.
🔗 Хабр: https://habr.com/ru/companies/vk/articles/746360/
ai_machinelearning_big_data
Forwarded from Machine learning Interview
Встречай AI Generative Product Hackathon, где участники создадут инновационные продукты, экспериментируя с технологиями ChatGPT, Midjourney и elDinero.ai
Партнеры хакатона — компании с мировым именем, чьи продукты мы используем каждый день: Unilever в России, Ашан, Danone, Tefal, Альфа-банк.
Соорганизаторы — крупнейшая в стране магистратура инженерии машинного обучения AI Talent Hub университета ИТМО, AI-компания Napoleon IT и разработчик CDP платформы Konnektu.
◾️Призовой фонд — 600 000
◾️Более 30 мест для стажировок в компаниях-партнерах
◾️Регистрация до 31 июля
Участниками могут стать: ML-инженеры, аналитики данных, промпт-инженеры, продакт-менеджеры, маркетологи, бренд-менеджеры и студенты IT-специальностей.
Лучшие решения получат не только денежный приз, но и возможность реализации в компаниях-партнерах или в качестве самостоятельного стартапа с первыми инвестициями.
Стань частью крутой команды или создай свою собственную, заполни заявку по ссылке
Партнеры хакатона — компании с мировым именем, чьи продукты мы используем каждый день: Unilever в России, Ашан, Danone, Tefal, Альфа-банк.
Соорганизаторы — крупнейшая в стране магистратура инженерии машинного обучения AI Talent Hub университета ИТМО, AI-компания Napoleon IT и разработчик CDP платформы Konnektu.
◾️Призовой фонд — 600 000
◾️Более 30 мест для стажировок в компаниях-партнерах
◾️Регистрация до 31 июля
Участниками могут стать: ML-инженеры, аналитики данных, промпт-инженеры, продакт-менеджеры, маркетологи, бренд-менеджеры и студенты IT-специальностей.
Лучшие решения получат не только денежный приз, но и возможность реализации в компаниях-партнерах или в качестве самостоятельного стартапа с первыми инвестициями.
Стань частью крутой команды или создай свою собственную, заполни заявку по ссылке
Forwarded from эйай ньюз
This media is not supported in your browser
VIEW IN TELEGRAM
Не знаю, видели ли вы уже новую text2video генерацию от Pika labs?
В общем, это еще один сервис, типа миджорни, но для генерации видео по тексту. И тоже в дискорде, где с помощью команды
🔹На вход также можно подать картинку и попросить оживить ее на основе заданного промпта.
🔹Я так подозреваю, там опять же все основано на Latent Diffusion, но просто предсказывают сразу пачку кадров вместо одного.
🔹Как мы видим, такого рода модели все ещё не могу генерить очень диинамнческие сцены. А вот для статических сцен с небольшим движением они очень даже неплохи.
Прикрепленное видео полность сгенерировано (состоит из нескольких склеенных кусочков).
Инвайт в дискорд: discord.gg/pika
@ai_newz
В общем, это еще один сервис, типа миджорни, но для генерации видео по тексту. И тоже в дискорде, где с помощью команды
/create PROMPT можно сгенерить трехсекундное видео. 🔹На вход также можно подать картинку и попросить оживить ее на основе заданного промпта.
🔹Я так подозреваю, там опять же все основано на Latent Diffusion, но просто предсказывают сразу пачку кадров вместо одного.
🔹Как мы видим, такого рода модели все ещё не могу генерить очень диинамнческие сцены. А вот для статических сцен с небольшим движением они очень даже неплохи.
Прикрепленное видео полность сгенерировано (состоит из нескольких склеенных кусочков).
Инвайт в дискорд: discord.gg/pika
@ai_newz