Forwarded from эйай ньюз
🔥Генерация изображений выходит на новый уровень: GLIDE
GLIDE - это закономерное развитие модели DALL-E от OpenAI. Только теперь вместо GAN-ов, архитектура GLIDE основана на diffussion denoising моделях, о которых у меня уже было несколько постов (тык1, тык2, тык3).
GLIDE умеет генерировать изображения как по текстовому описанию с нуля, так и дополнять существующие. Поразительно, как моделька подстраивается под стиль и освещение во входной картинке, когда нужно дорисовать новый объект.
Архитектура состоит из двух моделей, первая (3.5 млрд параметров) генерит 64×64 картинку по текстовой строке, а вторая (1.5 млрд параметров) берет входной текст и картинку 64×64 и апскейлит её до 256×256. Видимо, так было проще тренировать.
GLIDE, в отличие от DALL-E, не использует CLIP классификатор и не требует ре-ранкинга результатов для увеличения их схожести со входным текстом. И, конечно, GLIDE бьёт DALL-E на всех бенчмарках.
На GPU генерация 256x256 картинки занимает меньше минуты.
Arxiv >> Код на GitHub >> Колаб
GLIDE - это закономерное развитие модели DALL-E от OpenAI. Только теперь вместо GAN-ов, архитектура GLIDE основана на diffussion denoising моделях, о которых у меня уже было несколько постов (тык1, тык2, тык3).
GLIDE умеет генерировать изображения как по текстовому описанию с нуля, так и дополнять существующие. Поразительно, как моделька подстраивается под стиль и освещение во входной картинке, когда нужно дорисовать новый объект.
Архитектура состоит из двух моделей, первая (3.5 млрд параметров) генерит 64×64 картинку по текстовой строке, а вторая (1.5 млрд параметров) берет входной текст и картинку 64×64 и апскейлит её до 256×256. Видимо, так было проще тренировать.
GLIDE, в отличие от DALL-E, не использует CLIP классификатор и не требует ре-ранкинга результатов для увеличения их схожести со входным текстом. И, конечно, GLIDE бьёт DALL-E на всех бенчмарках.
На GPU генерация 256x256 картинки занимает меньше минуты.
Arxiv >> Код на GitHub >> Колаб
Forwarded from DLStories
ShiftViT: Visual Transformer без Attention (ну, почти visual transformer =) )
И снова исследователи стараются нам показать, что Attention — не панацея. Ученые из Microsoft Research взяли классическую архитектуру ViT (ну, почти классическую) и заменили в ней все слои Attention на слои Shift. В итоге получили сеть с меньшим количеством параметров и сравнимыми с ViT результатами на ImageNet.
Вот как работает ShiftViT:
Архитектура ShiftViT состоит из блоков (stages на первой картинке к посту). Как и в классическом ViT, входное изображение сначала разбивается на патчи и подается на вход первому блоку. Каждый из блоков далее состоит из двух частей: embedding generator и shift block. Embedding generator принимает на вход выход предыдущего блока и генерирует трехмерный тензор-ембеддинг размера (height, width, channels) для подачи на вход shift block. Shift block содержит три слоя: shift operation, layer norm и MLP.
Shift operation устроен очень просто: он берет на вход трехмерный тензор и "сдвигает" в нем несколько каналов вдоль разных осей на небольшое количество пикселей. Иллюстрация процедуры — на второй картинке к посту. Слой Shift не имеет обучаемых параметров: то, каким образом будут сдвигаться каналы входного тезнзора, полностью определяется гиперпараметрами. Из-за этого модель ShiftViT того же размера, что и классический ViT, имеет на ~33% меньше параметров, чем оригинальный ViT.
У ShiftViT, однако, есть еще одно небольшое отличие от ViT: во всех блоках, начиная со второго, авторы ShiftViT используют 2х2 convolution в качестве embedding generator. Еще одно доказательство, что свертки не канули в небытие, хехе.
Идея операции Shift понятна: с помощью сдвига каналов во входном тензоре и последующего применения MLP+свертки авторы добиваются обмена информации между разными частями исходного изображения. Такой суперупрощенный Attention получается.
Из-за того, что ShiftViT имеет меньше параметров, чем ViT, он должен работать быстрее. Учитывая, что ShiftViT получает сравнимые с ViT результаты на разных бенчмарках для задач классификации, детекции и сегментации, подход выглядит интересным. Однако грустно, что авторы сравнивали ShiftViT и ViT на ImageNet, но не на JFT-300M: известно, что главная фишка Трансформеров — хорошие результаты при обучении на огромном количестве данных. Интересно было бы посмотреть на результаты ShiftViT на JFT-300M: покажет ли он настолько же хорошую генерализацию.
P.S. Это не первая работа, где ученые пытаются выкинуть Attention из ViT и заменить чем-то попроще. Вот пример статьи, где Attention заменяли на обычный pooling и тоже получали хорошие результаты.
📄Статья
И снова исследователи стараются нам показать, что Attention — не панацея. Ученые из Microsoft Research взяли классическую архитектуру ViT (ну, почти классическую) и заменили в ней все слои Attention на слои Shift. В итоге получили сеть с меньшим количеством параметров и сравнимыми с ViT результатами на ImageNet.
Вот как работает ShiftViT:
Архитектура ShiftViT состоит из блоков (stages на первой картинке к посту). Как и в классическом ViT, входное изображение сначала разбивается на патчи и подается на вход первому блоку. Каждый из блоков далее состоит из двух частей: embedding generator и shift block. Embedding generator принимает на вход выход предыдущего блока и генерирует трехмерный тензор-ембеддинг размера (height, width, channels) для подачи на вход shift block. Shift block содержит три слоя: shift operation, layer norm и MLP.
Shift operation устроен очень просто: он берет на вход трехмерный тензор и "сдвигает" в нем несколько каналов вдоль разных осей на небольшое количество пикселей. Иллюстрация процедуры — на второй картинке к посту. Слой Shift не имеет обучаемых параметров: то, каким образом будут сдвигаться каналы входного тезнзора, полностью определяется гиперпараметрами. Из-за этого модель ShiftViT того же размера, что и классический ViT, имеет на ~33% меньше параметров, чем оригинальный ViT.
У ShiftViT, однако, есть еще одно небольшое отличие от ViT: во всех блоках, начиная со второго, авторы ShiftViT используют 2х2 convolution в качестве embedding generator. Еще одно доказательство, что свертки не канули в небытие, хехе.
Идея операции Shift понятна: с помощью сдвига каналов во входном тензоре и последующего применения MLP+свертки авторы добиваются обмена информации между разными частями исходного изображения. Такой суперупрощенный Attention получается.
Из-за того, что ShiftViT имеет меньше параметров, чем ViT, он должен работать быстрее. Учитывая, что ShiftViT получает сравнимые с ViT результаты на разных бенчмарках для задач классификации, детекции и сегментации, подход выглядит интересным. Однако грустно, что авторы сравнивали ShiftViT и ViT на ImageNet, но не на JFT-300M: известно, что главная фишка Трансформеров — хорошие результаты при обучении на огромном количестве данных. Интересно было бы посмотреть на результаты ShiftViT на JFT-300M: покажет ли он настолько же хорошую генерализацию.
P.S. Это не первая работа, где ученые пытаются выкинуть Attention из ViT и заменить чем-то попроще. Вот пример статьи, где Attention заменяли на обычный pooling и тоже получали хорошие результаты.
📄Статья
Продолжение темы про дипфейки: https://www.unite.ai/google-has-banned-the-training-of-deepfakes-in-colab/
Forwarded from DLStories
Бесплатные летние школы и конференции по искусственному интеллекту
Этим летом в России пройдут как минимум две научные школы и одна конференция по теме ИИ и deep learning:
1️⃣ Лето с AIRI: 4-недельная школа по ИИ для студентов и аспирантов. Участники проведут две недели с ведущими учёными из AIRI, МФТИ, ВШЭ, Сколтеха, University of Massachusetts Lowell, Mila Quebec AI Institute, МГТУ им. Баумана, РАН и других авторитетных научно-исследовательских организаций и ВУЗов. В программе — лекции, практические семинары, сореванования и воркшопы на разные темы ИИ: планирование поведения, обучение с подкреплением, нейросетевые методов анализа естественного языка, компьютерное зрение, объяснимые методы в искусственном интеллекте и т.п.
Где: Сочи, Сириус
Когда: 4-17 июля 2022
Дедлайн подачи заявки: 1 июня 2022
2️⃣ Летняя конференция AIRI. В продолжение летней школы AIRI проведет конференцию о современных результатах в области построения предиктивных моделей машинного обучения с учетом физико-математических моделей процессов. Проводится совместно с организаторами научных школ машинного обучения (SMILES, Евгений Бурнаев) и глубокого обучения и байесовских методов (Deep Learning and Bayesian Methods, Дмитрий Ветров).
Где: Сочи, Сириус
Когда: 18-26 июля 2022
Дедлайн подачи заявки: 12 июня 2022
3️⃣ Научная школа по экспериментальной и теоретической нейробиологии "Сложные нейронные сети и когнитивно специализированные нейроны". На школе будет цикл лекций и семинаров ведущих ученых о новых достижениях в экспериментальной и теоретической нейробиологии, а также неформальные обсуждения ключевых проблем исследований мозга. Приглашаются студенты, аспиранты и молодые ученые, интересующиеся экспериментальной и теоретической нейробиологией.
Где: Ингушетия, Армхи
Когда: 17-24 июля 2022
Дедлайн подачи заявки: 5 июня 2022
Этим летом в России пройдут как минимум две научные школы и одна конференция по теме ИИ и deep learning:
1️⃣ Лето с AIRI: 4-недельная школа по ИИ для студентов и аспирантов. Участники проведут две недели с ведущими учёными из AIRI, МФТИ, ВШЭ, Сколтеха, University of Massachusetts Lowell, Mila Quebec AI Institute, МГТУ им. Баумана, РАН и других авторитетных научно-исследовательских организаций и ВУЗов. В программе — лекции, практические семинары, сореванования и воркшопы на разные темы ИИ: планирование поведения, обучение с подкреплением, нейросетевые методов анализа естественного языка, компьютерное зрение, объяснимые методы в искусственном интеллекте и т.п.
Где: Сочи, Сириус
Когда: 4-17 июля 2022
Дедлайн подачи заявки: 1 июня 2022
2️⃣ Летняя конференция AIRI. В продолжение летней школы AIRI проведет конференцию о современных результатах в области построения предиктивных моделей машинного обучения с учетом физико-математических моделей процессов. Проводится совместно с организаторами научных школ машинного обучения (SMILES, Евгений Бурнаев) и глубокого обучения и байесовских методов (Deep Learning and Bayesian Methods, Дмитрий Ветров).
Где: Сочи, Сириус
Когда: 18-26 июля 2022
Дедлайн подачи заявки: 12 июня 2022
3️⃣ Научная школа по экспериментальной и теоретической нейробиологии "Сложные нейронные сети и когнитивно специализированные нейроны". На школе будет цикл лекций и семинаров ведущих ученых о новых достижениях в экспериментальной и теоретической нейробиологии, а также неформальные обсуждения ключевых проблем исследований мозга. Приглашаются студенты, аспиранты и молодые ученые, интересующиеся экспериментальной и теоретической нейробиологией.
Где: Ингушетия, Армхи
Когда: 17-24 июля 2022
Дедлайн подачи заявки: 5 июня 2022
Forwarded from Python Tasks & ML | Задачи по питону и машинному обучению
В VK стартовал набор в Академию больших данных MADE — это бесплатное обучение для специалистов с опытом в разработке.
👉 Регистрируйтесь до 6 августа: https://vk.cc/ceWlaM
Программа длится один год, но будьте готовы к серьезной нагрузке: занятия займут 25–40 часов в неделю. За это время вы сможете повысить свой профессиональный уровень или освоить новое направление в IT.
Что вас ждёт:
🔹Много практики и работа над реальными проектами.
🔹Преподаватели — ведущие эксперты в области Data Science. Например, несколько дисциплин ведёт Сергей Николенко, автор бестселлера «Глубокое обучение» и создатель курсов в СПбГУ, НИУ ВШЭ и Harbour Space University.
🔹Профессиональное сообщество, где преподаватели, выпускники и слушатели делятся знаниями, общаются и помогают в решении сложных задач.
Для поступления нужно сдать экзамены по математике и программированию, пройти соревнование по машинному обучению и анкетирование.
👉 Регистрируйтесь до 6 августа: https://vk.cc/ceWlaM
Программа длится один год, но будьте готовы к серьезной нагрузке: занятия займут 25–40 часов в неделю. За это время вы сможете повысить свой профессиональный уровень или освоить новое направление в IT.
Что вас ждёт:
🔹Много практики и работа над реальными проектами.
🔹Преподаватели — ведущие эксперты в области Data Science. Например, несколько дисциплин ведёт Сергей Николенко, автор бестселлера «Глубокое обучение» и создатель курсов в СПбГУ, НИУ ВШЭ и Harbour Space University.
🔹Профессиональное сообщество, где преподаватели, выпускники и слушатели делятся знаниями, общаются и помогают в решении сложных задач.
Для поступления нужно сдать экзамены по математике и программированию, пройти соревнование по машинному обучению и анкетирование.
Forwarded from Мишин Лернинг
🎥 YouTube лекция: DeepMind's Perceiver and Perceiver IO: new data family architecture
Лекция от DeepMind и Stanford про одну из важнейших архитектур 2021го года — Perceiver & Perceiver IO
Latent is all you need, как говорится..
Архитектура Perceiver IO от deepmind: — трансформер-генералист. Его можно использовать для огромного количества задач как в CV так и в NLP.
То есть архитектура Perceiver IO подходит для обработки изображений, текста, аудио, видео и их комбинаций!
📇 Perceiver 📄 Perceiver IO
👉 https://youtu.be/wTZ3o36lXoQ
Лекция от DeepMind и Stanford про одну из важнейших архитектур 2021го года — Perceiver & Perceiver IO
Latent is all you need, как говорится..
Архитектура Perceiver IO от deepmind: — трансформер-генералист. Его можно использовать для огромного количества задач как в CV так и в NLP.
То есть архитектура Perceiver IO подходит для обработки изображений, текста, аудио, видео и их комбинаций!
📇 Perceiver 📄 Perceiver IO
👉 https://youtu.be/wTZ3o36lXoQ
YouTube
Stanford CS25: V1 I DeepMind's Perceiver and Perceiver IO: new data family architecture
A central goal of artificial intelligence is to build systems that can flexibly process all the world's data, but current neural network architectures are designed to handle essentially one data configuration. This includes models like 2D convnets and more…
https://4pda.to/2022/07/17/401519/petvation_umnaya_dver_dlya_zhivotnykh_s_funktsiej_skanirovaniya_lits/
Компания Petvation предложила миру умную дверь для животных, способную распознавать лица зарегистрированных питомцев, предотвращая доступ посторонним. Проект оказался весьма популярным и собрал на Kickstarter почти 100 000 долларов, чего достаточно для начала массового производства.
Компания Petvation предложила миру умную дверь для животных, способную распознавать лица зарегистрированных питомцев, предотвращая доступ посторонним. Проект оказался весьма популярным и собрал на Kickstarter почти 100 000 долларов, чего достаточно для начала массового производства.
4PDA - Новости мира мобильных устройств
Petvation — умная дверь для животных с функцией сканирования лиц - 4PDA