ShiftViT: Visual Transformer без Attention (ну, почти visual transformer =) )

И снова исследователи стараются нам показать, что Attention — не панацея. Ученые из Microsoft Research взяли классическую архитектуру ViT (ну, почти классическую) и заменили в ней все слои Attention на слои Shift. В итоге получили сеть с меньшим количеством параметров и сравнимыми с ViT результатами на ImageNet.

Вот как работает ShiftViT:
Архитектура ShiftViT состоит из блоков (stages на первой картинке к посту). Как и в классическом ViT, входное изображение сначала разбивается на патчи и подается на вход первому блоку. Каждый из блоков далее состоит из двух частей: embedding generator и shift block. Embedding generator принимает на вход выход предыдущего блока и генерирует трехмерный тензор-ембеддинг размера (height, width, channels) для подачи на вход shift block. Shift block содержит три слоя: shift operation, layer norm и MLP.

Shift operation устроен очень просто: он берет на вход трехмерный тензор и "сдвигает" в нем несколько каналов вдоль разных осей на небольшое количество пикселей. Иллюстрация процедуры — на второй картинке к посту. Слой Shift не имеет обучаемых параметров: то, каким образом будут сдвигаться каналы входного тезнзора, полностью определяется гиперпараметрами. Из-за этого модель ShiftViT того же размера, что и классический ViT, имеет на ~33% меньше параметров, чем оригинальный ViT.

У ShiftViT, однако, есть еще одно небольшое отличие от ViT: во всех блоках, начиная со второго, авторы ShiftViT используют 2х2 convolution в качестве embedding generator. Еще одно доказательство, что свертки не канули в небытие, хехе.

Идея операции Shift понятна: с помощью сдвига каналов во входном тензоре и последующего применения MLP+свертки авторы добиваются обмена информации между разными частями исходного изображения. Такой суперупрощенный Attention получается.

Из-за того, что ShiftViT имеет меньше параметров, чем ViT, он должен работать быстрее. Учитывая, что ShiftViT получает сравнимые с ViT результаты на разных бенчмарках для задач классификации, детекции и сегментации, подход выглядит интересным. Однако грустно, что авторы сравнивали ShiftViT и ViT на ImageNet, но не на JFT-300M: известно, что главная фишка Трансформеров — хорошие результаты при обучении на огромном количестве данных. Интересно было бы посмотреть на результаты ShiftViT на JFT-300M: покажет ли он настолько же хорошую генерализацию.

P.S. Это не первая работа, где ученые пытаются выкинуть Attention из ViT и заменить чем-то попроще. Вот пример статьи, где Attention заменяли на обычный pooling и тоже получали хорошие результаты.

📄Статья

Продолжение темы про дипфейки: https://www.unite.ai/google-has-banned-the-training-of-deepfakes-in-colab/

Бесплатные летние школы и конференции по искусственному интеллекту

Этим летом в России пройдут как минимум две научные школы и одна конференция по теме ИИ и deep learning:

1️⃣ Лето с AIRI: 4-недельная школа по ИИ для студентов и аспирантов. Участники проведут две недели с ведущими учёными из AIRI, МФТИ, ВШЭ, Сколтеха, University of Massachusetts Lowell, Mila Quebec AI Institute, МГТУ им. Баумана, РАН и других авторитетных научно-исследовательских организаций и ВУЗов. В программе — лекции, практические семинары, сореванования и воркшопы на разные темы ИИ: планирование поведения, обучение с подкреплением, нейросетевые методов анализа естественного языка, компьютерное зрение, объяснимые методы в искусственном интеллекте и т.п.

Где: Сочи, Сириус
Когда: 4-17 июля 2022
Дедлайн подачи заявки: 1 июня 2022

2️⃣ Летняя конференция AIRI. В продолжение летней школы AIRI проведет конференцию о современных результатах в области построения предиктивных моделей машинного обучения с учетом физико-математических моделей процессов. Проводится совместно с организаторами научных школ машинного обучения (SMILES, Евгений Бурнаев) и глубокого обучения и байесовских методов (Deep Learning and Bayesian Methods, Дмитрий Ветров).

Где: Сочи, Сириус
Когда: 18-26 июля 2022
Дедлайн подачи заявки: 12 июня 2022

3️⃣ Научная школа по экспериментальной и теоретической нейробиологии "Сложные нейронные сети и когнитивно специализированные нейроны". На школе будет цикл лекций и семинаров ведущих ученых о новых достижениях в экспериментальной и теоретической нейробиологии, а также неформальные обсуждения ключевых проблем исследований мозга. Приглашаются студенты, аспиранты и молодые ученые, интересующиеся экспериментальной и теоретической нейробиологией.

Где: Ингушетия, Армхи
Когда: 17-24 июля 2022
Дедлайн подачи заявки: 5 июня 2022

В VK стартовал набор в Академию больших данных MADE — это бесплатное обучение для специалистов с опытом в разработке.

👉 Регистрируйтесь до 6 августа: https://vk.cc/ceWlaM

Программа длится один год, но будьте готовы к серьезной нагрузке: занятия займут 25–40 часов в неделю. За это время вы сможете повысить свой профессиональный уровень или освоить новое направление в IT.

Что вас ждёт:
🔹Много практики и работа над реальными проектами.
🔹Преподаватели — ведущие эксперты в области Data Science. Например, несколько дисциплин ведёт Сергей Николенко, автор бестселлера «Глубокое обучение» и создатель курсов в СПбГУ, НИУ ВШЭ и Harbour Space University.
🔹Профессиональное сообщество, где преподаватели, выпускники и слушатели делятся знаниями, общаются и помогают в решении сложных задач.

Для поступления нужно сдать экзамены по математике и программированию, пройти соревнование по машинному обучению и анкетирование.

🎥 YouTube лекция: DeepMind's Perceiver and Perceiver IO: new data family architecture

Лекция от DeepMind и Stanford про одну из важнейших архитектур 2021го года — Perceiver & Perceiver IO
Latent is all you need, как говорится..

Архитектура Perceiver IO от deepmind: — трансформер-генералист. Его можно использовать для огромного количества задач как в CV так и в NLP.

То есть архитектура Perceiver IO подходит для обработки изображений, текста, аудио, видео и их комбинаций!

📇 Perceiver 📄 Perceiver IO

👉 https://youtu.be/wTZ3o36lXoQ

https://4pda.to/2022/07/17/401519/petvation_umnaya_dver_dlya_zhivotnykh_s_funktsiej_skanirovaniya_lits/

Компания Petvation предложила миру умную дверь для животных, способную распознавать лица зарегистрированных питомцев, предотвращая доступ посторонним. Проект оказался весьма популярным и собрал на Kickstarter почти 100 000 долларов, чего достаточно для начала массового производства.

● Судей в Китае обязали использовать ИИ. Верховный суд КНР обязал судей при принятии решений консультироваться с ИИ. Прокуратура страны также использует нейросети для оценки доказательств и опасности подозреваемого для общества. »»»

OpenCV будет поддерживать распознавание лиц, но видимо это будет каким-то платным сервисом https://opencv.org/opencv-face-recognition/

Kaggle Accelerator

Ещё неделю назад заметил новую фичу на Kaggle, помимо конфигураций P100 (16 гб), TPU v3-8, теперь доступны T4×2 (15 + 15 гб видеопамяти).

P100 они не заменят и будут уступать, но позволят:

1) При должном желании (сложно) запускать 2 эксперимента вместо одного, при этом недельная квота GPU (30-40 часов) общая для T4×2 и P100, а это дополнительные гпу часы.

2) Ускорить инференс/обучение (в некоторых случаях).

3) Тюнить параметры параллельно.

4) Запускать большие модели (до 30 гб).
Кажется что это самый большой плюс.
Да, все ещё неудобно, но лучше чем zero-offload.

Training using 2 T4 with Pytorch DataParallel
Single-Machine Model Parallel Best Practices

Российский стартап Аватар Машина выпустил генеративного чатбота-психолога с искусственным интеллектом Sabina AI. Бот работает в Telegram, и мгновенно генерирует полные и развернутые ответы на заданную психологическую проблему или ситуацию, описанную пользователем. Sabina AI ведет логичный и связный разговор в узком домене психологических тематик: она готова обсудить тревоги, проблемы в отношениях, страхи и фобии, самооценку и личное развитие.
https://neurohive.io/ru/gotovye-prilozhenija/sabina-ai-chatbot/

​The Unreasonable Effectiveness of Fully-Connected Layers for Low-Data Regimes

Вернемся к обучению сеток. Эта статья предлагает простой трюк, чтобы выжать еще несколько процентов точности на маленьких датасетах. Бесплатно (почти) и без смс.

Суть такая: Прилепим к вашему резнету (подставь любое имя) дополнительную одну голову с тремя полносвязными слоями (Feature Refiner + FC + Softmax на картинке). А во время тренировки будем вычислять лосс на двух головах, которые решают одну и ту же задачу. С той лишь разницой, что через голову (с двумя доп. слоями) мы пускаем градиенты по всей сети, а через оригинальную мелкую голову мы обучаем только саму мелкую голову.

Таким образом, жирная голова выдирает более глубокие фичи и обучает всю сеть, а мелкая голова просто учится подстраивать свои веса к текущей репрезентации сети, при этом не меняя веса самой сети. А во время теста, мы выбрасываем жирную голову и используем только мелкую, то есть скорость предсказания не увеличивается. Поразительно, но это метод дает халявный прирост в точности (1-5%) классификации на датасетах с ограниченным размером данных, таких как CIFAR и Caltech.

❱❱ Arxiv

@ai_newz

Небольшая методичка по выбору о оценке моделей машинного обучения https://arxiv.org/pdf/1811.12808.pdf

Хорошая новость для тех, кто не попал на NeurIPS. Скоро стартует курс по диффузионным моделям от Hugging Face 🔥.

А 30 ноября (завтра) его откроют докладами от крутых чуваков - создателей Stable Diffusion (Stability + Runwayml) и Make-a-Video (Meta AI).

Зарегаться можно тут.

@ai_newz

ТОРЧ МУЛЬТИМОДАЛЬНЫЙ

Meta AI выкатила на NeurIPS новую либу TorchMultimodal для тренировки SOTA мультимодалтьных и мультитаск моделей по типу CLIP, FLAVA, data2vec, Omnivore, и т.д.

Зачем? А затем что сейчас быстро растет интерес к моделям, которые понимают несколько типов ввода (текст, изображения, видео и аудио) и при необходимости используют это понимание для создания выходных данных различных форм (текст, изображения, видео). И для их эффективной тренировки нужен набор готовых инструментов. На картинке список основных примитивов, которые предоставляет эта либа.

❱❱ Блог
❱❱ GitHub

@ai_newz