Low-light image enhancement using MIRNet

Ссылка: https://keras.io/examples/vision/mirnet/

Группа Вконтакте https://vk.com/cvision

ShiftViT: Visual Transformer без Attention (ну, почти visual transformer =) )

И снова исследователи стараются нам показать, что Attention — не панацея. Ученые из Microsoft Research взяли классическую архитектуру ViT (ну, почти классическую) и заменили в ней все слои Attention на слои Shift. В итоге получили сеть с меньшим количеством параметров и сравнимыми с ViT результатами на ImageNet.

Вот как работает ShiftViT:
Архитектура ShiftViT состоит из блоков (stages на первой картинке к посту). Как и в классическом ViT, входное изображение сначала разбивается на патчи и подается на вход первому блоку. Каждый из блоков далее состоит из двух частей: embedding generator и shift block. Embedding generator принимает на вход выход предыдущего блока и генерирует трехмерный тензор-ембеддинг размера (height, width, channels) для подачи на вход shift block. Shift block содержит три слоя: shift operation, layer norm и MLP.

Shift operation устроен очень просто: он берет на вход трехмерный тензор и "сдвигает" в нем несколько каналов вдоль разных осей на небольшое количество пикселей. Иллюстрация процедуры — на второй картинке к посту. Слой Shift не имеет обучаемых параметров: то, каким образом будут сдвигаться каналы входного тезнзора, полностью определяется гиперпараметрами. Из-за этого модель ShiftViT того же размера, что и классический ViT, имеет на ~33% меньше параметров, чем оригинальный ViT.

У ShiftViT, однако, есть еще одно небольшое отличие от ViT: во всех блоках, начиная со второго, авторы ShiftViT используют 2х2 convolution в качестве embedding generator. Еще одно доказательство, что свертки не канули в небытие, хехе.

Идея операции Shift понятна: с помощью сдвига каналов во входном тензоре и последующего применения MLP+свертки авторы добиваются обмена информации между разными частями исходного изображения. Такой суперупрощенный Attention получается.

Из-за того, что ShiftViT имеет меньше параметров, чем ViT, он должен работать быстрее. Учитывая, что ShiftViT получает сравнимые с ViT результаты на разных бенчмарках для задач классификации, детекции и сегментации, подход выглядит интересным. Однако грустно, что авторы сравнивали ShiftViT и ViT на ImageNet, но не на JFT-300M: известно, что главная фишка Трансформеров — хорошие результаты при обучении на огромном количестве данных. Интересно было бы посмотреть на результаты ShiftViT на JFT-300M: покажет ли он настолько же хорошую генерализацию.

P.S. Это не первая работа, где ученые пытаются выкинуть Attention из ViT и заменить чем-то попроще. Вот пример статьи, где Attention заменяли на обычный pooling и тоже получали хорошие результаты.

📄Статья

Продолжение темы про дипфейки: https://www.unite.ai/google-has-banned-the-training-of-deepfakes-in-colab/

Бесплатные летние школы и конференции по искусственному интеллекту

Этим летом в России пройдут как минимум две научные школы и одна конференция по теме ИИ и deep learning:

1️⃣ Лето с AIRI: 4-недельная школа по ИИ для студентов и аспирантов. Участники проведут две недели с ведущими учёными из AIRI, МФТИ, ВШЭ, Сколтеха, University of Massachusetts Lowell, Mila Quebec AI Institute, МГТУ им. Баумана, РАН и других авторитетных научно-исследовательских организаций и ВУЗов. В программе — лекции, практические семинары, сореванования и воркшопы на разные темы ИИ: планирование поведения, обучение с подкреплением, нейросетевые методов анализа естественного языка, компьютерное зрение, объяснимые методы в искусственном интеллекте и т.п.

Где: Сочи, Сириус
Когда: 4-17 июля 2022
Дедлайн подачи заявки: 1 июня 2022

2️⃣ Летняя конференция AIRI. В продолжение летней школы AIRI проведет конференцию о современных результатах в области построения предиктивных моделей машинного обучения с учетом физико-математических моделей процессов. Проводится совместно с организаторами научных школ машинного обучения (SMILES, Евгений Бурнаев) и глубокого обучения и байесовских методов (Deep Learning and Bayesian Methods, Дмитрий Ветров).

Где: Сочи, Сириус
Когда: 18-26 июля 2022
Дедлайн подачи заявки: 12 июня 2022

3️⃣ Научная школа по экспериментальной и теоретической нейробиологии "Сложные нейронные сети и когнитивно специализированные нейроны". На школе будет цикл лекций и семинаров ведущих ученых о новых достижениях в экспериментальной и теоретической нейробиологии, а также неформальные обсуждения ключевых проблем исследований мозга. Приглашаются студенты, аспиранты и молодые ученые, интересующиеся экспериментальной и теоретической нейробиологией.

Где: Ингушетия, Армхи
Когда: 17-24 июля 2022
Дедлайн подачи заявки: 5 июня 2022

В VK стартовал набор в Академию больших данных MADE — это бесплатное обучение для специалистов с опытом в разработке.

👉 Регистрируйтесь до 6 августа: https://vk.cc/ceWlaM

Программа длится один год, но будьте готовы к серьезной нагрузке: занятия займут 25–40 часов в неделю. За это время вы сможете повысить свой профессиональный уровень или освоить новое направление в IT.

Что вас ждёт:
🔹Много практики и работа над реальными проектами.
🔹Преподаватели — ведущие эксперты в области Data Science. Например, несколько дисциплин ведёт Сергей Николенко, автор бестселлера «Глубокое обучение» и создатель курсов в СПбГУ, НИУ ВШЭ и Harbour Space University.
🔹Профессиональное сообщество, где преподаватели, выпускники и слушатели делятся знаниями, общаются и помогают в решении сложных задач.

Для поступления нужно сдать экзамены по математике и программированию, пройти соревнование по машинному обучению и анкетирование.

🎥 YouTube лекция: DeepMind's Perceiver and Perceiver IO: new data family architecture

Лекция от DeepMind и Stanford про одну из важнейших архитектур 2021го года — Perceiver & Perceiver IO
Latent is all you need, как говорится..

Архитектура Perceiver IO от deepmind: — трансформер-генералист. Его можно использовать для огромного количества задач как в CV так и в NLP.

То есть архитектура Perceiver IO подходит для обработки изображений, текста, аудио, видео и их комбинаций!

📇 Perceiver 📄 Perceiver IO

👉 https://youtu.be/wTZ3o36lXoQ

https://4pda.to/2022/07/17/401519/petvation_umnaya_dver_dlya_zhivotnykh_s_funktsiej_skanirovaniya_lits/

Компания Petvation предложила миру умную дверь для животных, способную распознавать лица зарегистрированных питомцев, предотвращая доступ посторонним. Проект оказался весьма популярным и собрал на Kickstarter почти 100 000 долларов, чего достаточно для начала массового производства.

● Судей в Китае обязали использовать ИИ. Верховный суд КНР обязал судей при принятии решений консультироваться с ИИ. Прокуратура страны также использует нейросети для оценки доказательств и опасности подозреваемого для общества. »»»