Подборка каналов об ИТ, радиоэлектронике и смежных областях

- LoFiCoder — вместе превращаем науку в код. От снежинки до сознания — всё, можно закодировать и запустить. Вычислительная природа реальности, пост за постом. + полезные инструменты для вашей учёбы или работы.

- FPGA-Systems Events — канал для тех, кто знает што такое vhdl и veriog. Новостной канал FPGA / RTL / Verification / ASIC комунити FPGA-Systems.

- «Данные решают» — канал от ИРИТ-РТФ, где специалисты рассказывают об IT, AI и радиоэлектронике без воды. Экспертное мнение, тренды, реальные истории успехов и провалов, а также возможности обучения — всё для вашего роста.

- Дорога в ИТ — это ваш гид в мир технологий от Татьяны, HR-эксперта с 8-летним опытом, специализирующейся на карьере в IT. Здесь вы получите практические советы, актуальные тренды, вдохновляющие истории и поддержку на пути к профессии в IT — потому что за кодом стоят живые люди со своими мечтами и интересами.

- Computer Vision News — в канале публикуются новости о передовых технологиях в компьютерном зрении, а также информация о соревнованиях по ML. Автор канала — Дунаева Александра, старший преподаватель кафедры высокопроизводительных технологий УрФУ и методист ЦРИТО МФТИ.

- Симуляторы — VR, цифровые двойники, ИИ: разбираем сложные темы просто и понятно. Эксперт канала — Дмитрий Денисов, к.т.н. Присоединяйтесь, чтобы узнать больше о будущем технологий.

- Анна Буянова (Anna Codes) — канал бэкенд-разработчицы о программировании (на Ruby и не только), личном опыте работы и обучения, организации образовательных инициатив.

- Андрей Созыкин — канал директора Учебно-научного центра «Искусственный интеллект» радиофака УрФУ Андрея Созыкина. Автор пишет о компьютерных сетях, базах данных, Python и машинном обучении.

✔️ Учёные научили ИИ определять СДВГ по тому, как человек видит и обрабатывает мелькающие картинки.

Модель анализирует зрительные ритмы - микропаузы между кадрами, которые мозг воспринимает по-разному у людей с и без СДВГ. Точность диагностики - 91,8%, а различить, принимает ли человек стимуляторы, ИИ смог с точностью 91%.

Метод может стать новым способом диагностики без тестов и интервью - достаточно показать короткое видео и измерить, как мозг реагирует на световые ритмы.
psypost

Команда ученых из Института AIRI, Сколтеха, MWS AI и МФТИ придумала, как оперативно выявлять изображения, содержание которых не соответствует здравому смыслу, используя галлюцинации искусственного интеллекта. Чуть проще рассказано – на Хабре. По-научному о подходе тут.

Дамы и господа, если вы хотите оценить глубину своих знаний 🧠 в математике и смежных областях для AI (или вам нечем заняться утром в – завтра, в субботу, 18 октября, в 11:00 по Москве (GMT+3) мы проведем открытый экзамен, максимально приближенный к вступительным экзаменам в магистратуру.

📌 С нашей стороны обратная связь и разбор ошибок, участие полностью бесплатное.

📋 Чтобы присоединиться, достаточно заполнить простую форму.

А если вы захотите системно и глубоко прокачаться в области ИИ, экзамен можно будет зачесть как вступительный для программы MiAMI🚀 (и даже получить скидку 10% на полную стоимость обучения).

📖 Подробности о программе, её структуре и полезные материалы для подготовки к экзамену – в Applicant’s Guide

Если останутся вопросы — пишите в Telegram: @girafeai_support

Успехов!

Курс по Генеративным моделям для изображений от ШАДа с видео за 2024г.
https://github.com/r-isachenko/2024-DGM-MIPT-YSDA-course

Слушая этот курс, вы сможете параллельно разбирать монографию The Principles of Diffusion Models: From Origins to Advances, которая была опубликована на днях. Структура у этого мануала очень похожа на ту, что предлагается на курсе.

Точность имеет значение

У наиболее распространенного на данный момент для обучения формата bfloat16 всего 7️⃣ бит на мантиссу. Обычно полагается, что такой формат lossless с точки зрения обучения и инференса (есть работы указывающие на сложность в воспроизводимости результатов в bf16).

Однако для некоторых слоев и тензоров, могут быть интересные последствия.

Некоторое время назад, обучая модельку, мы обнаружили, что веса при RMS нормах вообще не сдвинулись с места. При этом градиент тек по ним, и оптимизатор вполне себе их захватывал.

А дело в том, что в момент инициализации веса при RMS норме равны 1, и если обновление по величине не превышает 1e-3, то вес никогда не изменится.

В bfloat16: 1 + 1e-3 = 1

Собственно для таких ситуаций и нужна мастер копия в fp32.