Вот только соберёшься записать видео про создание нейронных сетей с нуля как натыкаешься на лекцию Андрея Карпатого и понимаешь, что лучше уже не получится. Градиенты, обратное распространение, всё на python от a+b до MLP. Если вы откладывали для себя детально понять зачем нужен zero_grad в pytorch, то вам точно сюда. Немного отвлекают громкие щелчки Андрея по клавиатуре, но за 2,5 часа успеваешь привыкнуть ) https://www.youtube.com/watch?app=desktop&v=VMj-3S1tku0

Google предложил новый датасэт видео с оценкой качества на основе человеческого восприятия https://ai.googleblog.com/2022/08/uvq-measuring-youtubes-perceptual-video.html

Проба пера ко Дню знаний https://youtu.be/CIavPeAOWc0

Если хочется быстро въехать в k8s то 4-х часовое видео от Наны самое то. Пять миллонов просмотров говорят сами за себя. И это вам не развлекательный контент между прочим https://www.youtube.com/watch?v=X48VuDVv0do

У ФБ есть такая библиотека Faiss. Суть её в том, что она может быстро и эффективно находить похожие вектора. Звучит просто? А что вы скажите на то, что по этой либе целые онлайн книги выходят https://www.pinecone.io/learn/faiss/

Иногда нужно вернуться к основам ) https://youtu.be/bgakTsoV7-8

Субботний видос https://youtu.be/aU1pXqoDe1g

Сознавайтесь, все про SciML знали? https://benmoseley.blog/my-research/so-what-is-a-physics-informed-neural-network/

Задачка на ЦПТ https://youtu.be/61YL_dDMvzg

Джош не останавливается и доводит до рядового обывателя как работает LSTM https://www.youtube.com/watch?v=YCzL96nL7j0

Пока все смотрят новое видео от Андрея Картпатого, мы с вами обратим внимние на Ray. Это крайне удобная абстракция для распределённых вычислений, которая обладает уникальным функционалом. Для работы с ray вам будет достаточно знать только python. С этим инструментом вы сможете построить любое ML приложение от предобработки данных до сёрвинга в продашине на k8s. https://youtu.be/LmROEotKhJA

Взгляд на DNN со стороны теории информации (напоминаю, там всего три основные формулы). Известная проблема DNN это интерпретируемость. Всегда интересно посмотреть как ведущие учёные чувствуют DNN и пытаются объяснить почему они переобучаются и как преобразовывают входные данные с точки зрения строжайшей теории. Всё таки, правильная интуиция в нашем деле это почти ключ к успеху https://www.youtube.com/watch?v=utvIaZ6wYuw

Вдруг вы задумались что посмотреть на выходных? Вот вам шесть последовательных видосов про асинхронн в python. Надо сказать, что видео достаточно глубокие, несмотря на то, что это позиционируется как начальный уровень. Хорошо подана история развития async и не только в python. Становится понятно как это всё завязано на возможности ОС. В общем, восполнить пробелы может каждый https://www.youtube.com/playlist?list=PLhNSoGM2ik6SIkVGXWBwerucXjgP1rHmB

OpenAI становится скучной продуктовой компнаией. Вот вам новая модель, вот API, вот технчиеский отчёт, но то что там у модели внутри мы вам не скажем.
https://www.youtube.com/watch?v=2zW33LfffPc

Уже не новая, но не теряющая актуальность заметка Андрея Карпатого о том, что изменилось в DNN за 33 года. Кратко: принципиально ничего. А вот инженерные штуки шагнули значительно https://karpathy.github.io/2022/03/14/lecun1989/

Майский доклад Андрея Карпатого по LLM. Какие то подробности реализации GPT4 вы не увидите, но посмотреть на индустрию сверху точно можно https://www.youtube.com/watch?v=bZQun8Y4L2A&list=PLAqhIrjkxbuWI23v9cThsA9GvCAUhRvKZ&index=8

Интересное исследование на тему влияния сгенерированного контента современных моделей, в частности LLM, на качество обучающей выборки. Проблема возникает натурально: генеративные модели оставляют большой след в Интернете. И если с картинками можно развивать инициативы по маркировке экземпляров которые были сгенерированы моделями, то с текстом такое не работает.

Возникает вопрос: насколько сгенерированный контент влияет на качество моделей если он используется при обучении. Ответ авторов не утешительный – качество необратимо страдает.

Для доказательства этого факта исследователи проводят статистический эксперимент с нормальными распределениями, последовательно сэмплируя выходные данные предыдущей модели для формирования обучающей выборки следующей модели. На простых примерах это приводит к существенному искажению исходного распределения. При этом, после большого количества итераций, итоговое распределение сходится чуть ли не к константным значениям с минимальной дисперсией.

Авторы не ограничиваются игрушечными математическими примерами, проверяют гипотезу на более сложных генеративных моделях и приходят к аналогичным выводам. Может быть, поэтому OpenAI использует для обучения выборки, собранные до 2021 года? Вопрос открытый, но проблема очевидна.

https://arxiv.org/abs/2305.17493

RecSys относительно редкий экземпляр в ML задачах. Информацию о реально работающих системах в продакшне приходится собирать по крупицам. Но есть добрые люди, которые делают обзор того, что есть. Со ссылками на оригинальные работы естественно.

https://aman.ai/recsys/papers/

А у нас тут новый плейлист по ML от MIT с названием “Введение в DL”. Всего то 63 видео. https://youtube.com/playlist?list=PLtBw6njQRU-rwp5__7C0oIVt26ZgjG9NI