Data Science News
430 subscribers
56 photos
1 video
5 files
245 links
Данные, инструменты для них и немного математики.

Чат: @data_science_chat

Для контактов: @telejamm
Download Telegram
Видео записано два года назад. В нём есть всё: как сделать NLP классификатор за 1 час, pytorch lightning и huggingface. Наверное, сейчас это можно сделать ещё проще, но смотрится на одном дыхании https://www.youtube.com/watch?v=G3pOvrKkFuk
Хороший обзор текущего прогресса в области рекомендательных систем от техлида FB AI. Доклад на 30 минут и в нём рассмотрены RecSys архитектуры, подходы к оптимизации, распределённое обучение и вывод на конечных устройствах. Ещё немного про экологию и приватность, но это дань сегодняшнему дню. Как отмечает докладчик, по рекомендательным системам сравнительно мало исследований, так что есть поле для нового )
https://www.youtube.com/watch?v=5xcd0V9m6Xs
StatQuest это уникальный канал который просто для понимания повествует о статистике и ML. Каждая тема сопровождается подробным разбором примеров с числами, так что даже без английского всё понятно. Некоторые критикуют канал за излишнюю простототу, но, на мой взгял, всё в голове не удержишь и каждый там сможет найти полезное для себя. Проблема в том, что видео много и не всё четко организовано по темам. Но недавно все записи были структурированы вот здесь. Начать можно с RF, AdaBoost, Gradient Boost и XGDBoost (правый блок на карте). Наверное, это часть канала одна из самых лучших.
👍3❤1
А у нашего Янника бомбическое видео! Автор написал чат-бота. За основу он взял модель GPT-j и дообучил её на корпусе "politics incorrect" с платформы 4chan. Это датасэт содержит данные постов в течение 3,5 трех лет с одноименной доски 4chan (типа помойки на все темы подряд, включая конспирологию). Удивительно, но производительность дообученной модели получилась существенно лучше по показателю "TruthfullQA" по сравнению с базовой GPT-j и GTP-3. То есть, модель Янника лучше даёт "правидивые" ответы для людей. Затем он запустил бота на 4chan и было очень весело. Бот генерировал огромное количество сообщений через прокси на Сейшелах, а пользователи гадали кто это, какая то секретная структура или всё-таки бот. Очень много юмора, особенно про способ обойти сложную каптчу https://www.youtube.com/watch?v=efPrtcLdcdM
Хороший канал про DevOps. Уровень начальный. Однако, там есть главное - автор рассказывает об основных приципах работы docker и kubernetes с точки зрения процесса разработки, а детали и более сложные вещи уже можно взять из документации. Видео про докер почти три часа ) зато всё в одном месте.
https://www.youtube.com/c/TechWorldwithNana
Простая и содержательная заметка про тестирование производительности рекомендательных систем https://neptune.ai/blog/how-to-test-recommender-system
Классный гайд про то как уменьшить размер датафрейма в памяти https://courses.cs.ut.ee/LTAT.02.002/2021_fall/uploads/Main/reducing_memory_usage.html
Forwarded from Machine Learning Research (Alf162)
Яндекс выложил YaLM 100B — сейчас это крупнейшая GPT-подобная нейросеть в свободном доступе. Вот как удалось её обучить

https://habr.com/ru/company/yandex/blog/672396/
Если вы интересуетесь рангкингом в системах с неявным откликом (клики пользователей), то вам определённо стоит посмотреть четырех часовую (!) лекцию от Университета Амстердама. Это всеобъемлющий матрериал из которого становится понятно почему неявный отклик является зашумлённым и смещённым относительно истинной релевантности. А также методы которые позволяют получить несмещённые оценки релевантности. Есть и теорвер и симуляция и реальные примеры https://www.youtube.com/watch?v=BEEfMrn9T9c
🤔1