🤘Разбор собеса в бигтех | MLSD

смотреть

Также напомню про чеклист MLSD

Полная карта со всем моим контентом.

🤘Разбор собеса в бигтех | NLP, LLM

Интервьюер спрашивал чуть ли не по всей теории и продвинутым методам NLP и LLM - если смогли ответить на все вопросы, то считайте, что пройдете любой собес

Внутри:
- токенизация
- механизм внимания и его оптимизации
- ускорение трейна и инференса
- лора
- и многое другое

смотреть

Полная карта со всем моим контентом.

🤘Топ вопросов с Data Science собеседований | Часть 2

Деревья и ансамбли, метрические модели, кластеризация

Видео на ютубе с разбором самых популярных вопросов🔥
А также параллельно читайте статью-конспект на хабре со всеми этими вопросами🤓

Еще раз:
видео - https://youtu.be/cnWwzwY4jdU
статья - https://habr.com/ru/articles/955636/

Больше пользы, разборы реальных собесов и многое другое на бусти
Менторство для вката или повышения грейда

Полная карта со всем моим контентом.

🤘Мок-собес по метрикам классификации и регрессии

Все метрики с примерами и что при них нужно знать на собесе:
- accuracy, precision, recall, f1-score / fb-score, roc-auc-score, pr-auc-score, micro/macro
- mse, mae, rmse, R^2, mape / wape, несимметричные метрики регрессии

смотреть

🤘Трансформер в схемах и коде | Часть 1

Разобрал до деталей архитектуру трансформера: в схемах и с примерами кода

смотреть
смотреть
смотреть

завтра выйдет вторая часть про механизм внимания, а послезавтра большой пост на хабр

stay fine-tuned

🤘Разбор механизма внимания в схемах и коде

Разобрал механизм attention, а также multi-head attention и masked attention до деталей в схемах и с примерами кода

смотреть
смотреть
смотреть

завтра большой пост на хабр по трансформерам и вниманию!

stay fine-tuned

🤘Топ вопросов с NLP собеседований: трансформеры и внимание до малейших деталей

читать хабр статью

Содержание:
- Архитектура трансформера
- Механизм внимания
- Позиционные эмбеддинги
- Токенизация
- Трансформерные архитектуры (BERT, GPT)

https://habr.com/ru/articles/972178/
https://habr.com/ru/articles/972178/
https://habr.com/ru/articles/972178/

🤘Топ вопросов NLP собеседований

Интервью с Ваней - смотрим!

https://youtu.be/JmScIDEzYoo
https://youtu.be/JmScIDEzYoo
https://youtu.be/JmScIDEzYoo

статья-конспект в посте выше

🤘Топ вопросов по LLM: GPT, стратегии генерации текста и метрики оценки LLM

На NLP/LLM-собеседованиях часто проверяют не то, знаешь ли ты слова top-k, top-p и BLEU, а понимаешь ли ты, что происходит с распределением вероятностей, почему greedy decoding зацикливается, зачем нужна temperature и почему BLEU плохо оценивает ответы современных LLM.

В этой статье - чеклист по языковому моделированию, стратегиям генерации и метрикам качества. Это не полноценная лекция с нуля, а тренажёр, по которому стоит пройтись перед техническим интервью по NLP, чтобы закрыть пробелы и вспомнить необходимую базу.

Содержание:
• Языковое моделирование (GPT)
• Стратегии генерации текста
• Метрики оценки качества сгенерированного текста
• Итоговый чеклист вопросов с собесов
• Полезные материалы

статья:
https://habr.com/ru/articles/1044418/

Если цель - эффективно вкатиться с нуля / повысить грейд - приходите на менторство с оплатой после трудоустройства 🏆(писать в лс @abletobetable)

🤘Топ вопросов с NLP собеседований: обучение LLM, prompt-engineering и alignment

На NLP/LLM собеседованиях часто проверяют не только знание архитектуры Transformer, но и понимание полного жизненного цикла современной LLM: как модель предобучается, почему обычная GPT-модель ещё не является удобным ассистентом, зачем нужен instruction tuning, как работает RLHF и что такое alignment, какие у него есть подводные камни.

В этой статье - чеклист по GPT-like моделям, prompt engineering, этапам обучения LLM и alignment. Это не полноценная лекция с нуля, а тренажёр перед техническим интервью: пройтись по ключевым определениям, увидеть типовые вопросы и закрыть пробелы в формулировках.

Содержание:
• Краткая история развития LLM от GPT до ChatGPT
• Техники промпт-инжениринга
• Этапы обучения LLM
• Alignment
• Итоговый чеклист вопросов с собесов
• Полезные материалы

статья:
https://habr.com/ru/articles/1044420/

Если цель - эффективно вкатиться с нуля / повысить грейд - приходите на менторство с оплатой после трудоустройства 🏆(писать в лс @abletobetable)

🤘Топ вопросов с NLP собеседований: архитектуры LLM, инференс и оптимизация

очередная статья на хабр

На NLP/LLM собеседованиях все чаще проверяют не только знание трансформеров, но и понимание того, как устроены современные GPT-like модели: почему большинство генеративных LLM используют decoder-only архитектуру, чем LLaMA отличается от ванильного Transformer, зачем нужны RoPE, RMSNorm, SwiGLU и GQA.

Почему инференс LLM дорогой и какие оптимизации помогают его ускорять: fused kernels, FlashAttention, KV-cache и PagedAttention, continuous batching, speculative decoding, квантизация и дистилляция.

Много схем и картинок, а также полный список вопросов с собесов в конце.

статья:
https://habr.com/ru/articles/1068944/

уже 3-я статья на хабр подряд, а это значит, что скоро по этим темам выйдет большой собес на ютуб 🔥😋

по обучению писать в лс @abletobetable

🤘 Offline vs Online Inference: как ML-модели работают в проде

Допустим, мы раз в сутки пересчитываем рекомендации для нескольких миллионов пользователей маркетплейса. Собрали данные, запустили модель, несколько часов считали предсказания и сохранили их в БД.

А теперь другая задача - антифрод в банке. Пользователь прямо сейчас переводит деньги. Сообщить ему через несколько часов, что транзакция была мошеннической, будет немного поздно)

Поэтому требования к тому, как быстро получить предсказание, меняют практически всю философию деплоя модели.

Разберём два подхода 👇

• Offline inference

Обычно это обработка больших объёмов данных по расписанию или по какому-то событию, без необходимости немедленно возвращать результат пользователю.

Примерный пайплайн:
БД - подготовка признаков - batch inference - сохранение предсказаний

Всё это можно запустить через Airflow: настроить DAG, зависимости между задачами, расписание, ретраи.

А саму модель иногда достаточно просто загрузить внутри Python-скрипта и вызывать predict() батчами. Даже отдельный API-сервис не всегда нужен.

• Online inference

Тут уже задача - вернуть ответ за ограниченное время, иногда за десятки миллисекунд.

Примерный pipeline:
Backend - получение признаков - ML-сервис - ответ

Например, поднимаем FastAPI-сервис внутри Docker, загружаем модель при старте и обращаемся к ней через HTTP.

И сразу появляются нюансы, которых в обычном ноутбуке почти не видно:
• Latency: укладывается ли модель в допустимое время ответа?
• Признаки: можем ли мы быстро получить все фичи? Сложные джойны и агрегации часто приходится считать заранее.
• Batching: иногда выгодно немного подождать и обработать несколько запросов вместе. Но увеличение throughput может ухудшить latency отдельного запроса.
• Нагрузка и отказоустойчивость: сколько нужно реплик и что делать, если модель недоступна? Например, использовать fallback на более простое решение.


Про online/offline inference стоит думать ещё на этапе ML System Design, а не после того, как уже обучили модель. Потому что ограничения по времени ответа могут влиять на доступные признаки, сложность модели и сам способ решения задачи. Иногда модель с чуть худшими offline-метриками, но быстрая и стабильная в проде, окажется полезнее более точной, которая не укладывается в требования продукта.


Недавно подробно разбирали обе архитектуры на групповых созвонах внутри менторства.

В первом видео - offline inference: sklearn.Pipeline, pickle/joblib/ONNX, Airflow, DAG, batch scoring и разные варианты деплоя модели.

Во втором - online: FastAPI, batching, latency, features, Kafka/RabbitMQ, replicas, fallback и monitoring.

Собрал обе записи в один пост на Boosty

🏆 Узнать про обучение: https://lokismentorship.com/