Ребрендинг и планы на год

Всем привет! Я наконец восстановился после праздников и готов поделиться с вами новостями, относительно этого канала 🔥

1. Я нашел свою сферу интересов в инфраструктуре для ML 💪.
Этот канал я создал чуть меньше года назад. Изначально думал писать про DevOps простым языком, далее контент ушел в сторону MLOps и моих статей/выступлений и я сделал ребрендинг, попытвашись иронично обыгрыть мейнстрим по созданию своих каналов. Но основная причина смена названий и концепций канала для меня это поиск своей ниши и сферы интересов. Все мы растем и меняемся с течением времени, так что не считаю это чем то плохим иногда "переобуваться" и менять свое направление

Порефлексировав над текущим моим контентом и сферой моих интересов могу сказать, что в ближайшее время я хочу больше углубляться в мир инфраструктуры для ML. Основные мои исследования как раз направлены на эту тематику, уже есть экспертность в вопросах по построению ML платформ, инференсов и работой с GPU в облаке. И дальше мне хочется конечно расширять экспертность в этой сфере и делиться с вами. Поэтому я решил снова переименовать канал, а также добавить в него больше своей личности)

2. Планы на год по исследованиям
На этот год я планирую
- Изучить Dynamic Allocation Resource в k8s (хочу дождаться 1.33 версии) и показать вам новые способы управления ресурсами GPU в k8s.
- Углубиться в оптимизацию автоскейлинга, рассмотреть подробнее lazy loading и снепшотеры, zstd формат, p2p хранилища.
- Дальше прокачивать экспертизу в Triton Inference Server, изучать методы оптимизации инференсов. Как сделать доступнее GPU при меньшей потере качества модели.
- Продолжу писать статьи и выступать на конференциях.

3. Вы всегда можете обратиться ко мне за помощью
Уже несколько месяцев мне поступают вопросы и обращения по работе с инфраструктурой для ML. С небольшими вопросами я с радостью вам помогу (например с настройкой GPU оператора, или с вопросами про инференс LLM).

Но если у вас комплексная проблема, вы также можете обратиться ко мне за консультацией, например через эту площадку по вопросам:

- Построение инфраструктуры для ML задач
- Подбор конфигурации инфраструктуры под LLM
- Помощь в разработке Inference сервисов
- Трек развития специалиста по ML инфраструктуре

Я очень рад, что нашел на данный момент направление, которое мне очень нравится, а также интересно и вам) Оставайтесь на связи и ждите контент, до скорого!😊

Кто такой MLOps инженер?😩

Недавно помогал на менторской консультации сформировать понимание - что из себя представляет MLOps инженер?

Из ~180 вакансий на HH вы сможете увидеть в основном такие заголовки:
- MLOps
- DevOps
- ML Engineer
- Data Scientist
- Senior ML Python Developer
- Technical Product Manager)))

и у всех будет написано что-то такое (MLOps в бэкграунде, MLOps практики). Как видим - рынок сам не понимает что это такое. Некий солдат универсал, который умеет все.

И у меня спросил менти - куда в итоге развиваться и что делает то MLOps инженер?)

Как я ответил на этот вопрос.🗣
Я нарисовал небольшую диаграмму📈. Из моего опыта как млопса обычно приходиться работать с тремя сущностями:

1️⃣ Data - платформы данных, ваши любимые Spark, Airflow и ETL. Feature stores и Data Lakes

2️⃣ ML - эксперименты и автоматизация обучения моделей. MLFlow, Clearml, распределенное обучение и даже GPU!

3️⃣ Inference - модельки в продакшене, http/grpc эндпоинты, хайлоуд нагрузки и оптимизация инференса

И здесь кажется, что в одном инженере очень сложно уложить все три сущности. Поэтому я поделил их на Вертикали - специалисты, которые в основном варятся в инфраструктуре для каждого кружочка и процессами, связанными с ними.

А что, если мы проведем горизонтальную линию на все три кружка? Мы получим пайплайн доставки ценности до конечного клиента - от подготовки данных до эндпоинта. И конечно задача таких инженеров - автоматизировать эту поставку.

Так что мой ответ - смотря в какой специализации ты хочешь развиваться) Можно попробовать все сущности, можно углубиться в одну, здесь зависит от задач, которые ты выполняешь. Надеюсь скоро более менее рынок поймет, кто такой MLOps инженер, и возможно даже появится стандарт собеседований.

А пока что на первых этапах учите DevOps/Backend/DataScience, так как под них стандарты собесов уже есть!

Пишите в комментариях, что вы думаете про специализации MLOps инженера? LLMOps, InferenceOps, GPU-allocation-engineer - кто накинет больше вариантов?)

KAI Scheduler - нативный планировщик K8S от Nvidia

Что то зачастились посты на этой неделе, а ведь есть чем поделиться!
Добрались руки потрогать и пощупать KAI Scheduler. Nvidia выложила в open source скедулер, который используется в их enterprise Run.AI платформе.
Вкратце - он неплохо решает проблему скедулинга ворклоудов на GPU ресурсы при задачах обучения. Как он это делает?

Пройдемся по сущностям:

⌛️Queues- сущность, где мы можем определить квоты на ресурсы. Очень удобно, если мы хотим ограничить конкретным ворклоудам запуск на ограниченном количестве ресурсов. Есть у вас команда - делаем к ним лейбл с указанием имени очереди. Если привысят квоты на аллоцирования GPU, Pod не запустится.

📈Elastic Workload - ворклоуд с встроенным HPA. В целом большего описания и не требуется.

🚀Workload Priority - четыре класса приоритетов. Показывают, какие ворклоуды можно прерывать для аллоцирования более важных процессов.

🤝GPU sharing - можно указывать фракции GPU, например 0.5. Да, k8s не позволит вам запустить в этом случае больше 2 подов на 1 GPU, но это по сути time slicing, так что контроля за памятью на уровне k8s не будет. Запустил 2 VLLM с фракциями по 0.5, соответсвенно каждый забрал полностью GPU и произошел OOM. Придется ограничивать память на уровне апликейшена.

Больше всего мне зашли механизмы квотирования в очередях. Остальое больше применимо к трейнингу, не для инференса. Также есть проект Volcano от китайцев, но в целом это примерно тоже самое.