Всем привет!
Я Антон, devops инженер, работаю в Selectel в направлении Data/ML инфраструктуры.
Настал тот самый момент, когда я решил завести свой канал в телеграмме. Здесь вы узнаете про мои исследования в DevOps и MLOps направлении, мысли по поводу различных инструментов, которые я использую в работе, и все это простым языком💅. А также буду публиковать доп контент по статьям на хабр и публичным выступлениям😎

Также добавлю немного про себя)
- я не сторонник холиваров ради холиваров) прикольно побывать в дискуссии на тему где нет правильных ответов, где опыт одного человека против опыта другого, но лишний раз тратить свою энергию я не стал бы на очередной спор что круче python или go, ansible или chef, вилкой в глаз или ... ой не в тот чат😅
- в этом канале не будет глубоких анализов технологий, скорее общие свединия. Поэтому посты свои буду писать обобщенно, чтобы читатель из небольшой сводки информации смог для себя понять, копать ли ему глубже в этот инструмент/технологию или пройти мимо


И в конце хочется с вами познакомиться. Ставь реакцию, если ты
👾 devops/sysadmin
💅 разработчик
😎 аналитик/ML-специалист

И начну свои технические посты с темы, которую обширно исследовал в прошлом году📅

Представьте, что у вас собрана здоровенная инфраструктура с видеокартой для ML задач по обучению и инференсингу(использование обученных моделей в продакшене). Но при этом некоторые модели не утилизируют gpu полностью, а сразу несколько не поместить, так как например кубернетес по-умолчанию выделяет одному Поду целую gpu.

Будто у вас дом 300 квадратов, где вы используете всего лишь 40. звучит богато, но переплачиваете вы тоже порядочно)

Вы можете поделить вашу GPU (от nvidia) на части, по сути раздать квадраты вашего дома под суточную аренду)

Timeslicing - деление GPU под задачи с помощью квантов времени. Похоже на "многопоточность" на одном процессоре с 1 ядром.
- доступно на всех GPU👍
- лёгкость установки😎
- отсутствует изоляция по памяти⚠️

MPS - специальный сервер на уровне CUDA запускает отдельные процессы
- GPU архитектуры Volta и выше✌️
- максимум 48 потоков⚠️
- изоляция видеопамяти на уровне CUDA🎞

MIG - деление GPU на уровне железа
- только архитектура Ampere💲
- максимум 7 партиций🎰
- изоляция видеопамяти на уровне железа👌

Подробнее читайте в моем блоге на хабр. А также сравнение этих трех технологий 😉

Хей, всем привет!

Сейчас я готовлюсь к выступлению на митапе про production ML-системы в Selectel 🦾

Буду совместно с коллегой - Ефимом Головиным - рассказывать как мы подбираем конфигурацию под ML, диагностируем узкие места в системе и утилизируем инфраструктуру по максимуму! Кстати, регистрация бесплатная, можно очно придти в СПБ - так что заглядывайте понетворкать)

И знаете, концепт доклада будет заключаться в том, что такие системы очень похожи на производственные. Я сам окончил кафедру в Питерском Политехе, где нас обучали автоматизацией всего и вся на заводах. Я даже успел съездить на такие заводы как Nissan, Festo, Jacobs - и даже поработать там автоматизатором (это было больно, но интересно=) ).

Во многом поэтому я вдохновился пойти в DevOps, так как все процессы и фишки в этой методологии/философии/кто-как-не-называет пришли именно из производственных систем! Бережливое производство, DAO Toyota, Теория ограничений Голдрота - все это мы используем в своих DevOps задачах, кто явно, а кто на подсознательном уровне💫

И я хотел бы раскрыть эту тему подробнее, думаю написать цикл постов как раз на тематику - от промышленной автоматизации до DevOps - чему можно научиться, сходя на завод.

А вам будет интересна эта тема?
Ставьте 🔥 и я расскажу как в DevOps используют то, что на заводах уже стабильно работает десятки лет)

Привет, друзья! 👋

Сегодня, пока активно готовлюсь к завтрашнему выступлению на митапе, хочу начать наш цикл от автоматизации производств до DevOps и поделиться с вами основными принципами бережливого производства (Lean Manufacturing) и как они могут быть полезными для нас, DevOps-инженеров. 🌟

Давайте разберемся в основных принципах этой системы, рассмотрим аналогии с простым программным продуктом и производством кофе на заводе (а я раньше там действительно работал):

1. Выявление и определение ценности для клиента 💡
Что важно для пользователей? Выясняйте и делайте именно это.
- Программный продукт: Новая фича, позволяющая пользователям лайкать котиков.
- Кофейное производство: Создание качественного и ароматного кофе, такое с кислинкой, чтоб прям вау.

2. Устранение потерь 🚫
Избавьтесь от всего, что не нужно клиенту.
- Программный продукт: Рефакторинг кода - удаляем мусор, делаем все проще.
- Кофейное производство: Делаем логистику проще - распределяем товары по ближайшим складам к клиентам.

3. Создание потока ценности 🌊
Сделайте работу непрерывной и гладкой, без простоев.
- Программный продукт: Строим пайплайны, билдим код по коммитам и деплоим без простоев.
- Кофейное производство: Конвейер, который в пустые банки засыпает кофе, накручивает крышки, ставит логотип и упаковывает в коробки - и все делают роботы.

4. Вытягивание продукта из клиентов 🔄
Работайте по реальным потребностям клиентов, а не догадкам.
- Программный продукт: Делаем только те фичи, которые нужны клиентам.
- Кофейное производство: Кофе делаем по спросу, склады наполняем по требованию.

5. Стремление к совершенству 🎯
Постоянно улучшайте продукт и процессы работы.
- Программный продукт: Ретроспективы и нытинги наше все!
- Кофейное производство: Улучшаем технологии обжарки и исследовуем новые сортаа.

В заключение хочу отметить, что бережливое производство и DevOps тесно связаны через применение общих принципов, таких как создание ценности для клиента, устранение потерь и стремление к совершенству. Внедрение этих принципов в вашу работу поможет создать сильную культуру непрерывного улучшения и гармоничного сотрудничества между командами. Удачи! 💪

Всем еще раз здрасьте!👋

Уже сегодня выступаю на MLечный путь 2024, ссылочка на трансляцию здесь.🌟

А в качестве бонуса спешу с вами поделиться источниками, которые мы использовали для подготовке к докладу)🫶

1. Схема ML-системы от Nvidia в статье что такое MLOps. Интересное чтиво для погружение в специализацию.
2. Как в MLOps.org видят что такое MLOps и как выглядит ML система.
3. Книга Бережливое производство - сейчас как раз читаю это чтиво, интересно сравнивать с DevOps направлением
4. Книга Цель: процесс непрерывного совершенствования - отличный роман, где на простых примерах показано как работает теория ограничений
5. Как используется GPU для обучения в ML - советы от HuggingFace и Coursera
6. Используем инструменты профилировки (pytorch, tensorflow, nvidia nsight system, nvidia nsight compute, deep learning profiler, ebpf)
7. Препроцессим предпочтительно на GPU, желательно не прямо в процессе обучения (cudf, nvidia dali)
8. Опенс сорс готовый инференс - Nvidia Triton Server (туториалы)
9. Параллелим обучение - huggingFace, pytorch, nvidia
10. Параллелим инференс - мои статьи на хабр, nvidia mig, nvidia timeslicing, nvidia mps

Делитесь в комментариях своей обратной связью по докладу и задавайте вопросы! Обязательно отвечу)😎

Всем привет!👋

Я создал этот канал совсем недавно и уже решил сделать небольшой ребрендинг😅
А именно хочу уйти от всей шаблонности, которая появилась в названии канала к чему то более настоящему чтоли...

Как я вообще его создал и зачем он мне?
1. Я последний год стал активно писать статьи на хабр и гонять по конференциям. И вся эта движуха (крутые доклады, нетворкинг ну и конечно халявное пиво) вдохновила меня ещё и выступать на них. И я пришел к тому, что по сути это отличные площадки чтобы можно было что нибудь рекламировать, но вопрос что😏?
2. Далее я подметил, что многие другие спикеры заводят свои личные каналы, там постят свои выступления, статьи, мысли о рабочих моментах да и просто как личный архив полезных источников. А также рекламу своих курсов💰😆
3. После статей ко мне стали приходить с предложением записать видеоуроки к курсам, сходить на подкаст и даже выступать на митапах)

И все это напомнило мне как ни странно инфо цыганство)) я даже в шутку с коллегами начал называть себя девопс цыган, или стендопс хехе. Для меня в этом ничего обидного нет, так как скорее для меня это пост мета ирония над как раз таки этой движухи, что выступая на конфах и попадая в публичное поле автоматом заводят все свои каналы, чтобы набрать подписчиков и создать какой нибудь свой платный курс) Кстати, я ,например, уже преподаю в университете курс по облакам и девопсу и думаю почему бы его не монетизировать😈))

И уверен к этому возможно я тоже как нибудь да приду) или вообще к консалтингу, кто знает...

А пока в целом как я и начинал делать свои посты так и продолжу, типа как личный архив и конспект. Уверен найдётся читатель который для себя что то подметит из моего опыта) помимо девопс/млопс тематики и своих выступлений также думаю писать про то, как я вообще готовлюсь к ним, какие текущие задачи у меня есть (например как я делаю исследования и тд), да и в целом что мне покайфу для личного архива)

Так что велком ту зе DevOps-цыган channel 🐴💲💃

Хей всем привет!👋
Уже завтра в Selectel будет проходить Admin митап! В этот раз я буду в роли ведущего-тамады) Будем смотреть как появляются в облаке образы виртуальных машин, как применять IaC для автоматизации тестирования инфры и подискутируем на тему развития devops/системных администраторов) Так что ждем вас онлайн и оффлайн!

А пока наши докладчики готовятся я тут решил рассказать про свой опыт выступлений, поделится наблюдениями и изученными источниками) возможно вы что то вам будет полезно)

1. Самое главное это рассказ как не странно. Слайды вторичны, они лишь визуализируют ваши слова. Начинайте всегда с того, что готовите рассказ про свою тему. Я обычно либо записываю его на вебку распределив на блоки (но это муторно). Либо беру стикеры и пишу темы. Разбиваю по блокам. Далее прогонять рассказ
2. И после можно уже садится за слайды. Я всегда сначала их набрасываю пустыми, типа только заглавие. Сортирую по главам (обычно 3-4 главы в докладе)
3. Ну и приступаю к мясу - наполняю слайды визуалом. Это может быть просто поинты списком, типа что говорю. Либо схемы какие то либо код. Но это все дополняет рассказ, поэтому нет смысла читать слайды, челики сами все прочитают. Вы лишь говорите свои мысли
4. Старайтесь на каждом слайде пройтись и понять что вы хотите донести. Буквально в 3-4 предложениях. Цель каждого слайда. Озвучьте её себе. Так вы поймёте как сократить рассказ. Ещё лучше если кто то ещё вас будет просто спрашивать че вы хотите сказать здесь? Мама/коллега/кошка - рассказывайте кому то только основную мысль и цель
5. Следите за связками- ваш рассказ должен быть последовательным, слайды должны быть как то связаны друг с другом. Чтобы сохранялась последовательность рассказа
6. Используйте аналогии. Аналогии всегда помогают понять сложные вещи простыми словами. Ваша цель донести свои мысли простыми словами. Хорош тот, кто сложное может объяснить простым языком
7. Сторитейлинг и ваш личный опыт. Всегда круто слушать именно про вас, про ваш опыт. Потому что только вы лучше всего знаете что было с вами и какие проблемы вы решили. Если под этим есть живая история то это всегда слушается интересно

Также книжки, которые я читал последнее время

- Ted Talks - Все знаю формат Ted. Книжка повествует о различных перфомансах этого формата, кейсы реальных людей. Про приемы как сделать ваш доклад интересным. Например, история как Бил Гейтс рассказывал про малярию и выпустил в аудиторию обычных комаров из банки. И этот перфоманс как раз и помог запомнить его основную мысль
- Хорошая, плохая, продающая - Достаточно простая, но интересная книга про базу. Какая аудитория существует (к примеру хоббиты, гоблины, волшебники и эльфы - как во властелине колец прям), как готовить рассказ для каждой аудитории и стоит ли пить алкоголь перед выступлением)
- Лаборатория презентаций - Книжка с базой посложнее, но с интересным дизайном. Как делать презентации, как придумывать рассказ. Правда мне дизайн не очень зашел, сильно отвлекал от сути)

Полезные упражнения, которые помогли мне натренировать навыки выступлений (хуже чем на упражнениях уже не будет, поэтому они и нужны до выступлений)
- Расскажи за 10 минут о том, что хорошо знаешь. При этом собеседник если потеряет мысль будет в тебя кидать бумажки. Таким образом ты поймешь есть ли у тебя контакт с аудиторией и привыкнешь к "отвлечениям"
- Расскажи ребенку о своей профессии. Аналогии наше все - вспоминаем, что хорош тот, кто простыми словами объясняет сложные вещи
- Печа куча - 20 слайдов, 20 рандомных картинок, 20 секунд на каждый слайд. Тренируемся говорить импровизируя, да еще и объединяя случайны картинки одной темой) Особенно полезно для продажников

Всем привет!
Давно не было постов и сейчас хотел бы поделиться с вами одним из своих исследований)
Столкнулся со следующей проблемой - в мире ML докер образы делают с жирком, все библиотеки весят много, плюс CUDA 5-6гигов минимум. Итого получается овер 10-15 гигов одного только образа😱 Представьте - вы делаете автомасштабируемую систему, например, в том же кубернетесе. При автоскейлинге поднимается новая нода (она голая, образов, которые вы используете там нет). В итоге в одном из моих кейсов деплой новой реплики занимал порядка 10 минут (2 минуты поднимается нода, 8 минут пуллится и сетапится образ контейнера). Достаточно долго, особенно если вам хотелось бы иметь систему без задержек (чтобы не терять трафик клиентов)

Я начал исследовать в сторону кеширование образов (где нибудь рядом с нодами), здесь можно посмотреть различные решения (но на medium возможно придется заходить через впн). Развернул кеширующий реджестри в кластере, но выиграл только в скорости скачивание слоев (они скачиваются параллельно, из 8 минут удалось сократить до 6). Проблема же оказалась в экстрактинге (он однопоточный, если слой 5+гигов то разархивируется достаточно долго). На графике как раз видно, как происходит пуллинг слоев и их экстрактинг

И тут я начал копать глубже. Нашел интересную статью, где раскрывается как вообще работает пуллинг и экстрактинг образов и как можно сделать lazy loading слоев.
Например можно использовать снапшоттеры! Один из таких Stargz Snapshotter, с поддержкой в containerd из коробки. А здесь можно почитать подробнее про использование.
Суть в следующем
1. ставим снепшотер на ноду
2. билдим образ с помощью buildx/kaniko, указываем в опциях compression=estargz
3. деплоим под в кубер и вуаля (в моем случае образ спулился за 8.6 секунд, сам сервис поднялся за 1.5 минуты в отличие от 6 минут, полученные стандартным способом)
Также прикладываю бенчмарки относительно базового варианта пуллинга образа. Сокращение времени пуллинга в несколько раз! Для работы с большими образами вещь классная, но нужно раскуривать дальше)

Всем доброе утро! Я тут в небольшой отпуск уезжаю и чтобы вы не скучали решил скинуть пару полезных источников, которые мы нагенерировалт для Opsов в нашем сообществе. Набрасывайте в комментариях ссылочки на то, что вам когда то помогало прокачаться😉

Структуру сгенерировал кстати чатжпт (сами источники мы формировали с коллегами), оказалось удобно закинуть ему несколько неструктурированных сообщений с ссылками, где он потом по шаблону и промту сам категоризовал источники и подогнал под сообщение в телеге. Сократилось много времени и ручного труда.

🔗Полезные ресурсы для Opsов:

📚 Сборники ресурсов:
- awesome-devops: Коллекция ссылок на полезные инструменты, статьи и другие ресурсы по DevOps.

🗺 RoadMaps:
- DevOps Roadmap: Карта навыков и технологий, необходимых для DevOps инженера.
- DevOps-Roadmap: Альтернативная карта навыков для DevOps инженеров с ссылками на обучающие материалы.

📖 Руководства:
- Kubernetes the Hard Way: Подробное руководство по установке Kubernetes вручную, без использования автоматизированных инструментов.
- SRE Interview Prep Guide: Руководство по подготовке к интервью на позицию SRE (Site Reliability Engineer).
- Интервью: Материалы для подготовки к собесам от желтых коллег.

🎥 Видео-курсы:
- Terraform - клевый плейлист по терраформу (в основном про AWS).
- Ansible плейлист про ansible от того же автора.

📺 Видео-каналы:
- Pavlenko: Канал, посвященный DevOps, программированию и IT-индустрии.
- Linux канал: Канал, посвященный обучению и новостям в мире Linux.
- Видео о Make: Видео, где рассказывается о недостатках Make.

📘 Книги:
- System Design: Руководство по подготовке к собеседованию по системному дизайну.
- Компьютерные сети. Принципы, технологии, протоколы: Подробное руководство по компьютерным сетям.
- Компьютерные сети на Лабиринте: Дополнительное издание по компьютерным сетям.

📝 Статьи:
- Сети для самых маленьких: Введение в компьютерные сети для новичков.
- Что на самом деле происходит, когда пользователь вбивает в браузер адрес google.com.

🕹 Обучающие игры:
- OverTheWire: Онлайн-игра для практики навыков взлома и администрирования.
- Обучение докеру: простое обучение на уровне пользователя на удобной онлайн платформе

Всем привет!
Я наконец-то вернулся из отпуска (ездил на очень огненный концерт Rammstein🔥🔥🔥)
Уже скоро появится новый контент и анонсы (вот это даааа)

А пока можете послушать один из подкастов, в котором я записывался. Рассказал про свой опыт в devops, что это вообще такое, нужен ли универ айтишнику и с какими задачами обычно сталкиваюсь)

Надеюсь смогу составить вам интересную компанию в дороге, например, в офис или дома на диванчике под хавчик)

Хеллоу!

Сегодня вышла моя статья на хабр по теме весеннего выступления на ML митапе. Там расскрываю, как выглядит ML система по аналогии с промышленным производством, как мы подбираем конфигурацию под ML нагрузки, с помощью чего можно найти узкие горлышки в ML инфраструктуре и как образом максимально эффективно использовать ваши GPU!

Так что запрыгивайте по ссылочке и приятного вам чтения)

Хей всем привет!
Ого как нас много стало🔥🔥, спасибо всем кто присоединился к канальчику, в связи с этим получайте порцию полезного материала))

В эту пятница 26 июля я буду выступать на Pycon с докладом про GPU-оператор и как он нам помогает настраивать ноды в K8S для работы с ML фреймворками. Наверника многие из вас при установке CUDA всегда не могли понять различные зависимости - какой драйвер ставить? какая версия CUDA подходит? Какая версия фреймворка torch, tensorflow нужна для определенной версии cuda и наоборот. А еще оказывается все это дело зависит от ядер, ОС и от архитектуры GPU🤯🤯🤯

На самом докладе я об этом все расскажу подробнее плюс будет конечно и про шеринг GPU. А сейчас хочу с вами поделиться ссылочками на все источники, где как раз эти зависимости можно посмотреть) Так что сохраняйте себе и наслаждайтесь🤝

1️⃣ GPU архитектуры от версии драйверов

2️⃣ Cuda от kernel (в ссылке можно менять версию CUDA)
- Cuda 11.8.0
- Cuda 12.0.1
- Cuda 12.5.0

3️⃣ cudnn от драйвера и cuda

4️⃣ pytorch от версии cuda

5️⃣ tensorflow от версии cuda

6️⃣ драйвер от версии cuda

7️⃣ драйвер от версии cuda на гражданских GPU

8️⃣ драйвер от версии cuda на GPU датацентров

9️⃣ контейнер фреймворков nvidia

При этом я не нашел зависимость версии драйвера от версии ядра Linux( Если знаете такой источник, кидайте в комменты🙏

Всем хеллоу!

Недавно Express42 опубликовали результаты опроса State of Devops 2024, где можно посмотреть различные тренды по развитию DevOps, трансформации специализации и использования практик в облаке. Как раз про облако мне было посмотреть наиболее интересно, так как в рабочем плане активно его использую.

Из интересного
- Рынок облака по-тихоньку растет. Все еще есть консерны использовать облако из-за безопасности и требований регуляторов, но если вам нужна инфра масштабируемая и ресурсы по требованию - облако как раз становится отличным решением
- Около половины респондентов используют в своей работе AI ассистентов (тот же ChatGPT). И действительно сейчас он стал хорош для небольших задачек по типу "напиши гитлаб манифест который делает то-то". Лично я также его используют и для своих исследований, помогает сократить время нахождение чего-либо плюс структурирования информации
- Из менеджед платформ чаще всего используют базы данных. ML платформы и сервисы пока что используют менее 10% в облаке, но надеюсь этот показатель будет расти
- С точки зрения навыков DevOps специалистов растет потребность в знании языков программирования, так как нужно дорабатывать свои решения. Также в основном это остается Gitlab CI CD (или аналоги), Kubernetes, Мониторинг
- В облаке также требуется знание API провайдера, terraform, packer, и что удивило - Crossplane. Как раз хочу поизучать эту штуку как альтернативу terraform, как будет что интересное - отпишу

Мне как девопсу с закосом под mlопс достаточно сложно становиться понимать границы технологий, которые необходимо иметь в арсенале. Очень преобладает t shape концепция сейчас, где ценятся специалисты с достаточно широким кругозором. Например мне для своей работы необходимо владеть и навыками бекендера, датасайнтиста, опс инженера (а еще иногда и продукт менеджера, стендапера и препода). Но с развитием того же искусственного интеллекта доступ к разным сферам спекциализаций становится проще и сейчас чтобы попробовать что то бекендерское необязательно читать 100500 книжек про пайтон/java и понимать как они внутри работают. И вот как раз навыки находить быстро информацию среди всего этого мусора в интернете и правильно ее применять - думаю сейчас очень ценный навык.

Так что заходите смотреть их отчет и делитесь своим мнением, куда будет развиваться devops направление в будущем)