Всем привет!
Я Антон, devops инженер, работаю в Selectel в направлении Data/ML инфраструктуры.
Настал тот самый момент, когда я решил завести свой канал в телеграмме. Здесь вы узнаете про мои исследования в DevOps и MLOps направлении, мысли по поводу различных инструментов, которые я использую в работе, и все это простым языком💅. А также буду публиковать доп контент по статьям на хабр и публичным выступлениям😎
Также добавлю немного про себя)
- я не сторонник холиваров ради холиваров) прикольно побывать в дискуссии на тему где нет правильных ответов, где опыт одного человека против опыта другого, но лишний раз тратить свою энергию я не стал бы на очередной спор что круче python или go, ansible или chef, вилкой в глаз или ... ой не в тот чат😅
- в этом канале не будет глубоких анализов технологий, скорее общие свединия. Поэтому посты свои буду писать обобщенно, чтобы читатель из небольшой сводки информации смог для себя понять, копать ли ему глубже в этот инструмент/технологию или пройти мимо
И в конце хочется с вами познакомиться. Ставь реакцию, если ты
👾 devops/sysadmin
💅 разработчик
😎 аналитик/ML-специалист
Я Антон, devops инженер, работаю в Selectel в направлении Data/ML инфраструктуры.
Настал тот самый момент, когда я решил завести свой канал в телеграмме. Здесь вы узнаете про мои исследования в DevOps и MLOps направлении, мысли по поводу различных инструментов, которые я использую в работе, и все это простым языком💅. А также буду публиковать доп контент по статьям на хабр и публичным выступлениям😎
Также добавлю немного про себя)
- я не сторонник холиваров ради холиваров) прикольно побывать в дискуссии на тему где нет правильных ответов, где опыт одного человека против опыта другого, но лишний раз тратить свою энергию я не стал бы на очередной спор что круче python или go, ansible или chef, вилкой в глаз или ... ой не в тот чат😅
- в этом канале не будет глубоких анализов технологий, скорее общие свединия. Поэтому посты свои буду писать обобщенно, чтобы читатель из небольшой сводки информации смог для себя понять, копать ли ему глубже в этот инструмент/технологию или пройти мимо
И в конце хочется с вами познакомиться. Ставь реакцию, если ты
👾 devops/sysadmin
💅 разработчик
😎 аналитик/ML-специалист
👾10💅6😎3
И начну свои технические посты с темы, которую обширно исследовал в прошлом году📅
Представьте, что у вас собрана здоровенная инфраструктура с видеокартой для ML задач по обучению и инференсингу(использование обученных моделей в продакшене). Но при этом некоторые модели не утилизируют gpu полностью, а сразу несколько не поместить, так как например кубернетес по-умолчанию выделяет одному Поду целую gpu.
Будто у вас дом 300 квадратов, где вы используете всего лишь 40. звучит богато, но переплачиваете вы тоже порядочно)
Вы можете поделить вашу GPU (от nvidia) на части, по сути раздать квадраты вашего дома под суточную аренду)
Timeslicing - деление GPU под задачи с помощью квантов времени. Похоже на "многопоточность" на одном процессоре с 1 ядром.
- доступно на всех GPU👍
- лёгкость установки😎
- отсутствует изоляция по памяти⚠️
MPS - специальный сервер на уровне CUDA запускает отдельные процессы
- GPU архитектуры Volta и выше✌️
- максимум 48 потоков⚠️
- изоляция видеопамяти на уровне CUDA🎞
MIG - деление GPU на уровне железа
- только архитектура Ampere💲
- максимум 7 партиций🎰
- изоляция видеопамяти на уровне железа👌
Подробнее читайте в моем блоге на хабр. А также сравнение этих трех технологий 😉
Представьте, что у вас собрана здоровенная инфраструктура с видеокартой для ML задач по обучению и инференсингу(использование обученных моделей в продакшене). Но при этом некоторые модели не утилизируют gpu полностью, а сразу несколько не поместить, так как например кубернетес по-умолчанию выделяет одному Поду целую gpu.
Будто у вас дом 300 квадратов, где вы используете всего лишь 40. звучит богато, но переплачиваете вы тоже порядочно)
Вы можете поделить вашу GPU (от nvidia) на части, по сути раздать квадраты вашего дома под суточную аренду)
Timeslicing - деление GPU под задачи с помощью квантов времени. Похоже на "многопоточность" на одном процессоре с 1 ядром.
- доступно на всех GPU👍
- лёгкость установки😎
- отсутствует изоляция по памяти⚠️
MPS - специальный сервер на уровне CUDA запускает отдельные процессы
- GPU архитектуры Volta и выше✌️
- максимум 48 потоков⚠️
- изоляция видеопамяти на уровне CUDA🎞
MIG - деление GPU на уровне железа
- только архитектура Ampere💲
- максимум 7 партиций🎰
- изоляция видеопамяти на уровне железа👌
Подробнее читайте в моем блоге на хабр. А также сравнение этих трех технологий 😉
🔥8👾1
Хей, всем привет!
Сейчас я готовлюсь к выступлению на митапе про production ML-системы в Selectel 🦾
Буду совместно с коллегой - Ефимом Головиным - рассказывать как мы подбираем конфигурацию под ML, диагностируем узкие места в системе и утилизируем инфраструктуру по максимуму! Кстати, регистрация бесплатная, можно очно придти в СПБ - так что заглядывайте понетворкать)
И знаете, концепт доклада будет заключаться в том, что такие системы очень похожи на производственные. Я сам окончил кафедру в Питерском Политехе, где нас обучали автоматизацией всего и вся на заводах. Я даже успел съездить на такие заводы как Nissan, Festo, Jacobs - и даже поработать там автоматизатором (это было больно, но интересно=) ).
Во многом поэтому я вдохновился пойти в DevOps, так как все процессы и фишки в этой методологии/философии/кто-как-не-называет пришли именно из производственных систем! Бережливое производство, DAO Toyota, Теория ограничений Голдрота - все это мы используем в своих DevOps задачах, кто явно, а кто на подсознательном уровне💫
И я хотел бы раскрыть эту тему подробнее, думаю написать цикл постов как раз на тематику - от промышленной автоматизации до DevOps - чему можно научиться, сходя на завод.
А вам будет интересна эта тема?
Ставьте 🔥 и я расскажу как в DevOps используют то, что на заводах уже стабильно работает десятки лет)
Сейчас я готовлюсь к выступлению на митапе про production ML-системы в Selectel 🦾
Буду совместно с коллегой - Ефимом Головиным - рассказывать как мы подбираем конфигурацию под ML, диагностируем узкие места в системе и утилизируем инфраструктуру по максимуму! Кстати, регистрация бесплатная, можно очно придти в СПБ - так что заглядывайте понетворкать)
И знаете, концепт доклада будет заключаться в том, что такие системы очень похожи на производственные. Я сам окончил кафедру в Питерском Политехе, где нас обучали автоматизацией всего и вся на заводах. Я даже успел съездить на такие заводы как Nissan, Festo, Jacobs - и даже поработать там автоматизатором (это было больно, но интересно=) ).
Во многом поэтому я вдохновился пойти в DevOps, так как все процессы и фишки в этой методологии/философии/кто-как-не-называет пришли именно из производственных систем! Бережливое производство, DAO Toyota, Теория ограничений Голдрота - все это мы используем в своих DevOps задачах, кто явно, а кто на подсознательном уровне💫
И я хотел бы раскрыть эту тему подробнее, думаю написать цикл постов как раз на тематику - от промышленной автоматизации до DevOps - чему можно научиться, сходя на завод.
А вам будет интересна эта тема?
Ставьте 🔥 и я расскажу как в DevOps используют то, что на заводах уже стабильно работает десятки лет)
🔥6
Привет, друзья! 👋
Сегодня, пока активно готовлюсь к завтрашнему выступлению на митапе, хочу начать наш цикл от автоматизации производств до DevOps и поделиться с вами основными принципами бережливого производства (Lean Manufacturing) и как они могут быть полезными для нас, DevOps-инженеров. 🌟
Давайте разберемся в основных принципах этой системы, рассмотрим аналогии с простым программным продуктом и производством кофе на заводе (а я раньше там действительно работал):
1. Выявление и определение ценности для клиента 💡
Что важно для пользователей? Выясняйте и делайте именно это.
- Программный продукт: Новая фича, позволяющая пользователям лайкать котиков.
- Кофейное производство: Создание качественного и ароматного кофе, такое с кислинкой, чтоб прям вау.
2. Устранение потерь 🚫
Избавьтесь от всего, что не нужно клиенту.
- Программный продукт: Рефакторинг кода - удаляем мусор, делаем все проще.
- Кофейное производство: Делаем логистику проще - распределяем товары по ближайшим складам к клиентам.
3. Создание потока ценности 🌊
Сделайте работу непрерывной и гладкой, без простоев.
- Программный продукт: Строим пайплайны, билдим код по коммитам и деплоим без простоев.
- Кофейное производство: Конвейер, который в пустые банки засыпает кофе, накручивает крышки, ставит логотип и упаковывает в коробки - и все делают роботы.
4. Вытягивание продукта из клиентов 🔄
Работайте по реальным потребностям клиентов, а не догадкам.
- Программный продукт: Делаем только те фичи, которые нужны клиентам.
- Кофейное производство: Кофе делаем по спросу, склады наполняем по требованию.
5. Стремление к совершенству 🎯
Постоянно улучшайте продукт и процессы работы.
- Программный продукт: Ретроспективы и нытинги наше все!
- Кофейное производство: Улучшаем технологии обжарки и исследовуем новые сортаа.
В заключение хочу отметить, что бережливое производство и DevOps тесно связаны через применение общих принципов, таких как создание ценности для клиента, устранение потерь и стремление к совершенству. Внедрение этих принципов в вашу работу поможет создать сильную культуру непрерывного улучшения и гармоничного сотрудничества между командами. Удачи! 💪
Сегодня, пока активно готовлюсь к завтрашнему выступлению на митапе, хочу начать наш цикл от автоматизации производств до DevOps и поделиться с вами основными принципами бережливого производства (Lean Manufacturing) и как они могут быть полезными для нас, DevOps-инженеров. 🌟
Давайте разберемся в основных принципах этой системы, рассмотрим аналогии с простым программным продуктом и производством кофе на заводе (а я раньше там действительно работал):
1. Выявление и определение ценности для клиента 💡
Что важно для пользователей? Выясняйте и делайте именно это.
- Программный продукт: Новая фича, позволяющая пользователям лайкать котиков.
- Кофейное производство: Создание качественного и ароматного кофе, такое с кислинкой, чтоб прям вау.
2. Устранение потерь 🚫
Избавьтесь от всего, что не нужно клиенту.
- Программный продукт: Рефакторинг кода - удаляем мусор, делаем все проще.
- Кофейное производство: Делаем логистику проще - распределяем товары по ближайшим складам к клиентам.
3. Создание потока ценности 🌊
Сделайте работу непрерывной и гладкой, без простоев.
- Программный продукт: Строим пайплайны, билдим код по коммитам и деплоим без простоев.
- Кофейное производство: Конвейер, который в пустые банки засыпает кофе, накручивает крышки, ставит логотип и упаковывает в коробки - и все делают роботы.
4. Вытягивание продукта из клиентов 🔄
Работайте по реальным потребностям клиентов, а не догадкам.
- Программный продукт: Делаем только те фичи, которые нужны клиентам.
- Кофейное производство: Кофе делаем по спросу, склады наполняем по требованию.
5. Стремление к совершенству 🎯
Постоянно улучшайте продукт и процессы работы.
- Программный продукт: Ретроспективы и нытинги наше все!
- Кофейное производство: Улучшаем технологии обжарки и исследовуем новые сортаа.
В заключение хочу отметить, что бережливое производство и DevOps тесно связаны через применение общих принципов, таких как создание ценности для клиента, устранение потерь и стремление к совершенству. Внедрение этих принципов в вашу работу поможет создать сильную культуру непрерывного улучшения и гармоничного сотрудничества между командами. Удачи! 💪
👍3
Всем еще раз здрасьте!👋
Уже сегодня выступаю на MLечный путь 2024, ссылочка на трансляцию здесь.🌟
А в качестве бонуса спешу с вами поделиться источниками, которые мы использовали для подготовке к докладу)🫶
1. Схема ML-системы от Nvidia в статье что такое MLOps. Интересное чтиво для погружение в специализацию.
2. Как в MLOps.org видят что такое MLOps и как выглядит ML система.
3. Книга Бережливое производство - сейчас как раз читаю это чтиво, интересно сравнивать с DevOps направлением
4. Книга Цель: процесс непрерывного совершенствования - отличный роман, где на простых примерах показано как работает теория ограничений
5. Как используется GPU для обучения в ML - советы от HuggingFace и Coursera
6. Используем инструменты профилировки (pytorch, tensorflow, nvidia nsight system, nvidia nsight compute, deep learning profiler, ebpf)
7. Препроцессим предпочтительно на GPU, желательно не прямо в процессе обучения (cudf, nvidia dali)
8. Опенс сорс готовый инференс - Nvidia Triton Server (туториалы)
9. Параллелим обучение - huggingFace, pytorch, nvidia
10. Параллелим инференс - мои статьи на хабр, nvidia mig, nvidia timeslicing, nvidia mps
Делитесь в комментариях своей обратной связью по докладу и задавайте вопросы! Обязательно отвечу)😎
Уже сегодня выступаю на MLечный путь 2024, ссылочка на трансляцию здесь.🌟
А в качестве бонуса спешу с вами поделиться источниками, которые мы использовали для подготовке к докладу)🫶
1. Схема ML-системы от Nvidia в статье что такое MLOps. Интересное чтиво для погружение в специализацию.
2. Как в MLOps.org видят что такое MLOps и как выглядит ML система.
3. Книга Бережливое производство - сейчас как раз читаю это чтиво, интересно сравнивать с DevOps направлением
4. Книга Цель: процесс непрерывного совершенствования - отличный роман, где на простых примерах показано как работает теория ограничений
5. Как используется GPU для обучения в ML - советы от HuggingFace и Coursera
6. Используем инструменты профилировки (pytorch, tensorflow, nvidia nsight system, nvidia nsight compute, deep learning profiler, ebpf)
7. Препроцессим предпочтительно на GPU, желательно не прямо в процессе обучения (cudf, nvidia dali)
8. Опенс сорс готовый инференс - Nvidia Triton Server (туториалы)
9. Параллелим обучение - huggingFace, pytorch, nvidia
10. Параллелим инференс - мои статьи на хабр, nvidia mig, nvidia timeslicing, nvidia mps
Делитесь в комментариях своей обратной связью по докладу и задавайте вопросы! Обязательно отвечу)😎
YouTube
MLечный путь 2024. Ежегодный митап MLOps и ML-инженеров
Получайте новые знания от практиков MLOps и дата-аналитики. Присоединяйтесь к сообществу ML и MLOps инженеров в Telegram: https://slc.tl/o60n1
0:00 Приветственное слово
1:30 Актуальный опыт внедрения feature store в командах СберМаркет. Feast уже можно внедрять…
0:00 Приветственное слово
1:30 Актуальный опыт внедрения feature store в командах СберМаркет. Feast уже можно внедрять…
🔥4
Всем привет!👋
Я создал этот канал совсем недавно и уже решил сделать небольшой ребрендинг😅
А именно хочу уйти от всей шаблонности, которая появилась в названии канала к чему то более настоящему чтоли...
Как я вообще его создал и зачем он мне?
1. Я последний год стал активно писать статьи на хабр и гонять по конференциям. И вся эта движуха (крутые доклады, нетворкинг ну и конечно халявное пиво) вдохновила меня ещё и выступать на них. И я пришел к тому, что по сути это отличные площадки чтобы можно было что нибудь рекламировать, но вопрос что😏?
2. Далее я подметил, что многие другие спикеры заводят свои личные каналы, там постят свои выступления, статьи, мысли о рабочих моментах да и просто как личный архив полезных источников. А также рекламу своих курсов💰😆
3. После статей ко мне стали приходить с предложением записать видеоуроки к курсам, сходить на подкаст и даже выступать на митапах)
И все это напомнило мне как ни странно инфо цыганство)) я даже в шутку с коллегами начал называть себя девопс цыган, или стендопс хехе. Для меня в этом ничего обидного нет, так как скорее для меня это пост мета ирония над как раз таки этой движухи, что выступая на конфах и попадая в публичное поле автоматом заводят все свои каналы, чтобы набрать подписчиков и создать какой нибудь свой платный курс) Кстати, я ,например, уже преподаю в университете курс по облакам и девопсу и думаю почему бы его не монетизировать😈))
И уверен к этому возможно я тоже как нибудь да приду) или вообще к консалтингу, кто знает...
А пока в целом как я и начинал делать свои посты так и продолжу, типа как личный архив и конспект. Уверен найдётся читатель который для себя что то подметит из моего опыта) помимо девопс/млопс тематики и своих выступлений также думаю писать про то, как я вообще готовлюсь к ним, какие текущие задачи у меня есть (например как я делаю исследования и тд), да и в целом что мне покайфу для личного архива)
Так что велком ту зе DevOps-цыган channel 🐴💲💃
Я создал этот канал совсем недавно и уже решил сделать небольшой ребрендинг😅
А именно хочу уйти от всей шаблонности, которая появилась в названии канала к чему то более настоящему чтоли...
Как я вообще его создал и зачем он мне?
1. Я последний год стал активно писать статьи на хабр и гонять по конференциям. И вся эта движуха (крутые доклады, нетворкинг ну и конечно халявное пиво) вдохновила меня ещё и выступать на них. И я пришел к тому, что по сути это отличные площадки чтобы можно было что нибудь рекламировать, но вопрос что😏?
2. Далее я подметил, что многие другие спикеры заводят свои личные каналы, там постят свои выступления, статьи, мысли о рабочих моментах да и просто как личный архив полезных источников. А также рекламу своих курсов💰😆
3. После статей ко мне стали приходить с предложением записать видеоуроки к курсам, сходить на подкаст и даже выступать на митапах)
И все это напомнило мне как ни странно инфо цыганство)) я даже в шутку с коллегами начал называть себя девопс цыган, или стендопс хехе. Для меня в этом ничего обидного нет, так как скорее для меня это пост мета ирония над как раз таки этой движухи, что выступая на конфах и попадая в публичное поле автоматом заводят все свои каналы, чтобы набрать подписчиков и создать какой нибудь свой платный курс) Кстати, я ,например, уже преподаю в университете курс по облакам и девопсу и думаю почему бы его не монетизировать😈))
И уверен к этому возможно я тоже как нибудь да приду) или вообще к консалтингу, кто знает...
А пока в целом как я и начинал делать свои посты так и продолжу, типа как личный архив и конспект. Уверен найдётся читатель который для себя что то подметит из моего опыта) помимо девопс/млопс тематики и своих выступлений также думаю писать про то, как я вообще готовлюсь к ним, какие текущие задачи у меня есть (например как я делаю исследования и тд), да и в целом что мне покайфу для личного архива)
Так что велком ту зе DevOps-цыган channel 🐴💲💃
😎6👍2💅1