Хей всем привет!
Ого как нас много стало🔥🔥, спасибо всем кто присоединился к канальчику, в связи с этим получайте порцию полезного материала))
В эту пятница 26 июля я буду выступать на Pycon с докладом про GPU-оператор и как он нам помогает настраивать ноды в K8S для работы с ML фреймворками. Наверника многие из вас при установке CUDA всегда не могли понять различные зависимости - какой драйвер ставить? какая версия CUDA подходит? Какая версия фреймворка torch, tensorflow нужна для определенной версии cuda и наоборот. А еще оказывается все это дело зависит от ядер, ОС и от архитектуры GPU🤯🤯🤯
На самом докладе я об этом все расскажу подробнее плюс будет конечно и про шеринг GPU. А сейчас хочу с вами поделиться ссылочками на все источники, где как раз эти зависимости можно посмотреть) Так что сохраняйте себе и наслаждайтесь🤝
1️⃣ GPU архитектуры от версии драйверов
2️⃣ Cuda от kernel (в ссылке можно менять версию CUDA)
- Cuda 11.8.0
- Cuda 12.0.1
- Cuda 12.5.0
3️⃣ cudnn от драйвера и cuda
4️⃣ pytorch от версии cuda
5️⃣ tensorflow от версии cuda
6️⃣ драйвер от версии cuda
7️⃣ драйвер от версии cuda на гражданских GPU
8️⃣ драйвер от версии cuda на GPU датацентров
9️⃣ контейнер фреймворков nvidia
При этом я не нашел зависимость версии драйвера от версии ядра Linux( Если знаете такой источник, кидайте в комменты🙏
Ого как нас много стало🔥🔥, спасибо всем кто присоединился к канальчику, в связи с этим получайте порцию полезного материала))
В эту пятница 26 июля я буду выступать на Pycon с докладом про GPU-оператор и как он нам помогает настраивать ноды в K8S для работы с ML фреймворками. Наверника многие из вас при установке CUDA всегда не могли понять различные зависимости - какой драйвер ставить? какая версия CUDA подходит? Какая версия фреймворка torch, tensorflow нужна для определенной версии cuda и наоборот. А еще оказывается все это дело зависит от ядер, ОС и от архитектуры GPU🤯🤯🤯
На самом докладе я об этом все расскажу подробнее плюс будет конечно и про шеринг GPU. А сейчас хочу с вами поделиться ссылочками на все источники, где как раз эти зависимости можно посмотреть) Так что сохраняйте себе и наслаждайтесь🤝
1️⃣ GPU архитектуры от версии драйверов
2️⃣ Cuda от kernel (в ссылке можно менять версию CUDA)
- Cuda 11.8.0
- Cuda 12.0.1
- Cuda 12.5.0
3️⃣ cudnn от драйвера и cuda
4️⃣ pytorch от версии cuda
5️⃣ tensorflow от версии cuda
6️⃣ драйвер от версии cuda
7️⃣ драйвер от версии cuda на гражданских GPU
8️⃣ драйвер от версии cuda на GPU датацентров
9️⃣ контейнер фреймворков nvidia
При этом я не нашел зависимость версии драйвера от версии ядра Linux( Если знаете такой источник, кидайте в комменты🙏
pycon.ru
Антон Алексеев. Без болей и велосипедов: GPU в Kubernetes с максимальной отдачей, шерингом ресурсов и простой настройкой драйверов
Современные задачи инференса моделей требуют меньших ресурсов по сравнению с обучением, что делает использование GPU под инференс нерациональным. Настройка инфраструктуры для работы с видеокартами — сложная задача, которая включает установку и конфигурацию…
🔥12
Forwarded from Марк Panenko
🔥 Друзья, готовы к новому выпуску "Дата Завтрака"? Уверены, что ваши GPU работают на полную катушку? 🚀
В третьем эпизоде мы окунулись в мир эффективной утилизации GPU для инференса и обучения моделей машинного обучения. Нашими гостями стали ребята из Selectel — Антон Алексеев, DevOps-инженер отдела дата и ML-продуктов, и его коллега Ефим Головин, MLops-инженер. Они точно знают, как выжать максимум из ваших видеокарт и поделятся своими секретами! 💡
Обсудим, как создать инфраструктуру на базе облака Selectel для дата-сайентистов и ML-инженеров, почему NVIDIA H100 с огромной памятью может быть недостаточно, если модели используют лишь 500 МБ, и как запустить множество таких моделей без разорения на дорогом железе. 🤑
Поговорим о технологии Multi-Instance GPU (MIG): её преимуществах, ограничения и о том, почему нельзя просто поделить видеокарту на мелкие кусочки, как пирог на вечеринке. 🎂
Антон и Ефим расскажут о практических решениях по правильной "нарезке" и утилизации GPU-ресурсов, способах изоляции памяти между процессами и о том, как избежать неприятных сюрпризов типа Out of Memory ошибок. 😱
Если вы хотите узнать, как эффективно балансировать ресурсы между обучением и инференсом, и услышать реальный опыт работы с GPU в промышленных масштабах — этот выпуск для вас! 🔥
Не пропустите увлекательное обсуждение и присоединяйтесь к нам!
🎧 Слушайте выпуск на Яндекс.Музыке
▶️ Или прямо в Telegram
🌐 Подробности на сайте: https://data-breakfast.mave.digital/ep-28
PS. У ребят есть свои каналы в TG, в которых они обсуждают похожие темы и не только.
Канал Антона
Канал Ефима
#DataBreakfast #МашинноеОбучение #GPU #Selectel #Инференс #MLOps #DevOps
В третьем эпизоде мы окунулись в мир эффективной утилизации GPU для инференса и обучения моделей машинного обучения. Нашими гостями стали ребята из Selectel — Антон Алексеев, DevOps-инженер отдела дата и ML-продуктов, и его коллега Ефим Головин, MLops-инженер. Они точно знают, как выжать максимум из ваших видеокарт и поделятся своими секретами! 💡
Обсудим, как создать инфраструктуру на базе облака Selectel для дата-сайентистов и ML-инженеров, почему NVIDIA H100 с огромной памятью может быть недостаточно, если модели используют лишь 500 МБ, и как запустить множество таких моделей без разорения на дорогом железе. 🤑
Поговорим о технологии Multi-Instance GPU (MIG): её преимуществах, ограничения и о том, почему нельзя просто поделить видеокарту на мелкие кусочки, как пирог на вечеринке. 🎂
Антон и Ефим расскажут о практических решениях по правильной "нарезке" и утилизации GPU-ресурсов, способах изоляции памяти между процессами и о том, как избежать неприятных сюрпризов типа Out of Memory ошибок. 😱
Если вы хотите узнать, как эффективно балансировать ресурсы между обучением и инференсом, и услышать реальный опыт работы с GPU в промышленных масштабах — этот выпуск для вас! 🔥
Не пропустите увлекательное обсуждение и присоединяйтесь к нам!
🎧 Слушайте выпуск на Яндекс.Музыке
▶️ Или прямо в Telegram
🌐 Подробности на сайте: https://data-breakfast.mave.digital/ep-28
PS. У ребят есть свои каналы в TG, в которых они обсуждают похожие темы и не только.
Канал Антона
Канал Ефима
#DataBreakfast #МашинноеОбучение #GPU #Selectel #Инференс #MLOps #DevOps
🔥11❤3👍2😎1