AWS референс по сборке HyperPod с MIG для нарезки GPU

В нашей любимой рубрике "полезняшки от AWS" сегодня режем GPU.

Amazon добавил в HyperPod технологию Multi-Instance GPU от NVIDIA — теперь одну видеокарту можно разделить на несколько изолированных частей.

Работает в Kubernetes и управляется либо лейблами вручную, либо автоматом на уровне групп инстансов

По идее это должно помочь в сценариях, когда задачи не используют всю мощь GPU целиком — инференс небольших моделей, прототипирование, ноутбуки для экспериментов.

Например, H200 можно порезать на 3 куска по 18GB и один на 71GB. Каждый работает независимо — своя память, кеш, вычислительные ядра.

#HyperPod #MIG #AWS #Kubernetes
———
@tsingular