Microsoft Foundry Local: запуск моделей без облака

Microsoft выкатила Foundry Local — локальный инференс больших языковых моделей без подключения к облаку.

Система работает через ONNX Runtime и поддерживает CPU, GPU от NVIDIA/AMD/Intel и даже NPU.

API полностью совместим с OpenAI - берёте готовый код, меняете endpoint на localhost:PORT, и всё работает.
Минимум: 8 ГБ RAM, 3 ГБ на диске. Рекомендуется 15 ГБ свободного места.

Модели подгружаются в память по требованию, держатся там 10 минут по умолчанию, потом выгружаются автоматически.

Добавляем в коллекцию на полку к vllm, LMStudio и ollama

#Foundry #ONNX #Microsoft #local
———
@tsingular