⚙️ AnyLanguageModel 1.0: год локальных моделей на платформах Apple

Hugging Face выпустила AnyLanguageModel 1.0 - drop-in замену фреймворка Foundation Models от Apple, позволяющую приложению выбирать модель и провайдера. Достаточно поменять один import, и тот же код сессии работает с системной моделью, открытыми весами через llama.cpp, MLX и Core ML, а также с хостинговыми провайдерами.

За год добавили tool calling и guided generation для всех провайдеров (включая вложенные @Generable-типы), поддержку изображений в промптах, работу с моделями по протоколу LanguageModel на OS 27. Среди хостинговых провайдеров - OpenAI Chat Completions и Responses, Anthropic Messages с adaptive thinking, Gemini, Ollama, Private Cloud Compute и Hugging Face Inference Providers через кастомный baseURL. Reasoning-блоки теперь часть транскрипта и автоматически отбрасываются при смене провайдера, а API-ключи берутся из замыкания - можно выдавать короткоживущие токены со своего сервера.

Вместе с этим вышли swift-huggingface и swift-xet 1.0 для ускоренной загрузки моделей с Hub. Из популярных локальных вариантов: Gemma 4 E2B (~3,4 ГБ, GGUF) и LFM2.5 2.6B (~1,7 ГБ) помещаются на iPhone, Qwen3.8 27B в 4 битах (~16 ГБ) идёт на Mac с 32 ГБ памяти. AnyLanguageModel работает и на Linux - тот же код годится для сервера.

🎨 qvabo.studio/tg · картинки и видео

#AI #AnyLanguageModel #Swift #Apple #LocalModels #Development #LLM