⚙️ IBM выпустила Granite 4.2 — новые модели для локального запуска

IBM представила семейство моделей Granite 4.2, сделав ставку на растущий спрос на LLM, которые работают локально, без отправки данных в облако. Это продолжение тренда, в котором компании хотят использовать ИИ на собственном «железе» — для приватности, экономии и офлайн-сценариев.

Granite 4.2 ориентированы на разработчиков и enterprise-задачи: генерацию кода, работу с документами, аналитику. Модели доступны в открытом виде, что позволяет разворачивать их на собственных серверах или встраивать в приложения. Локальный запуск снижает задержки и убирает зависимость от внешних API — критично для секторов с жёсткими требованиями к конфиденциальности.

Для IBM это способ усилить позиции в сегменте open-weight LLM и составить конкуренцию моделям от Meta и Mistral. Выход Granite 4.2 показывает: рынок ИИ смещается от гигантских облачных инференсов в сторону компактных моделей, которые можно запустить где угодно — от дата-центра до рабочей станции.

#AI #IBM #Granite #Tech #LLM #LocalLLM

👉 Llmspeed: узнайте скорость локальной LLM до покупки железа

На Hacker News вышел open-source проект llmspeed - веб-инструмент, который показывает, как быстро конкретная модель будет работать на выбранном железе. Выбираете конфигурацию и модель - получаете оценку в токенах в секунду и время до первого токена (TTFT).

В интерфейсе можно сравнить, например, Llama 3.1 8B в квантованном Q4_K_M на RTX 4090 (около 86-129 ток/с при TTFT 0.31 с), Mac Studio M5 Ultra, DGX Spark, Ryzen AI Max+ 395 (Strix Halo), Intel Arc Pro или даже CPU-only сборке на Ryzen 9 9950X. База покрывает десятки видеокарт и десятки моделей - Qwen, Gemma, DeepSeek, GLM, GPT-OSS, Nemotron.

Ключевая деталь: цифры для замеренных конфигураций берутся из реальных бенчмарков сообщества (r/LocalLLaMA, localscore.ai), остальные оцениваются по характеристикам железа и похожим сборкам. Есть режим «Race a config» для прямого сравнения двух вариантов.

Практическая польза очевидна: раньше покупка GPU под локальный инференс была лотереей, и узнать реальную скорость можно было только после сборки. Llmspeed даёт оценку до траты денег. Код открыт на GitHub.

🎨 qvabo.studio/tg · картинки и видео

#Tech #AI #LLM #LocalLLM #OpenSource #Hardware #AI