Apple представляет новый фреймворк MLX для машинного обучения

Apple раскрывает MLX - специализированный фреймворк для Apple Silicon.
Улучшенное машинное обучение: высокая производительность и легкость в использовании.
MLX поддерживает популярные языки программирования, облегчая интеграцию.
Эффективность: единая модель памяти минимизирует затраты на обработку данных.
Примеры возможностей: генерация изображений, языковые модели, распознавание речи.
Стратегия Apple: сделать машинное обучение доступней для исследователей.
Apple Silicon способствует высокой эффективности работы моделей ML, одновременно защищая данные пользователей.

Apple незаметно присоединяется :)

#Apple #MLX #MachineLearning

Docker Model Runner добавляет поддержку vLLM на macOS

Наконец-то на улице Apple Silicon праздник, - docker выпустил контейнер с vLLM для чипов M1-M4.
Теперь не только владельцы NVidia смогут запускать модели быстро, like а Pro :). 🍏

🦾 Главный инженерный плюс: Движок vllm-metal объединяет MLX и PyTorch в единую цепь вычислений.
Эффект от Zero-copy тензоров позволяет экономить на задержках особенно при росте контекста. 🛠

📈 По цифрам: На Llama 3.2 1B (4-bit) этот стек выдает около 280 токенов в секунду. Совместимость с OpenAI API полная — значит, кодовые-агенты вроде opencode или Крабов подключаются одной командой.

💡 Зачем это нам: Повышение скорости инференса на обычном макбуке с профессиональным управлением KV-кэшем и paged attention.
Удобно дебажить рои агентов прямо в самолете. 🦾

Изучаем документацию и поднимаем.

#vLLM #AppleSilicon #Docker #MLX #AI #Inference
———
@tsingular

Создатель oMLX перешёл работать в Hugging Face, проект остался открытым

Hugging Face объявила о найме Jun Kim (jundot), автора и ведущего разработчика oMLX.
Лицензия Apache 2.0 сохраняется: Kim продолжает руководить проектом. Из хобби проект переходит в полностью финансируемую разработку. (под крышей NVidia :) )

⚙️ oMLX это сервер локального запуска моделей на Apple Silicon поверх фреймворка MLX. Главное решение: постраничный кеш KV-блоков на SSD. Агентские сессии постоянно сдвигают контекст и обнуляют кеш, поэтому на длинных промптах первый токен приезжал через 30-90 секунд. oMLX кладёт блоки кеша на диск в формате safetensors и восстанавливает совпавший префикс за миллисекунды, в том числе после перезапуска сервера.
Дальше по списку: непрерывная пакетная обработка запросов с ускорением до 4,14 раза на восьми параллельных, одновременная работа языковой, зрительной, эмбеддинговой модели и реранкера, совместимость с API OpenAI и Anthropic, вызов инструментов и MCP, приложение в строке меню macOS. С февраля проект собрал 22 тысячи звёзд и 125 релизов.

🎯 Для MLX Hugging Face отводит oMLX роль испытательного полигона, а удачные решения поднимает в mlx-lm и mlx-vlm. Отдельный фокус: быстрый перенос описания модели из transformers в эталонную реализацию на MLX, чтобы новые модели заводились во всех движках сразу.

💼 Вывод хотите устроиться в ИИ гиганта, - сделайте стартап, который бы они купили вместе с вами :)
Openclaw вот в начале года, теперь oMLX.

#oMLX #MLX #HuggingFace
———
@tsingular

Вышла mlx версия Deepseek Flash 1017, которую реально запустить на M3 512Gb

Размер модели 432Gb.
Т.е. и на систему и на контекст место остаётся.

Рабочая скорость: 15-17 токенов в секунду

Качать тут:
https://huggingface.co/mlx-community/DeepSeek-V4.1-Flash-1017-oQ4e-mtp

Теперь фронтир уровня Опус 5 можно держать дома.

#deepseek #mlx #flash
------
@tsingular