Mistral AI и NVIDIA запустили NeMo модель на 12B

Компании представили 12B модель с контекстом до 128 000 токенов.
NeMo демонстрирует неплохие результаты в ответах, коде и прочих тестах.

Поддерживает квантизацию FP8 без потери эффективности.

Заточена на мультиязычные приложения с новым токенизатором Tekken.

Доступна по лицензии Apache 2.0 на HuggingFace и как микросервис NVIDIA NIM.

HF: https://huggingface.co/mistralai/Mistral-Nemo-Instruct-2407 (25GB)
https://huggingface.co/nvidia/Mistral-NeMo-12B-Instruct/

Уже появилась Q5_K_M версия под ollama (https://ollama.com/akuldatta/mistral-nemo-instruct-12b), но хотелось бы полную увидеть.

#Mistral #NVIDIA #NeMo
-------
@tsingular

Mistral.rs: Универсальная платформа для быстрого инференса LLM

Eric L Buehler представил Mistral.rs - сверхбыструю платформу для запуска LLM.
Ключевые особенности:
• Широкая совместимость: поддержка GPU, CPU, Apple Metal.
• Автоматическая оптимизация: квантизация, PagedAttention, непрерывная пакетная обработка.
• Гибкость: HTTP-сервер (OpenAI API), Python-биндинги, Rust API.
• Расширенные возможности: X-LoRA, LoRA адаптеры, мультимодальность.
• Удобство: автозагрузка с Hugging Face Hub, интерактивный режим.
Платформа поддерживает множество моделей и форматов, включая GGUF и GGML.

-Швейцарский- Французский нож в мире локального инференса.
Для любителей, - обязательно к ознакомлению. 🚀🧠

#Mistral.rs #LLM #Inference
-------
@tsingular

Французы проснулись.

Но, судя по бенчам, как-то не до конца.

24B, по бенчам сравнивают с Llama 3.3 и Qwen 2.5 32B.

Модель должна влезть в 3090/4090/5090, ждём reasoner тюнов. Хорошая новость - лицензия Apache, так что с моделью можно делать вообще что угодно.

https://t.me/ai_newz/3655

#Mistral
———
@tsingular

🚀Le Chat 2025: Mistral AI выпускает "самого быстрого" AI-ассистента

Mistral AI выпустил обновление своего AI-ассистента Le Chat, и, похоже, собирается серьёзно потеснить конкурентов на рынке (как минимум Groq).

Flash Answers: огромная скорость

Главная фишка обновления - функция Flash Answers. Le Chat теперь генерирует ответы со скоростью до 1000 токенов в секунду. Mistral AI утверждает, что это делает их ассистента самым быстрым на рынке. (тут, конечно, вопрос в размерности модели. Groq на малых моделях тоже может за 1000+ улететь)

Что умеет новый Le Chat?
• Code Interpreter: Появилась возможность запускать код прямо в чате, проводить научный анализ и создавать визуализации. Удобно для разработчиков и аналитиков, которым нужно быстро проверить гипотезы.

• Генерация изображений: За это отвечает модель Flux Ultra от Black Forest Labs - текущий лидер в области генерации изображений.

• Работа с документами: Le Chat научился работать с разными форматами файлов - от PDF до сложных таблиц. Причём разработчики хвастаются "лучшим в индустрии" распознаванием текста (интересно будет его на таблицах в PDF проверить, да еще на листах с разворотом в скане с печатями :) но мы это делать, конечно, не будем, потому, что печати.).

Тарифы и доступность 💰

Mistral AI предлагает четыре тарифных плана:

• Бесплатный: Доступ к базовым функциям, включая последние модели, генерацию изображений и загрузку документов.

• Pro (14.99$/месяц): Расширенные лимиты для активных пользователей.

• Team (24.99$/месяц на пользователя): Включает единый биллинг, приоритетную поддержку и кредиты la Plateforme.

• Enterprise: Индивидуальное ценообразование, возможность развертывания в своей инфраструктуре и настройка под нужды компании.

Что еще интересно? 🤔
Le Chat теперь доступен на iOS и Android, что делает его по-настоящему мобильным помощником. Скоро появится функция Memories - система будет запоминать ваши предпочтения для более персонализированных ответов (личное дело на каждого и социальный рейтинг в следующих версиях :) ).

Mistral AI позиционирует себя как "демократизатора AI" - большинство продвинутых функций доступно в бесплатной версии. При этом цена Pro-версии (14.99$) выглядит довольно конкурентной на фоне других игроков рынка.

Что дальше?
Mistral AI обещает скоро добавить интеграцию с рабочими инструментами (почта, базы данных, мессенджеры) и возможность создавать многошаговых агентов для автоматизации рутинных задач (конкурент MS Copilot 365).

#Mistral #LeChat
———
@tsingular