Mistral AI и NVIDIA запустили NeMo модель на 12B

Компании представили 12B модель с контекстом до 128 000 токенов.
NeMo демонстрирует неплохие результаты в ответах, коде и прочих тестах.

Поддерживает квантизацию FP8 без потери эффективности.

Заточена на мультиязычные приложения с новым токенизатором Tekken.

Доступна по лицензии Apache 2.0 на HuggingFace и как микросервис NVIDIA NIM.

HF: https://huggingface.co/mistralai/Mistral-Nemo-Instruct-2407 (25GB)
https://huggingface.co/nvidia/Mistral-NeMo-12B-Instruct/

Уже появилась Q5_K_M версия под ollama (https://ollama.com/akuldatta/mistral-nemo-instruct-12b), но хотелось бы полную увидеть.

#Mistral #NVIDIA #NeMo
-------
@tsingular