Notux лидирует на Hugging Face с MoE файнтюном на базе Mixtral 8x7B

Модель argilla/notux-8x7b-v1 возглавляет рейтинг MoE (Mixture of Experts) на доске лидеров Hugging Face Open LLM.
Улучшенная версия mistralai/Mixtral-8x7B-Instruct-v0.1 благодаря методу Direct Preference Optimization (DPO).
Дообучали на новейшем очищенном наборе данных argilla/ultrafeedback-binarized-preferences-cleaned на базе виртуалки с восемью GPU H100 80GB на платформе runpod.io за 10 часов.

Файнтюн за 10 часов... Микстраль вышла когда? месяц назад? Норм эволюция.

#Notux #HuggingFace #MoE