Обучение модели ruGPT-3.5 13B с использованием технологий Saiga, PeFT, LoRA и GGML
- Команда rulm объяснила процесс обучения ruGPT-3.5 13B, русскоязычной модели с 13 миллиардами параметров.
- Процесс обучения включает использование датасетов Saiga-2/GigaSaiga, технологии Peft/LoRA и кода GGML.
- Процесс начинается с подготовки и преобразования датасетов, затем через них обучается модель ruGPT-3.5 13B.
- Модель затем можно использовать для генерации текста, ответов на вопросы и других задач обработки текста.
- Результаты обучения могут быть квантизированы и конвертированы в формат GGML для дальнейшего использования.
Такие модели могут быть потенциально полезными инструментами для создания адаптивных искусственных интеллектов, способных обрабатывать естественный язык и выполнять сложные задачи в области обработки текста.
#ruGPT #Saiga #GGML
- Команда rulm объяснила процесс обучения ruGPT-3.5 13B, русскоязычной модели с 13 миллиардами параметров.
- Процесс обучения включает использование датасетов Saiga-2/GigaSaiga, технологии Peft/LoRA и кода GGML.
- Процесс начинается с подготовки и преобразования датасетов, затем через них обучается модель ruGPT-3.5 13B.
- Модель затем можно использовать для генерации текста, ответов на вопросы и других задач обработки текста.
- Результаты обучения могут быть квантизированы и конвертированы в формат GGML для дальнейшего использования.
Такие модели могут быть потенциально полезными инструментами для создания адаптивных искусственных интеллектов, способных обрабатывать естественный язык и выполнять сложные задачи в области обработки текста.
#ruGPT #Saiga #GGML
GGML (llama.cpp) + Hugging Face: портативная оптимизация
Георгий Герганов и команда GGML (авторы llama.cpp и whisper.cpp) официально присоединились к Hugging Face. HuggingFace собирает всё больше ключевых компонент для своего движка transformers.
⚙️ Техника: Основная цель — сделать переход от библиотеки transformers к инференсу через GGUF нативным. Больше не нужно жонглировать скриптами конвертации и искать «правильный» квант на GitHub. Нативная поддержка вшивается в саму архитектуру моделей.
🧠 Что это меняет:
Локальный инференс становится стандартом. Поддержка Apple Silicon и обычных десктопов теперь в приоритете главного хаба моделей в мире. Модель появляется на HF — и она тут же готова к запуску локально через оптимизированный стек.
Воплощённый интеллект переезжает из дата-центров на рабочие столы. Hugging Face делает ставку на Edge-вычисления, превращая наше железо в полноценную альтернативу облачным API.
Как только объединятся в общую библиотеку, можно будет под неё выпускать чипы.
Стратегия на следующие 5 лет определена.
Как там, интересно Unsloth поживает после этой новости.
А то, глядишь, их тоже прикупят, теперь за недорого. :)
#AI #GGML #HuggingFace #EdgeAI #OpenSource
———
@tsingular
Георгий Герганов и команда GGML (авторы llama.cpp и whisper.cpp) официально присоединились к Hugging Face. HuggingFace собирает всё больше ключевых компонент для своего движка transformers.
⚙️ Техника: Основная цель — сделать переход от библиотеки transformers к инференсу через GGUF нативным. Больше не нужно жонглировать скриптами конвертации и искать «правильный» квант на GitHub. Нативная поддержка вшивается в саму архитектуру моделей.
🧠 Что это меняет:
Локальный инференс становится стандартом. Поддержка Apple Silicon и обычных десктопов теперь в приоритете главного хаба моделей в мире. Модель появляется на HF — и она тут же готова к запуску локально через оптимизированный стек.
Воплощённый интеллект переезжает из дата-центров на рабочие столы. Hugging Face делает ставку на Edge-вычисления, превращая наше железо в полноценную альтернативу облачным API.
Как только объединятся в общую библиотеку, можно будет под неё выпускать чипы.
Стратегия на следующие 5 лет определена.
Как там, интересно Unsloth поживает после этой новости.
А то, глядишь, их тоже прикупят, теперь за недорого. :)
#AI #GGML #HuggingFace #EdgeAI #OpenSource
———
@tsingular
👍10✍6🔥4❤2⚡2