❗️LoRA — не единственный выбор: стоит ли выходить за рамки популярного метода дообучения?

Команда Hugging Face опубликовала разбор, почему LoRA, будучи самой популярной техникой параметро-эффективного дообучения (PEFT), не всегда является оптимальным выбором. По статистике, 98.4% моделей на Hugging Face Hub, упоминающих PEFT, используют именно LoRA, а на GitHub 71.3% всех PEFT-сниппетов относятся к LoRA. Однако авторы блога предупреждают: популярность не равна эффективности. LoRA стала стандартом во многом благодаря раннему выходу, обилию туториалов и лучшей интеграции в экосистему, а не объективному превосходству.

Библиотека PEFT от Hugging Face поддерживает десятки альтернативных методов: LoHa, AdaLoRA, DoRA, IA3 и другие. Каждый из них может давать лучшие результаты на определённых задачах — от генерации изображений до работы с LLM. Авторы подчёркивают, что выбор техники вслепую по заявлениям из научных статей проблематичен: результаты часто несопоставимы из-за разных условий экспериментов. Вместо этого они предлагают использовать встроенные в PEFT инструменты для автоматического подбора метода под конкретную задачу и модель.

Практический вывод: разработчикам и исследователям стоит тестировать несколько PEFT-методов, а не полагаться на LoRA по умолчанию. Это особенно актуально для работы с quantized-моделями и сценариев, где критично качество при минимальном потреблении памяти.

#AI #PEFT #LoRA #Studying #HuggingFace #MachineLearning