Как тренируют модели с рефлексией.
Филип Шмид. техлид HuggingFace

Реализация
1️⃣ Подготовка данных: соберите набор данных математических задач или задач кодирования
2️⃣ Сгенерируйте размышления: для каждой проблемы (пары вопрос-ответ) сгенерируйте альтернативные рассуждения, которые используют разные подходы или перспективы для решения и последующего рассуждения, которое является аналогиями, связанными с исходной проблемой.
3️⃣ Расширение данных: интегрируйте размышления в обучающие примеры. Теперь каждый обучающий экземпляр будет содержать исходную задачу, ее решение и раздел размышлений.
4️⃣ Тонкая настройка: тонкая настройка LLM с использованием расширенного набора данных, гарантирует, что модель изучит как прямые рассуждения для быстрых решений, так и рефлексивные рассуждения.

Результаты:
🧠 Повышает точность математических ответов на 6,8 балла
💻 Повышает производительность в написании кода на +3,5 балла в метрике Pass@1
👀 +81,11% в исправлении ошибок с использованием рефлексии > DeepSeek Math
🔬 Превосходит традиционную цепочку мыслей (CoT) в задачах на рассуждение
📈 С увеличением количества обучающих данных производительность улучшается

🚀 Выпущен код, подсказки, набор данных и скрипты:

paper HF
GitHub

#HF #Reflection #training #guide
———
@tsingular