🚀LADDER: LLM учится решать задачи как человек - от простого к сложному
Исследователи из Tufa Labs разработали подход LADDER (Learning through Autonomous Difficulty-Driven Example Recursion), позволяющий моделям учиться на декомпозиции сложных задач.
Суть в том, что модель сама генерирует более простые варианты сложной задачи, образуя естественный градиент сложности.
Она решает эти упрощенные варианты и постепенно учится решать всё более сложные задачи — без участия человека! 🤯
🧪 Технические детали, которые делают этот метод особенным:
1. Рекурсивное разложение проблемы: Модель генерирует дерево вариантов, где каждый новый уровень проще предыдущего. Важно, что сама модель определяет, как упростить задачу.
2. Верификация решений: на математической задаче из примера для проверки используется численное интегрирование, которое дает достоверную проверку.
3. Reinforcement Learning (GRPO): Применяется Group Relative Policy Optimization без отдельной критической модели, что экономит память и повышает эффективность.
4. TTRL (Test-Time Reinforcement Learning): Когда модель сталкивается с новой сложной задачей на этапе тестирования, она генерирует для неё варианты прямо во время вывода!
🔥 Результаты просто огонь:
- Модель Llama 3.2 3B улучшила точность с 1% до 82% на университетских интегралах
- 7B модель достигла 73% на экзамене MIT Integration Bee, превзойдя GPT-4o (42%)
- После TTRL та же 7B модель достигла 90% на MIT Integration Bee, перегнав даже OpenAI o1 (80%)
Да, вы правильно поняли — 7-миллиардная модель ОБОШЛА топовые модели с триллионами параметров! И это без дополнительной архитектурной оптимизации и человеческого фидбека.
💼 Бизнес-применение:
1. Экономия на вычислительных ресурсах: зачем платить за огромные модели, если можно научить маленькие?
2. Создание узкоспециализированных решений с меньшими бюджетами: можно взять маленькую модель и научить её конкретной задаче.
3. Edge-устройства: теперь реально делать локальные приложения с продвинутым мышлением на слабом железе.
Кажется, наконец-то появится альтернатива подходу "залить всё железом". LADDER открывает дверь к более эффективным моделям без безумного масштабирования.
Т.е. 5090 пока не покупаем :)
#LADDER #RL #mathematics
Исследователи из Tufa Labs разработали подход LADDER (Learning through Autonomous Difficulty-Driven Example Recursion), позволяющий моделям учиться на декомпозиции сложных задач.
Суть в том, что модель сама генерирует более простые варианты сложной задачи, образуя естественный градиент сложности.
Она решает эти упрощенные варианты и постепенно учится решать всё более сложные задачи — без участия человека! 🤯
🧪 Технические детали, которые делают этот метод особенным:
1. Рекурсивное разложение проблемы: Модель генерирует дерево вариантов, где каждый новый уровень проще предыдущего. Важно, что сама модель определяет, как упростить задачу.
2. Верификация решений: на математической задаче из примера для проверки используется численное интегрирование, которое дает достоверную проверку.
3. Reinforcement Learning (GRPO): Применяется Group Relative Policy Optimization без отдельной критической модели, что экономит память и повышает эффективность.
4. TTRL (Test-Time Reinforcement Learning): Когда модель сталкивается с новой сложной задачей на этапе тестирования, она генерирует для неё варианты прямо во время вывода!
🔥 Результаты просто огонь:
- Модель Llama 3.2 3B улучшила точность с 1% до 82% на университетских интегралах
- 7B модель достигла 73% на экзамене MIT Integration Bee, превзойдя GPT-4o (42%)
- После TTRL та же 7B модель достигла 90% на MIT Integration Bee, перегнав даже OpenAI o1 (80%)
Да, вы правильно поняли — 7-миллиардная модель ОБОШЛА топовые модели с триллионами параметров! И это без дополнительной архитектурной оптимизации и человеческого фидбека.
💼 Бизнес-применение:
1. Экономия на вычислительных ресурсах: зачем платить за огромные модели, если можно научить маленькие?
2. Создание узкоспециализированных решений с меньшими бюджетами: можно взять маленькую модель и научить её конкретной задаче.
3. Edge-устройства: теперь реально делать локальные приложения с продвинутым мышлением на слабом железе.
Кажется, наконец-то появится альтернатива подходу "залить всё железом". LADDER открывает дверь к более эффективным моделям без безумного масштабирования.
Т.е. 5090 пока не покупаем :)
#LADDER #RL #mathematics
👍13❤🔥1