❓ Что будет, если LLM никогда не видела материал старше пятого класса?

Исследователи обучили модели с нуля на корпусе, ограниченном программой начальной школы США (K–5), и проверили, смогут ли стандартные техники — масштабирование, пост-обучение и in-context learning — вывести их за этот предел. Ответ: нет.

Проект LittleLearner — это песочница с контролируемой границей знаний. Корпус LittleCurriculum собран из 88 млрд токенов FineWeb-Edu, отфильтрованных по стандартам Common Core: всё, что изучается выше пятого класса, исключено. На нём с нуля обучили три модели — 0.6B, 1.3B и 5B параметров, плюс «нефильтрованные» контроли с той же архитектурой и токенами для чистого сравнения. Чекпоинты (base, GRPO, chatty) опубликованы на Hugging Face.

Главный вывод: масштабирование, пост-обучение через GRPO и подсказки усиливают навыки внутри учебного плана, но не улучшают результаты на задачах за его пределами. Даже обучение на внешних данных не закрывает разрыв — фильтр предобучения задаёт фактический потолок способностей. То есть модель не «приобретает» новые возможности, а лишь лучше «извлекает» уже заложенные.

Практическая ценность — чистая экспериментальная среда: можно изучать, как RL создаёт способности, как вводится новое понятие при continual learning, и сравнивать модели с детьми на материале дробей и текстовых задач.

#AI #Research #MachineLearning #LittleLearner #HuggingFace