А вот ещё интересное нашёл в продолжение предыдущей темы про математический потолок масштабирования LLM.

Если делать модель шире, глубже и дольше учить становится всё дороже, то следующий очевидный резерв — test-time compute: тратить больше вычислений уже непосредственно при решении задачи.

Но тут возникает следующий вопрос: а на что именно их тратить?

Обычно модель просто генерирует много вариантов ответа, а потом выбирается лучший.
Работа Refining Over Resampling предлагает другую схему:
8 независимых решений → критика каждого → исправление → несколько таких циклов → голосование.

Причём генератор, критик и корректор — одна и та же модель, без отдельного reward model.

Даже на Qwen2.5-1.5B получили таким образом приличный результат:
MATH500: 29,6% → 58,0%
AMC: 25,0% → 32,5%

Проще говоря: вместо того чтобы 8 раз спросить модель и выбрать самый популярный ответ, можно заставить её несколько раз проверить собственные решения, найти ошибки, исправить их и только потом выбирать итоговый вариант.

То есть дополнительные вычисления можно тратить не только на большее количество попыток, но и на повышение качества уже найденных решений.
Чем-то, кстати, напоминает рекурсивный анализ Астры.

А дальше начинается уже инженерия: Best-of-N, деревья поиска, PRM, sandbox, отсечение плохих веток.

И тут возможен следующий этап масштабирования, - не модель и обучение, а сам процесс решения задачи:
поиск → проверка → исправление → повтор.

Возможно, после потолка pre-training следующий большой резерв лежит именно здесь.

📎 Refining Over Resampling

пост marfin про Test-Time Compute

#TestTimeCompute #Reasoning #AIResearch
———
@tsingular