Вышла статья о всегда интересующей меня теме — о том, как прямо сейчас обычный GPT-5 без дополнительного дообучения и скаффолдинга может помогать с математикой.
Mathematical research with GPT-5: a Malliavin-Stein experiment
Я в этой конкретной науке мало чего понимаю, но сама статья предлагает прочитать введение, а потом сразу идти к Section 4.
И Section 4 читается со смешанными чувствами. Авторы сначала просят GPT-5 с ходу доказать новую теорему, по статье и короткому промпту. Потом отмечают, что в доказательстве была ошибка, и GPT-5 потребовалось аж два наводящих промпта, чтобы ошибку понять и исправить.
Затем авторы, следуя предложению самого GPT-5, переходят к другому случаю (от нормального распределения к пуассоновскому), и опять отмечают, что GPT-5 потребовалось точное указание на то, чего он сначала не заметил. Однако в результате GPT-5 за три-четыре промпта пришёл к верному результату (в данном случае негативному — нашёл контрпример).
Что же заключают авторы?
И дальше:
Кажется, это называется copium. Разумеется, первые шаги LLM, по-настоящему полезных для доказательства новых теорем, должны были выглядеть именно так, иначе это не были бы первые шаги. И скорость прогресса довольно однозначно указывает на то, что за первыми шагами последуют вторые и третьи.
Такие дела.
Update: более того, как указал мне коллега (не просто коллега, а автор Сиолошной, кстати говоря), авторы даже не использовали GPT-5 Pro...
#longreads #math
Mathematical research with GPT-5: a Malliavin-Stein experiment
Я в этой конкретной науке мало чего понимаю, но сама статья предлагает прочитать введение, а потом сразу идти к Section 4.
И Section 4 читается со смешанными чувствами. Авторы сначала просят GPT-5 с ходу доказать новую теорему, по статье и короткому промпту. Потом отмечают, что в доказательстве была ошибка, и GPT-5 потребовалось аж два наводящих промпта, чтобы ошибку понять и исправить.
Затем авторы, следуя предложению самого GPT-5, переходят к другому случаю (от нормального распределения к пуассоновскому), и опять отмечают, что GPT-5 потребовалось точное указание на то, чего он сначала не заметил. Однако в результате GPT-5 за три-четыре промпта пришёл к верному результату (в данном случае негативному — нашёл контрпример).
Что же заключают авторы?
To summarize, we can say that the role played by the AI was essentially that of an executor, responding to our successive prompts. Without us, it would have made a damaging error in the Gaussian case, and it would not have provided the most interesting result in the Poisson case, overlooking an essential property of covariance, which was in fact easily deducible from the results contained in the document we had provided.
И дальше:
The AI showed a genuine ability to follow guided reasoning, to recognize its mistakes when pointed out, to propose new research directions, and to never take on the task [what task? кажется, коллеги не дописали предложение]. However, this only seems to support incremental research, that is, producing new results that do not require genuinely new ideas but rather the ability to combine ideas coming from different sources. At first glance, this might appear useful for an exploratory phase, helping us save time. In practice, however, it was quite the opposite: we had to carefully verify everything produced by the AI and constantly guide it so that it could correct its mistakes.
Кажется, это называется copium. Разумеется, первые шаги LLM, по-настоящему полезных для доказательства новых теорем, должны были выглядеть именно так, иначе это не были бы первые шаги. И скорость прогресса довольно однозначно указывает на то, что за первыми шагами последуют вторые и третьи.
Такие дела.
Update: более того, как указал мне коллега (не просто коллега, а автор Сиолошной, кстати говоря), авторы даже не использовали GPT-5 Pro...
#longreads #math
❤17