MIT MathNet — 30 000 олимпиадных задач по математике в открытом доступе

MIT CSAIL совместно с KAUST и HUMAIN собрали MathNet — крупнейший датасет доказательных математических задач. 30 000+ задач и решений из 47 стран, 17 языков, 143 соревнований. В 5 раз больше любого предыдущего аналога.

🏛 Архитектура: 1 595 PDF-томов (25 000+ страниц). Основа — личная коллекция Navid Safaei, который с 2006 года вручную сканировал буклеты национальных олимпиад. В отличие от AoPS (форумные решения), MathNet использует только официальные буклеты с рецензированными решениями.

🌍 Покрытие: Не только США и Китай, как во всех прошлых датасетах, — 6 континентов, 17 языков. Монгольские, румынские, бразильские задачи. Текстовые и графические формулировки. 4 десятилетия.

🤖 AI-бенчмарк: Результаты сложнее, чем «золото IMO». GPT-5 — лучший среди протестированных — набрал лишь 69.3% на основном бенчмарке (6 400 задач). Каждый третий олимпиадный уровень — мимо. Задачи с рисунками — провал у всех моделей. Open-source модели показали 0% на монгольском.

🔍 Retrieval benchmark: Модели ищут структурно похожие задачи. Лучшая нашла эквивалент с первого раза только в 5% случаев. DeepSeek-V3.2-Speciale при качественном retrieval получал +12 п.п., но плохой retrieval ухудшал результат в 22% случаев.

💼 Зачем бизнесу: Датасет — публичное достояние (open access). Для AI-команд: реалистичный бенчмарк математического рассуждения, который не затачивался под LLM. Для EdTech: 30К задач с рецензированными решениями на 17 языках — материал для адаптивного обучения.

🔮 Будущее: MathNet ставит вопрос: «настоящий» прогресс ИИ в математике или переобучение на узкий пул англо-китайских задач? Когда модель решает 69% — это впечатляет. Когда 0% на монгольском — напоминает, что reasoning ≠ memorization.

#MIT #MathNet #AI #математика #LLM #бенчмарки #образование #OpenData
───
@tsingular