Прикольная история. Во всех массовых реализациях софтмакса и кроссэнтропии есть баги, приводящие к проблемам округления. И вот после более чем десятка(ов) лет активного пользования всем этим, их наконец обнаружили. В очередной раз возникает вопрос, почему не раньше.

A Fix for Softmax and Cross-Entropy
Jonathan T. Barron, Dan Gnanapragasam, Michael Tschannen
Paper: https://arxiv.org/abs/2610.31642
Review: https://arxiviq.substack.com/p/a-fix-for-softmax-and-cross-entropy
Code: N/A (self-contained JAX snippets provided in paper)
Model: N/A

ЧТО сделали: Авторы переписали софтмакс, лог-софтмакс и кросс-энтропию (для жёстких и мягких меток) в логарифмическом пространстве. Это исправляет два бага округления в фреймворках глубокого обучения: Softmax Collapse (зануление градиента целевого логита при высокой уверенности модели) и Softmax Cancellation (ненулевой остаточный градиент в дистилляции, когда логиты студента уже совпали с логитами учителя).

ЧТО получили: На модулярном сложении ($a + b \bmod 31$) в bf16, fp32 и fp64 Fixed Cross-Entropy даёт 98.9%–100.0% тестовой точности против 93.3%–100.0% у стандартной кросс-энтропии, 48.9%–97.9% у Zero-sum Projection (вычитание среднего из градиентов) и 95.6%–97.4% у StableMax (кусочно-рациональная замена софтмакса). В полиномиальном гроккинге без регуляризации ($a^2 + b^2 \bmod 97$) Fixed Cross-Entropy достигает 85% точности, тогда как стандартная кросс-энтропия падает с 61% до 23%.

ПОЧЕМУ это важно: Drop-in replacement базовых функций лосса убирает скачки лосса («эффект рогатки», Slingshot) при гроккинге и дрейф весов при дистилляции в bf16 без перевода в fp64. Правда, все эксперименты проведены на небольших задачах модулярной арифметики, а проверенные здесь огромные отступы логитов и почти нулевые зазоры между студентом и учителем в масштабном обучении встречаются редко.

Округлять с багами и без багов здесь: https://t.me/gonzo_ML_podcasts/4837

• Sent via TeleFeed

• Sent via TeleFeed

• Sent via TeleFeed

• Sent via TeleFeed

Внутренняя модель OpenAI решила три открытые задачи из областей математики, теоретической информатики и физики

В том числе модель опровергла ETH – гипотезу об экспоненциальном времени. Это, ни много ни мало, ключевое предположение в теории вычислительной сложности, тесно связанное с задачей тысячелетия про P ≠ NP.

ETH утверждает, что задачу выполнимости булевых формул нельзя решить сильно быстрее полного перебора. Это предположение информатики и математики много-много лет использовали как фундамент для доказательства результатов из теории графов, вычислительной биологии, баз данных, геометрии и тд.

На ETH стоят сотни таких работ. Теперь же вдруг оказывается, что ETH ложна, и значит все вопросы типа "а насколько быстрее еще можно» открыты заново.

Результат настолько значимый, что проверять его будет группа во главе с Расселом Импальяццо и Рамури Патури – учеными, которые и сформулировали ETH. Кроме того, OpenAI обещает оплатить конференцию по осмыслению результата.

Две другие задачи тоже довольно заметные:

1. Гипотеза Какэя и локальное сглаживание. Речь о волнах, которые фокусируются в одной точке. Есть гипотеза Согга 1991 года, она утверждает, что самая сильная фокусировка не может длиться долго. Из этой гипотезы следуют гипотеза Какэя и гипотеза Штейна об ограничении.

Это одна из центральных задач гармонического анализа, над ней десятилетиями работали сильнейшие математики, однако до сих пор люди добирались только до доказательств для малых размерностей (двух или трех). Модель OpenAI выдала доказательство для любой размерности, и вместе с ним автоматически закрыла Какэя и Штейна, также для всех размерностей.

2. Существование КХД и Янга-Миллса. Модель строго доказала существование теории Янга-Миллса. Это тоже часть одной из семи задач тысячелетия. Также она доказала существование полной КХД, где к глюонам добавлены кварки, и объединенной теории, включающей частицы Стандартной модели. Результат разберет группа во главе с нобелевским лауреатом Дэвидом Гроссом.

Что-то невероятное происходит

https://openai.com/index/building-scientific-understanding-with-academic-communities/

• Sent via TeleFeed