🔒 Математический институт AI Safety хочет доказывать безопасность ИИ так же, как криптографы доказывают стойкость шифров

Канадский математик Джейкоб Цимерман, только что получивший Филдсовскую медаль — одну из высших наград в математике, — объявил об основании Mathematical A.I. Safety Institute (MAISI). Идея института: подходить к безопасности ИИ не через эмпирические тесты и бенчмарки, а через формальные математические доказательства — по образцу теоретической криптографии.

В криптографии стойкость схемы доказывают, сводя её взлом к заведомо нерешаемой задаче, а не просто проверяя, что её не удалось взломать на практике. MAISI хочет построить аналогичный аппарат для ИИ: формулировать гарантии поведения моделей как теоремы, а не как набор эмпирических наблюдений, которые можно опровергнуть одним удачным промптом.

Практический смысл — в переносе акцента с «мы протестировали и всё выглядит неплохо» на «мы доказали, что при таких-то условиях система не сделает X». Такой подход требует новых математических инструментов на стыке теории сложности, логики и анализа нейросетей, поэтому участие в проекте математиков уровня Цимермана — не случайность.

#AI #AISafety #Math #Research #MAISI