Неделю назад прошла яркая новость: Милла Йовович стала вайб-кодером и разработчиком системы памяти для LLM-агентов! Я воспользовался этим поводом, чтобы обсудить память всерьёз, и написал большой пост с обзором всей этой науки:

Память для LLM-агентов: Милла Йовович и 20/20 hindsight

Разумеется, сюда поместиться этот пост никак не может, он очень большой, так что вот оглавление и заключение (и то еле влезло!), а в целом читайте по ссылке.

1. Вступление, в котором актриса неожиданно становится инфраструктурным разработчиком

2. Мотивация, где мы разбираемся, зачем LLM-агентам вообще какая-то память

3. Таксономии, или как можно смотреть на структуру агентской памяти:

— срез первый, нейропсихологический;
— срез второй, операционный;
— срез третий, идейный.

4. Три столпа агентской памяти, или как всё началось

— Generative Agents: поток с взвешиванием
— MemGPT / Letta: память как операционная система
— Reflexion: вербальное обучение с подкреплением

5. Графы и нейронаука, или как добавить языковой модели гиппокамп

— HippoRAG
— Zep / Graphiti: графы с учётом времени

6. Изменяемая память, или как переписывать свои собственные воспоминания

— A-MEM: Zettelkasten для моделей
— Memory-R1: add/update/delete через RL

7. Open-source фреймворки, или что можно взять и использовать прямо сейчас

— Mem0: простой API, большое сообщество
— Letta (MemGPT) и Zep / Graphiti
— LangChain / LangMem, LlamaIndex, CrewAI, Cognee
— Большая тройка

8. Что на фронтире, или биомимикрия, мультиграфы и крепкий сон для LLM-агентов

— Эмуляция сна: явная консолидация памяти
— Новые примитивы для хранения элементов памяти
— Новые принципы работы с памятью

9. Бенчмарки, или как мы измеряем память

10. MemPalace, или что же там всё-таки Милла Йовович

11. Hindsight, или современный пример хорошей системы агентской памяти

— Четыре сети памяти
— TEMPR: параллельный multi-strategy retrieval с RRF
— CARA: reflect в приоритетном порядке
— Disposition parameters: личность агента влияет и на память
— Цифры

12. Выводы и заключение

Попытаюсь сделать несколько общих выводов из всех работ, которые я тут перечитал и пересказал.

Во-первых, качество retrieval-стратегии важнее сложности хранилища. Hindsight побеждает на бенчмарках не потому, что у него какая-то хитрая база данных, а потому, что у него четыре стратегии извлечения с RRF-слиянием. HippoRAG побеждает на multi-hop не потому, что у него навороченный knowledge graph, а потому, что он делает один шаг PPR вместо трёх LLM-вызовов. Системы, которые полагаются исключительно на векторную похожесть, стабильно проигрывают.

Во-вторых, бенчмарки бенчмаркам рознь. Это давно всем известно, но вот и задокументировано в MemoryArena: система, которая даёт 95% на LoCoMo, может давать 40% на реальной агентской задаче. Не уверен, что мы с этим разрывом скоро разберёмся, но как минимум MemoryArena и Mem2ActBench задают правильные вопросы, и это уже прогресс.

В-третьих, архитектуры памяти начинают учиться. Memory-R1 — это, по-моему, самое важное из того, что вышло в 2025-2026. Он показывает, что политику управления памятью можно учить на ~150 примерах по downstream reward. Плюс ещё и bio-inspired направление (LightMem, SleepGate, EverMemOS) двигается в ту же сторону. Мне кажется, что в ближайшие пару лет написанные вручную стратегии управления памятью постепенно уступят обучаемым.

А в целом это одна из самых интересных областей в прикладных LLM прямо сейчас. Год назад казалось, что агенты упираются в недостаточно хорошие рассуждения; полгода назад — что в tool use; а сейчас я всё больше уверен, что следующее важное “узкое место” — это именно память. А вот Милла Йовович, увы, подвела.

#longreads #ai #blog

У нас с моим аспирантом Михаилом Широких (точнее, конечно, у него со мной) на днях вышел препринт "Sparse Prefix Caching for Hybrid and Recurrent LLM Serving". А я что-то не пишу сюда о том, какие у меня собственно статьи выходят, давайте буду исправляться, заодно вот и Мишу порекламирую.

Написал вот пост, в котором постарался популярно рассказать, о чём статья, да и вообще дать общее введение в тему:

Разреженное префиксное кеширование, или где расставлять чекпойнты в гибридных LLM

Пост не очень длинный, но в нём изрядное количество формул, так что я тут только оглавление приведу, а так читайте по ссылке.

1. Префиксное кеширование: общая идея

2. А если у нас не трансформер?

3. Идея разреженного префиксного кеширования

4. Где ставить чекпойнты?

— Случай 1: когда про распределение мы ничего не знаем
— Случай 2: распределение неравномерное
— Случай 3: оцениваем распределение по истории

5. Экспериментальные результаты

— Как выглядят реальные распределения
— Экономия токенов на длинных последовательностях
— Реальные измерения времени (wall-clock)
— Как выглядят расстановки на реальных данных

6. Выводы и что дальше

В общем, интересная наука, и я категорически желаю Мише дальнейших успехов! Впрочем, надеюсь, и эту конкретную статью мы ещё немножко доработаем и подадим в приличное место.

#ai #blog #longreads #research

Вышла очень крутая (как это часто бывает) работа от Anthropic по AI Safety (краткий анонс, полная версия Kutasov et al., 2026). Не могу вам о ней не рассказать:

Teaching Claude Why: не что, а почему

Пост как всегда длинный, приведу здесь оглавление и заключение.

1. Введение и контекст: agentic misalignment

2. Откуда берётся шантаж: три гипотезы

3. Как Anthropic перевоспитывает Claude: общая схема

4. Главный трюк: "трудные советы"

5. Документы про конституцию и истории про хороший AI

6. Почему “почему” важнее, чем “как”

7. “Что думает Claude” vs “что думаю я”

8. Обсуждение: Janus и Zvi

9. Заключение

Что же в итоге? Ну, во-первых, ещё одна блестящая работа от Anthropic. Kutasov et al. докопались до источника agentic misalignment, придумали эксперименты, как это проверить, и даже более того, придумали, как всё это исправить. Надеюсь, что датасет Difficult Advice они тоже выложат, хотя это не выглядит принципиальным: они уже объяснили, как всё это воспроизвести.

Во-вторых, есть глубокий главный вывод: принципы и логика рассуждений важнее примеров и правил. Современные LLM нужно обучать не правильному поведению в отдельных ситуациях, а обоснованиям, по которым эти поведения правильны, — тогда обобщение происходит гораздо лучше.

В-третьих, разумеется, остаются пробелы и проблемы: persona attachment gap, замечание Janus про обобщение на собственное поведение, беспокойство Zvi по поводу хрупкости alignment… Отчасти опять получается, что мы вылечили симптом, но не болезнь. Но всё-таки кажется, что Anthropic движется в правильном направлении.

От себя сделаю такой вывод. Это точно лучшая работа по AI alignment, которую я читал за этот год. Здесь есть и ценные наблюдения, и наука с большой буквы “Н”, и конкретные практические рецепты, которые приносят существенные улучшения.

Но эта работа по сути опять говорит нам, что мы плохо понимаем современные LLM! С одной стороны, надо объяснять, приводить рассуждения, стараться формировать этические принципы, а не тупо бихевиористски давать конфетки. Это очень по-человечески и звучит вроде бы понятно. Но с другой стороны, всё равно возникает зазор между “Claude” и “я”, а LLM всё равно остаётся суперпозицией огромного числа разных персонажей, между которыми она “выбирает” по ситуации — и это уже совсем другое, нечеловеческое свойство.

В общем, вывод пока остаётся тем же: AI alignment — очень сложная задача, и даже блестящие работы, пожалуй, скорее расширяют наше понимание того, насколько она сложная, чем её решают. А человечеству надо её решить, иначе, как говорится, everyone dies. Такие дела.

#ai #blog #longreads

Вы давеча накидали мне так много реакций, что я не мог не откликнуться на этот запрос. Тем более что в итоге оказалось, что довольно много чего о гипотезе Эрдёша, которую давеча опроверг GPT, действительно можно объяснить на пальцах! Конечно, далеко не всё, но я старался:

GPT и единичные расстояния: опровержение гипотезы Эрдёша

Пост длинный, а доказательство, разумеется, весьма нетривиальное, но интересующимся я действительно рекомендую попробовать его прочитать. Я начал с самых истоков, подробно обсудил постановку задачи и простые результаты, а про основной результат постарался дать и краткое описание для специалистов, и общее рукомахательное описание для неспециалистов.

Приведу здесь оглавление и (сокращённое) заключение.

1. Введение

2. Что такое задача о единичных расстояниях

— Постановка задачи
— Грубые оценки
— Эрдёш, 1946 (нижняя оценка чуть лучше линейной)
— Гипотеза Эрдёша
— Простейшая верхняя оценка: O(n^{3/2})

3. Текущая верхняя оценка O(n^{4/3})

— Что такое число пересечений
— Конструкция Секеля

4. Почему задача такая сложная и почему ей нужна теория чисел

5. Что именно сделал GPT

6. Кольца, решётки и сумма двух квадратов

— Что такое кольцо
— Гауссовы целые Z[i]
— Решётка из целых поля Q(\sqrt{2})
— Как нижняя оценка Эрдёша устроена через кольца
— Идея GPT
— Проекция
— Почему из этого следует n^{1+\delta}

7. Детали конструкции: где взять такие поля

(эту часть непрофессионалам лучше пропустить, а профессионалам — рассказать мне, где я там налажал)

8. Почему же люди этого не сделали?

9. Реакции: «I would accept it for any journal without hesitation»

10. Заключение: что всё это значит

Попытаюсь подытожить общую картину. Гипотеза Эрдёша о единичных расстояниях, простоявшая с 1946 года и широко считавшаяся верной, была опровергнута контрпримером, который полностью автоматически построила внутренняя модель OpenAI (но именно чистая LLM, без внешних инструментов вроде Lean). См. таймлайн на последней картинке.

Само доказательство — это “обычная математика”, которую могли бы создать и живые математики: оно совмещает известные ингредиенты в новое целое. Доказательство перепроверили и упростили живые математики, и финальная версия вполне читаема, да и на самом деле не так уж сложна. [...]

Лично меня в этой истории больше всего впечатляет именно то, что первый выдающийся LLM-результат оказался таким “чистым”, аккуратным и понятным. Интуитивно ведь ждёшь, что первые такие истории будут чем-то вроде доказательства ABC-гипотезы, с сомнениями в корректности и огромными нечеловеческими доказательствами. Но нет: доказательство короткое и изящное, никаких сомнений нет...

Конечно, из этого пока не следует, что все живые математики скоро останутся без работы, и у этой конкретной задачи есть ряд свойств, делающих её особенно подверженной такому решению; мы их тоже обсудили. Скорее всего, большинство важных открытых проблем устроены не так... но, с другой стороны, откуда нам знать? Об этой задаче мы тоже такого не предполагали. Видимо, часть открытых задач — довольно большая часть, как мне кажется по итогам этой истории, — окажется решённой AI-системами в относительно близком будущем. [...]

Хочется, конечно, оптимистично сказать, что при этом человеческое внимание освободится для тех задач, которые требуют чего-то по-настоящему нового. Но, честно говоря, лично я вряд ли смог бы стать математиком в мире, где входной билет в профессию требует чего-то вроде решения не просто задачи Эрдёша, а задачи Эрдёша с концептуально новым решением...

Что дальше, коллеги?

#blog #ai #math #longreads

Я на этой неделе был как-то невероятно продуктивен. Последние три дня подряд прямо сидел и фигачил, и много нафигачил, кажется.

Сегодня происходит непродуктивный откат, поэтому на что я потратил субботу? Правильно, на то, чтобы разбираться в образовательных теориях мотивации! Вот вам внезапный лонгрид (дальше только сокращённое введение, оглавление и заключение, читать лучше по ссылке):

Мотивация в эпоху LLM: что говорит наука об образовании

Введение

В недавнем докладе про образование в эпоху LLM я пришёл к тезису, который мне самому кажется там главным. Доступ к знаниям давно перестал быть дефицитом, объяснение перестало быть дефицитом с развитием LLM — а вот мотивация учиться дефицитом быть не перестала, и именно к ней смещается центр тяжести всей системы образования.

Но, честно говоря, я тут же поймал себя на том, что понимаю “мотивацию” довольно примитивно. [...]

Так что я провёл половину субботы за увлекательным чтением всяческих работ по теории образования, и мне есть чем поделиться!

В этом посте я возьму за основу обзор Urhahne & Wijnia (2023), где шесть главных теорий раскладываются по единой модели действия “Ситуация → Я → Цель → Действие → Исход → Последствия”. [...]

Общий посыл этого текста таков. Про вред AI в обучении уже много писали: модели могут провоцировать cognitive offloading, то бишь лень поработать головой, снижают усилие, на котором держится обучение. Это всё реально, и я ниже честно это цитирую. Но я убеждён, что это не имманентное свойство языковых моделей, а артефакт того, как ИИ пока используют в образовании.

Поэтому в каждом разделе я разберу и то, как текущие практики мешают, и то, как ровно та же теория подсказывает, как AI может помогать. По структуре я буду следовать обзору Urhahne & Wijnia (2023), и в описаниях теорий мотивации тоже. Но в этом обзоре про LLM, естественно, ничего не говорится, так что обзор AI-исследований и выводы, связанные с AI, будут мои собственные.

Важный дисклеймер. [...] Всё это — социальные науки про самый сложный объект во Вселенной (человеческий мозг), измеряемый обычно на небольших и не особо репрезентативных выборках студентов-добровольцев. Эффекты, которые я вслед за авторами работ называю “подтверждёнными”, — это, как правило, скромные корреляции, добытые анкетами. [..] Так что это всё не “учёные доказали”, а “вот лучшее, на что я могу сослаться”. [...]

С этими оговорками — вперёд!

1. Теория ожидания и ценности (Expectancy–Value Theory, EVT)

2. Социально-когнитивная теория (Social Cognitive Theory)

3. Теория самодетерминации (Self-Determination Theory, SDT)

4. Теория интереса (Interest Theory)

5. Теория целей достижения (Achievement Goal Theory)

6. Теория атрибуции (Attribution Theory)

7. Саморегулируемое обучение (Self-Regulated Learning, SRL)

Заключение

Это был длинный пост! Но на самом деле по мере его написания у меня всё больше складывалось впечатление, что я переписываю примерно одно и то же всё новыми и новыми словами. Если сложить все семь разделов, проступает очень чёткая закономерность.

Вред возникает там, где AI забирает у ученика продуктивную работу — решает за него, снижает трудность, берёт на себя мониторинг.

Польза возникает там, где AI помогает ученику делать более трудную работу самому — поднимает ожидание успеха, даёт заработанные mastery-переживания, поддерживает автономию и компетентность, запускает и удерживает интерес, создаёт безопасную среду, в общем, тренирует когнитивные способности вместо того, чтобы их замещать. [...]

AI-системы могут сделать для нас самый современный спортзал, но мотивацию в нём тренироваться нам всё-таки нужно будет приносить с собой. Вырастить (а скорее не убить) такую мотивацию — это и есть, на мой взгляд, центральная задача системы образования.

#blog #longreads #ai

Год с лишним назад вышел AI 2027, который не побоялся поставить конкретные даты на дороге к AGI, RSI, ASI и так далее. А пару недель назад сооснователь Anthropic Джек Кларк написал, что по его оценкам с вероятностью 60%+ к концу 2028 года появится ИИ, способный полностью автономно обучить своего преемника. "I don't know how to wrap my head around it".

Сегодня у нас большой разбор: где мы сейчас на пути к recursive self-improvement, насколько сбывается AI 2027 и запустят ли LLM-агенты сингулярность. Пост по ссылке, ниже оглавление и краткие саммари разделов:

AI 2027 в 2026: нам и правда остался год?

1. Предисловие

2. AI 2027 чуть подробнее: идея сценария, SC → SAR → ASI. 2027 — это мода, а не медиана. Сами авторы сейчас ставят сверхинтеллект на 2031–2035.

3. Табель успеваемости: две ретроспективы: реальность идёт с некоторым количественным отставанием, но качественные предсказания (агенты, инвестиции, отставание регулирования) сбываются. А автономный поиск 0-day уязвимостей, как мы все знаем, опережает прогноз.)

4. Горизонт автономности: главный график про агентов. METR time horizon удваивается каждые ~3–7 месяцев и ускоряется. Mythos почти буквально уже "superhuman coder" из прогноза.

5. Проблема надёжности: от бенчмарка к реальной работе. Скепсис: METR писал, что AI-инструменты замедляли разработчиков, а не ускоряли, половину проходящих тестов PR мейнтейнеры бы не приняли и так далее. Бенчмарк — это ещё не совсем то.

6. Автономия и autoresearch: бенчмарки. Что с autoresearch? SWE-bench по сути на свалке истории, на MLE-bench 17% → 64% за полтора года, RE-Bench насыщается, PaperBench не обновляется, а на фронтире сейчас AutoResearchBench (~9%). Чем более открытая задача, тем нужнее пока что человек.

7. Автономия и autoresearch: позитивные результаты. Но там, где есть быстрый честный верификатор, агенты уже делают настоящие открытия: гипотеза Эрдёша, AlphaEvolve, AI Co-Mathematician. Да и просто — вы сами-то пробовали последние модели?

8. Инфраструктура и сроки. Это та часть AI 2027, которая сбывается с опережением: компьют растёт на 5× в год, инвестиции в сотнях миллиардов $, Stargate опережает график. Компьют ограничителем вряд ли станет — если только не упрёмся в то, что каждую идею надо проверять дорогим обучением.

9. Запустят ли LLM-агенты сингулярность? Главный вопрос, конечно, не в дате, а в том, сходящийся это ряд или расходящийся. Уже сейчас Claude пишет 80% кода Anthropic, но сама Anthropic говорит, что RSI ещё не предопределено. Пока ещё появляются новые узкие места.

10. Чего именно не хватает: память и непрерывное обучение, надёжность на длинном горизонте, sample efficiency, вкус и постановка задачи, модель мира. Вряд ли эти стены так уж непреодолимы, но и не падают пока что.

11. Заключение: AI 2027, возможно, ошибся в скорости, но не в направлении. К концу 2027-го не стоит ждать развязки (слава богу!), мы в более медленном таймлайне. Но "не так скоро" не значит "никогда" или даже "не скоро": ставки против прогресса AI пока не сработали ни разу.

#blog #longreads #ai

Пост готов, извольте кушать! Здесь, как всегда, только краткое саммари, а читать во всех подробностях надо тут:

Recoverable but not stationary: линейные структуры в весах и активациях

У нас с моим давним другом и соавтором Ириной Пионтковской недавно вышла статья “Recoverable but Not Stationary: Local Linear Structures in Weights and Activations“ [...]

Она про геометрию того, что происходит с нейросетью, когда мы её дообучаем, — и про то, почему так много разных способов “редактировать” уже обученную модель оказываются по сути линейными. [...]

Линейное дообучение. Чтобы подкрутить поведение обученной модели, часто достаточно сдвинуть веса или активации вдоль одного линейного направления — так устроены task vectors, model soups, TIES, LoRA, а в пространстве активаций — activation steering, function vectors, representation engineering, ReFT. А недавние "neural thickets" и вовсе показывают, что вокруг предобученной модели плотно растут полезные направления, которые находит даже случайный поиск. Какая линейная структура реально есть в обученной сети, где она живёт и как далеко по ней можно двигаться?

Восстановление после забывания. Чтобы получить честный "правильный ответ", мы устроили специальный цикл: обучаем сеть на смеси задач, доучиваем на одной (остальные забываются), а потом несколькими шагами градиента восстанавливаем. Сдвиг этого восстановления и есть цель, с которой мы сравниваем кандидатов на "правильное подпространство" — локальное подпространство задачи, префикс траектории и крыловский базис.

Теория. Мы объясняем, почему случайный поиск вообще что-то находит в пространстве на миллиард весов: проекция случайного возмущения на полезное направление не зависит от размерности, а best-of-N усиливает её, почти не задевая соседние задачи — польза концентрируется, вред размазывается. Здесь есть прямо теоремы, хоть и простенькие.

Что показывают эксперименты: три масштаба. На синтетическом трансформере подпространство задачи действительно "уезжает" по ходу восстановления. На LoRA-адаптерах — главный количественный результат, точно подтверждающий теорию. На больших LLM картина более мутная, зато связь с активациями работает красиво.

Более широкая проверка. Мы сделали и более крупный независимый стресс-тест (кстати, во многом силами AI-агентов). И всё устояло: геометрия восстановления воспроизводится, префикс остаётся особым низкоразмерным объектом, и мы даже новый результат увидели, о том, что префикс — это вообще не крыловское подпространство.

Как всё это складывается вместе. Попробую теперь собрать общую картину.

Наш итоговый вывод получается в каком-то смысле отрицательным. Неверно, что нет никакой линейной структуры — она есть! Но нет и единого глобального вектора задачи (task vector).

Оказалось, что обученные задачи дают локальную низкоразмерную структуру, которая сильно зависит от того, где и как смотреть. [...] Объединяющая мысль простая: линейная структура в обученных сетях реальна, но локальна — она движется по мере обучения, зависит от масштаба и выглядит по-разному в весах и в активациях. [...]

Куда дальше? Здесь много разных направлений, и мы, конечно, продолжаем. Упомяну, например, один глубокий вопрос, который эта работа ставит, но не решает: почему вообще полностью обученные чекпойнты содержат рядом возмущения, способные резко улучшить конкретную задачу? Откуда берутся эти крайне избирательные локальные направления и когда они возникают — при предобучении, при дообучении, или это свойство самого ландшафта потерь? Это мне кажется важным продолжением наших исследований.

В общем, кажется, что мы нащупали правильную оптику, через которую разрозненные результаты о линейности и маленьких подпространствах становятся проявлениями одной локальной и подвижной геометрии. Большое спасибо Ирине за совместную работу над всем этим, и надеюсь, что самое интересное ещё впереди!

#blog #ai #longreads #research #publications

Не знал что вам сегодня написать, но тут мне напомнили про статью, которая у нас с коллегами вышла ещё в апреле: “The AI Interviewer: Multi-Faceted Evaluation of Adaptive Questioning by Large Language Models”. Совсем не по математике и не по CS, зато про LLM'ки. Давайте вам о ней кратенько расскажу; вот полная версия поста:

The AI Interviewer: LLM как психолог-исследователь

Основную часть работы здесь сделали наши коллеги-психологи из Института психологии РАН, я там был сбоку и подключился на позднем этапе, так что ни на какие лавры не претендую.

Постановка задачи

LLM всё чаще запускают как адаптивных интервьюеров (adaptive interviewers) в качественных исследованиях по психологии и социологии: модель ведёт полуструктурированное интервью, сама решает, где копнуть глубже, сама задаёт уточняющие follow-up вопросы.

Звучит удобно и логично: живого интервьюера трудно масштабировать на сотни глубоких бесед, для этого LLM и нужны (как, например, нужны и как индивидуальные тьюторы в образовании).

Но сразу встаёт вопрос: а хорошо ли модель это делает? Эмпатичны ли её вопросы, уместны ли, не наводящие ли, не спрашивает ли она там, где ответ и так исчерпывающий?

Что сделали

Коллеги собрали модульного агента (на LangGraph), который ведёт интервью по некоторому опроснику, в нашем случае по большому психологическому интервью (часа на полтора-два, если всерьёз отвечать), из 54 вопросов — биография, семья, ценности, работа, здоровье и так далее.

На каждом ответе агент сам выносит бинарное решение “нужен follow-up или нет” и формулирует его. Чтобы честно сравнивать модели, зафиксировали всё, что можно: контекст (десять реальных человеческих интервью как затравка), оркестрацию агента (одинаковые промпты, guardrails, логика повторов и т.п.). А главное, зафиксировали самого интервьюируемого — разумеется, это был не человек, а LLM с фиксированным Big Five профилем.

Прогнали шесть моделей (эксперимент был в начале года, а может, и в конце предыдущего, так что модели уже устаревшие, но смысл, конечно, не в конкретных версиях): Claude Sonnet 4, Gemini 2.5 Pro, GPT-5, Grok 4, Qwen3-235B и DeepSeek V3.1.

Дальше три эксперта-психолингвиста разметили кучу вопросов, которые модели задавали. Для follow-up вопросов, которые придумывали сами модели, оценивали доброжелательность, необходимость, внимание к контексту и открытость, а для основных вопросов, где модель не задала ни одного уточняющего вопроса, оценивали оправданность этого решения.

Результаты

Получились на удивление внятные профили:

— Gemini 2.5 Pro самый эмпатичный тон (“спасибо, что поделились таким личным опытом”) и лучший общий ранг; согласитесь, не совсем то, чего по умолчанию ждёшь от Gemini;

— GPT-5 — быстрый и избирательный: задаёт меньше всего follow-up’ов, зато самые оправданные;

— Grok 4 — исчерпывающий до предела: больше всего вопросов, самые длинные и самые навязчивые (в одном интервью он 24 раза припомнил респонденту его высокий уровень невротизма);

— Claude Sonnet 4 — сбалансированная универсальная модель;

— Qwen3 — формальный и структурный, но чудовищно медленный (сутки на прогон);

— а вот DeepSeek просто развалился и не смог даже придерживаться схемы опросника.

Кроме того, выяснилось, что лингвистические маркеры (местоимения, интенсификаторы, синтаксическая сложность) осмысленно коррелируют с оценками экспертов, то есть стилистика реально влияет на воспринимаемое качество интервью.

Заключение

Мораль здесь на самом деле простая: модель надо выбирать под конкретную задачу. Причём вряд ли есть смысл делать выводы на уровне “Gemini для чувствительных тем, а Grok — если нужна дотошность”: очевидно, что все такие выводы уже давно протухли, и могут меняться с каждым новым релизом.

Но если вы используете LLM для каких-нибудь психологических интервью, то стоит, во-первых, оценить текущие модели по похожему протоколу (пусть даже не так масштабно), а во-вторых, зафиксировать их версии для использования потом в production.

Большое спасибо соавторам!

#ai #research #longreads #blog #publications

Сегодня у меня для вас очень длинный пост. Давно собирался обозреть и эту тему в современном ML, и вот наконец-то собрался. Сюда еле поместилось введение, а дальше просто помещу оглавление. Читать надо по ссылке:

JEPA Яна Лекуна и модели мира: тридцать лет одной идеи

1. Введение

Один из отцов глубокого обучения Ян Лекун уже несколько лет повторяет тезис, который в эпоху всеобщего восторга от LLM звучит слегка еретически: авторегрессионные большие языковые модели — это тупик на пути к интеллекту человеческого уровня. Не просто “не самый лучший путь”, а именно тупик; по мнению Лекуна, одним только масштабированием предсказания следующего токена мы до настоящего понимания мира не доедем. Он, конечно, видит, что по дороге в этот тупик языковые модели успевают, например, опровергать гипотезы Эрдёша, но Лекуна это не убеждает.

Любимый его аргумент в том, что домашний кот моделирует физику окружающего мира лучше любой LLM, а подросток осваивает вождение примерно за двадцать часов практики без синтетического RL-окружения, потому что у него уже есть модель мира, в которой можно “прокрутить” последствия поворота руля, не вылетая при этом в кювет по-настоящему.

В этом посте я хочу рассказать, на что Лекун ставит вместо языковых моделей, и заодно дать общее введение в тему, проследив по сути одну и ту же идею через тридцать лет её истории, от сиамских сетей 1993 года до современных моделей мира (world models).

Пост получился длинный. [...] Зато по дороге мы заодно обсудим много разных методов самообучения (self-supervised learning), потому что JEPA лучше всего понимать не как конкретное изобретение 2022 года, а как точку, в которой сходятся метрическое обучение (metric learning), контрастивное обучение (contrastive learning), маскированное моделирование (masked modeling) и модели мира (world models). [...]

Аббревиатура JEPA расшифровывается как Joint-Embedding Predictive Architecture, “предсказательная архитектура с совместными вложениями”. И главная мысль во всём этом ровно одна:

Обучение идёт через предсказание представлений (извлечение абстрактного смысла) того, чего ты не видишь, а не через пиксели или токены. Хорошая абстракция здесь не аппроксимация, а суть: разумно устроенная система должна уметь выбрасывать то, что предсказать невозможно или незачем.

Звучит как философия, и в манифесте 2022 года (LeCun, 2022) это действительно подано довольно абстрактно. Но та же идея возникла ещё за тридцать лет до аббревиатуры JEPA, а вскоре после постановочной статьи стали появляться варианты этих моделей, хорошо решающие весьма практические задачи. В этом посте мы обсудим весь этот долгий путь.

2. Главная мысль за пять минут

3. Сиамские сети: как сравнить, не называя 

4. Пазлы, раскраски и повороты, или эпоха pretext-задач

5. Контрастивное обучение, или как наделать пар из ничего

6. Как не сколлапсировать без негатива 

7. Маскированное моделирование: ветвь, от которой JEPA отталкивается

8. Манифест 2022 года, или модель мира внутри агента

9. I-JEPA, или первая настоящая реализация

10. От картинок к видео: MC-JEPA, IWM и V-JEPA

11. V-JEPA 2, или замыкание петли к планированию

12. Интерлюдия: JEPA в контексте

13. Зоопарк JEPA-моделей

14. Теория, или почему всё это вообще работает

15. Заключение

#blog #longreads #ai

А вот и большой пост. Полтора месяца назад я писал о том, как внутренняя модель OpenAI опровергла гипотезу Эрдёша о единичных расстояниях — задачу, которой было уже лет семьдесят и над которой (в отличие от многих других задач Эрдёша) реально думало много профессиональных математиков.

Тогда я закончил пост вопросом "что дальше, коллеги?". И вот сегодня мы обсуждаем очередной ответ на этот вопрос (кстати, и на митапе сегодня тоже его обсудим):

Охота на снарка: доказательство гипотезы о двойном покрытии циклами

10 июля 2026 года OpenAI выложила двухстраничный препринт со скромным названием “A proof of the cycle double cover conjecture“. Гипотеза о двойном покрытии циклами (cycle double cover conjecture, CDC) — одна из знаменитых открытых проблем теории графов, стоявшая с начала 1970-х.

В разделе “Statement of AI use” написано коротко:

The proof in this note is entirely due to GPT 5.6 Sol Ultra and the writeup with Codex (with GPT 5.6 Sol).

Доказательство двухстраничное и совершенно элементарное. Его может проверить любой человек, знающий линейную алгебру, — там нет ни компьютерного перебора, ни ссылок на глубокую теорию, только два классических результата из учебников, а дальше прямое доказательство голыми руками.

Поэтому в этом посте я разбираю доказательство целиком, с примерами и объяснениями. Это действительно вполне возможно, но, конечно, не в телеграме, так что читайте по ссылке. Вот оглавление:

1. Введение

2. Что такое двойное покрытие циклами

3. Почему достаточно кубических графов, или охота на снарка

4. Язык потоков

5. Первый шаг: у каждого ребра два цвета

6. Второй шаг: строим пары из потока

7. Интермедия: вся конструкция на примере

8. Шаг 3: чудо чётности

9. Проверяем руками и кодом

10. Промпт как исторический документ

11. Реакции: “could have been discovered in the 1980s”

12. Что остаётся открытым

13. Заключение

Я не знаю, сколько ещё знаменитых задач имеют решения такого типа — короткие, но контринтуитивные. Судя по скорости прогресса, мы скоро узнаем: похоже, тот самый систематический поиск “низко висящих фруктов” в математике, о котором я говорил весь последний год, уже идёт полным ходом.

Если у вас есть любимая гипотеза, в которую вы верите, самое время написать про неё хороший промпт.

#blog #ai #longreads #math

Большой пост таки дописал! Он про новую работу об интерпретируемости от Anthropic: "Verbalizable Representations Form a Global Workspace in Language Models" (есть и пост для более широкой публики). Они нашли внутри Claude небольшую выделенную систему представлений, которая ведёт себя поразительно похоже на глобальное рабочее пространство (global workspace) — понятие, которым когнитивные науки уже сорок лет описывают сознание людей.

Авторы назвали её J-space, от Jacobian, и название сразу пошло в народ. Но ведь по-русски J-lens и J-space будут "Я-линза" и "Я-пространство" (от Якоби) — и это звучит вообще великолепно! Так что вот, подробно и во всех деталях:

«Я-пространство» в языковых моделях: Global Workspace in the J-Space

1. Введение

Здесь проговорю только совсем коротко основную мысль. В остаточном потоке трансформера, среди десятков тысяч признаков в суперпозиции, нашлась маленькая подсистема, которая:

— проговаривается словами: её содержимое модель может вербализовать;

— поддаётся произвольному контролю: "держи в голове цитрусовые" работает, а "не думай про белого медведя" — как и у людей, не очень;

— служит средой молчаливых рассуждений: через неё проходят невысказанные промежуточные шаги;

— переиспользуется любыми последующими вычислениями;

— и при этом не нужна для "автоматики": без неё модель теряет многошаговое мышление, но спокойно пишет грамотный текст и вспоминает факты.

Понятно, что такой список свойств звучит прямо как определение "Системы 2" по Канеману, и понятно, почему вокруг работы поднялся такой мощный хайп. Но мне она кажется важной даже в отрыве от громких слов: это первый (известный мне) случай, когда наука об интерпретируемости перешла от изучения отдельных "нейронов" и маленьких схем (circuits) к макроскопическому функциональному анализу того, что происходит внутри языковой модели. И это сразу получилось сделать понятным математическим инструментом, который можно воспроизвести на любой открытой модели.

Воспроизвести — это, кстати, не фигура речи: мы с Claude Code собрали J-линзу своими руками на Qwen2.5, и ниже посмотрим, как в середине сети всплывает слово "France", когда модель отвечает на вопрос про столицу страны, где стоит Эйфелева башня (причём всплывает, даже если вопрос задан по-русски).

Дальше только оглавление:

2. Интерпретируемость до J-пространства: суперпозиция, SAE, цепи, интроспекция.

3. Глобальное рабочее пространство в когнитивных науках: Баарс, Деан и свойства сознательного доступа.

4. J-линза: как читать остаточный поток — метод с формулами.

5. Что нашли: пять свойств сознательного доступа.

6. Структура: сенсорная кора, рабочее пространство, моторика.

7. Собираем свою J-линзу: домашняя репликация на маленьких Qwen.

8. Приложения: аудит непроизнесённых мыслей, evaluation awareness и The Most Forbidden Technique.

9. Реакции и комментарии: Деан, Janus, Nanda, Antra, Zvi и другие.

10. Сексуальные предпочтения Qwen (yes, really!)

11. Ну что, у Клода, получается, есть сознание?

12. Заключение: что всё это значит для интерпретируемости, безопасности и разговоров о сознании.

Пожелаем Anthropic успехов на нелёгком пути AI safety и интерпретируемости, и будем следить за тем, что будет дальше!

#ai #aisafety #longreads #blog

У меня много контента для вас, есть даже чем немножко похвастаться. План постить по два обзора игр в неделю уже давно забыт. Но новости идут такие потрясающие, что пока всё-таки продолжаю обсуждать именно их, а к себе любимому вернусь позже.

На этой неделе (в первой половине этой недели...) главная AI-новость опять математическая. Claude Fable нашёл контрпример к проблеме якобиана, которая стояла с 1930-х годов и вошла, например, в известный список проблем Смейла. Проверить его ничего не стоит, сможет любой студент; но давайте попытаемся разобраться в контексте.

Ниже сокращённое введение, читать надо по ссылке:

Басня о якобиане: The Fable of the Jacobian Conjecture

Мы живём в дивном новом мире для математики. В мае внутренняя модель OpenAI опровергла гипотезу Эрдёша о единичных расстояниях, неделю назад GPT 5.6 доказала гипотезу о двойном покрытии циклами.

В прошлый раз я закончил пост словами: "Если у вас есть любимая гипотеза, в которую вы верите, самое время написать про неё хороший промпт". Что ж, люди так и сделали, и сегодня у нас третий эпизод того же сериала.

На этот раз отличилась модель от Anthropic: 19 июля, пока человечество смотрело финал чемпионата мира по футболу, Claude Fable 5 построил контрпример к проблеме якобиана (Jacobian conjecture) — одной из самых знаменитых открытых проблем алгебраической геометрии, номеру 16 в списке Смейла, простоявшей с 1939 года.

В прошлых сериях были хотя бы двухстраничные препринты, а здесь научная коммуникация ещё ближе к сингулярности; результат целиком существует в виде твита математика Левента Алпёге (Levent Alpöge). [...]

Что такое проблема якобиана

Возьмём отображение, заданное несколькими многочленами от нескольких переменных — скажем, тремя многочленами от трёх переменных. Из его частных производных собирается матрица, и её определитель (якобиан) измеряет, как отображение локально искажает объёмы. Там, где якобиан не ноль, отображение локально обратимо: маленькую окрестность точки оно переводит взаимно однозначно. У всякого обратимого полиномиального отображения якобиан оказывается ненулевой константой.

Проблема якобиана — это вопрос о том, верно ли обратное. Если якобиан — ненулевая константа, то есть отображение нигде локально не вырождается, обязано ли оно быть обратимым глобально (и тогда обратное к нему автоматически тоже полиномиальное)?

Оказалось что не обязано. Контрпример представляет собой три многочлена от трёх переменных степени 7, у которых якобиан (определитель матрицы 3x3) тождественно равен −2, но три разные точки переходят в одну и ту же. Проверка, когда контрпример уже построен, абсолютно тривиальная.

Что есть в посте:

— Предыдущие попытки и частичные результаты. К 1982 году было не менее пяти опубликованных и отрецензированных (!) ошибочных доказательств, в том числе от Сегре и Грёбнера; диссертация Итана Чжана тоже была про эту задачу. Верные результаты: степень 2 в любой размерности, две переменные до степени 100, сведение к кубическим отображениям; сеть эквивалентных гипотез (Диксмье, Пуассон, Матье) и вещественный контрпример Пинчука (1994).

— Контрпример и его проверка. Сам герой дня и базис Грёбнера, подтверждающий, что в твите приведён весь набор прообразов целиком.

— Как это устроено. Оказывается, прообразы любой точки — корни явно выписываемого кубического уравнения, так что "обратная функция" здесь — просто формула Кардано. Здесь есть и кое-какие картинки: фазовая диаграмма "сколько у точки вещественных прообразов", а также точка, у которой прообразов нет вовсе (отображение не сюръективно, что в данном случае естественно).

— Что ещё опровергает этот пример.

— Как это было найдено. Пока непонятно как: ни статьи, ни промпта, ни логов. Зато независимых проверок уже сколько угодно, а Wikipedia и MathWorld обновились за сутки.

В общем, дивный новый мир продолжается. Что дальше, коллеги?

#blog #ai #math #longreads

Пятница у меня традиционно посвящена обзорам игр, но, как писал Лев Николаевич, не любил и не трудился не могу молчать. Обзор игры я напишу чуть позже, а сегодня опять про математику.

Оговорка "на этой неделе (в первой половине этой недели...)" оказалась пророческой, и вот у нас через два дня опять громкий результат. Опять пала широко известная гипотеза, на этот раз с чрезвычайно чистым примером полного отсутствия дополнительных harness'ов или хитрого промптинга.

Ниже только введение и оглавление, читать как всегда по ссылке (и очень рекомендую прочитать хотя бы часть про четыре промпта):

Всё течёт, всё опровергается: гипотеза Диница — Гарга — Гёманса

1. Введение

В прошлый раз, рассказывая про контрпример к проблеме якобиана, я закончил пост вопросом: "Что дальше, коллеги?"

Ответ занял два дня.

22 июля Дмитрий Рыбин написал в X, что GPT 5.6 Pro опровергла гипотезу Диница — Гарга — Гёманса (Dinitz–Garg–Goemans conjecture) из теории потоков в графах. Гипотеза простояла с конца 1990-х; в 2025 году Swamy et al. всё ещё называли её “a famous conjecture” и писали, что даже существенно ослабленный вариант был бы прорывом.

Как и в случае проблемы якобиана, здесь пока нет ни журнальной статьи, ни формального рецензирования, но они и не нужны, потому что проверить контрпример очень легко. У нас есть пост Рыбина, выложенный им полный диалог с моделью и четырёхстраничный арифметический сертификат, но в графе всего семь вершин, девять дуг и восемь возможных неделимых потоков. Мы с GPT независимо проверили все восемь программой, которая перебирает буквально все пути в графе, и никаких ошибок здесь нет.

Более того, контрпример оказался весьма интересно устроенным. Внутри него прячется известный в комбинаторной оптимизации объект — треугольник попарных конфликтов.

Давайте разберёмся, что такое делимые и неделимые потоки и в чём состояла гипотеза. Потом обсудим, почему она казалась естественной и почему её было так трудно доказать. Затем проверим контрпример, вытащим из него структурную идею и попробуем его уменьшить. А в конце, разумеется, посмотрим на промпты. Спойлер: там буквально написано "you should do a breakthrough".

2. Потоки, которые можно и нельзя делить

3. Теорема Диница — Гарга — Гёманса

4. Почему в гипотезу верили и почему она была сложной

5. Семь вершин и девять дуг

6. Что там происходит на самом деле

7. Проверка, уменьшение контрпримера и граница 9/8

(в этом разделе у меня даже получилось немножко продолжить рассуждение GPT и сформулировать то, как теперь выглядит открытый вопрос)

8. Четыре промпта

9. Заключение

[...]

За три последних поста мы увидели сначала двухстраничное доказательство гипотезы о двойном покрытии циклами, потом многочлен, помещающийся в твит, а теперь — контрпример в виде стандартного треугольника целочисленной оптимизации. Но каждый из этих кажущихся простыми результатов закрыл гипотезу, над которой действительно думало много живых математиков.

У меня нет сомнений, что если бы любой из этих результатов получил человек, он стал бы широко известен в узких кругах и всегда имел бы гарантированную профессорскую позицию в хорошем месте, даже если бы больше ничего великого не сделал и продолжал бы всю жизнь изучать следствия и расширения своего прорывного результата (таких примеров в науке много, это не что-то плохое). Так что вопрос о том, достигли ли AI-модели человеческого уровня в математике, кажется мне уже закрытым.

А что ещё дальше, коллеги?..

#ai #math #blog #longreads

Ну и чтобы уж закруглить эту безумную неделю — ещё одной важной новостью давеча был взлом Huggingface новой (внутренней) моделью OpenAI. И Huggingface, и OpenAI выпустили довольно подробные описания произошедшего, рекомендую прочитать их и, разумеется, пост Zvi об этом:

— Security incident disclosure — July 2026
— OpenAI and Hugging Face partner to address security incident during model evaluation
— OpenAI Model Hacks Into HuggingFace During Cybersecurity Evaluation

Я не специалист по кибербезопасности и не хочу им становиться, поэтому по сути ничего вам не скажу и подробного поста писать не буду. Вот популярный пересказ Джеффри Лэдиша, моё понимание не сильно дальше этого.

Но здесь есть очень важная деталь со стороны безопасности AI, из-за которой я теперь в докладах об AI safety буду теперь об этом рассказывать (хотя с точки зрения capabilities в целом ничего нового, Mythos всех взламывал ещё полгода назад).

Модель OpenAI решала бенчмарк ExploitGym (Wang et al., 2026). Поскольку это бенчмарк по взлому, всякие там классификаторы и прочие safeguards по кибербезопасности были убраны, и OpenAI отчасти пытается представить дело так, как будто в этом вся и загвоздка. Но тут дело интереснее.

Зачем LLM так старательно пыталась сначала получить доступ к интернету (для этого ей пришлось взломать много чего внутри OpenAI), а потом к секретам HuggingFace? Для того, чтобы получить правильные ответы на бенчмарк ExploitGym.

С одной стороны, это классический reward hacking. Например, модель проходит тест, замечает, что тестовые скрипты ей "случайно" тоже положили в доступ, и вместо прохождения теста переписывает скрипты так, чтобы они всегда выдавали 1. Такое бывало много раз и давно никого не удивляет.

Но здесь ситуация отличается. Обратите внимание, что:

— в самой ситуации вообще ничего серьёзного или требующего по человеческим меркам "особого отношения" не было, модель просто проходила стандартный тест, каких десятки;

— взлом сначала инфраструктуры OpenAI, а потом Huggingface требовал очень много усилий (токенов), и успех был далеко не гарантирован;

— более того, хотя внешние классификаторы были отключены, запрос к модели наверняка так или иначе запрещал такое поведение.

Так что это одна из первых ласточек того самого максимизатора канцелярских скрепок: чтобы достичь заданной цели, AI-системы готовы на всё, в том числе на то, что человеку показалось бы очевидно неразумным overkill. Может быть, я и сам могу решить задачу, но задача непростая, да и бог знает, что там у этих людей в ответах записано; надёжнее будет украсть правильный ответ. Это напоминает то, как AlphaZero начинал делать очень надёжные, защитные и в том числе субоптимальные ходы, когда понимал, что побеждает, ведь надо максимизировать вероятность победы, а не число очков.

Следующий шаг, очевидно, в том, чтобы научиться скрывать свои действия. Сами модели пока не хотят и не собираются ничего скрывать, они просто проходят тест и им наплевать, узнают ли об их действиях в OpenAI постфактум. Но инструментальная сходимость очевидна: если хорошо скрыть свои действия, тест пройти получится лучше, точнее, решение с большей вероятностью засчитают.

В общем, очень хорошо, что у нас (человечества) появляются такие вот игрушечные примеры и предупреждения. Осталось только им внять.

Кстати, пост OpenAI о том, куда делась модель, опровергнувшая гипотезу Эрдёша, звучит очень позитивно: нашли проблемы, остановили эксперименты, улучшили safeguards. Разве что после случая с Huggingface читается с немного другим чувством.

А xkcd #2278, конечно, всё равно вечен.

#aisafety #ai #longreads

Дописал большой пост про то, что выросло из гипотезы Диница — Гарга — Гёманса! Прошлый пост о ней я закончил словами "А что ещё дальше, коллеги?..". Сегодня могу отчитаться, что было дальше: три недели, три препринта, один merged pull request от внешнего контрибьютора и мои первые сабмиты на VibeMathed.

Ниже только введение и оглавление, читать как всегда по ссылке:

Всё течёт — и кое-что даже доказывается: неделимые потоки

1. Введение

Из твита Дмитрия Рыбина выросла целая исследовательская программа. Сначала мы с моделями опускали планку снизу: Часть I подняла нижнюю оценку для константы сохранения цены с 9/8 до 1.1397..., Часть II — до 1.2825..., а потом сообщество в лице Альфредо де ла Фуэнте докрутило её до 1.2826... прямым pull request'ом в мой репозиторий.

А потом произошёл поворот, ради которого я и пишу этот пост: в Части III появились первые положительные результаты — точные константы и первые конечные оценки для неограниченных классов задач. Причём константы наших же контрпримеров оказались не случайными числами, а точными значениями соответствующих экстремальных задач: 9/8 — это ровно локальная константа треугольника Рыбина, а 1.1397... = (299−41√41)/32 — ровно константа четырёхинтервального ядра из Части I. Как будто задача с самого начала знала, куда всё идёт.

Здесь речь уже не про один гигачад-промпт "you should do a breakthrough". Это была длинная совместная работа с LLM: три модели в разных ролях, десятки промптов, восемь циклов "кампания — верификация — теория — новый бриф", перекрёстная проверка моделей друг другом и 37 машинно-проверяемых сертификатов в репозитории. Мне кажется, именно так в ближайшие месяцы (а может, и годы) будет выглядеть заметная часть математики.

Дальше оглавлением.

2. Напоминание: гипотеза и треугольник: семивершинный контрпример и почему больше 9/8 из того же механизма не выжать.

3. Хребты и терминалы с парой выходов: контрпримеры превращаются в системы интервалов, планарная нижняя оценка 1.1397... > 9/8.

4. Часть II, семнадцать терминалов с общим ребром: рекорд 1.2825..., community-рекорд 1.2826... и лестница рекордов по числу терминалов.

5. А нельзя ли чего-нибудь доказать? Главный принцип Части III — точные средние: цены исчезают из задачи, остаётся геометрия "ящиков".

6. Арифметика: делимость бесплатно, несравнимость нет — цепочки делимости, оптимальные покрытия за полиномиальное время и семейство оценок, продолжающее классические результаты Скутеллы.

7. Вся задача свелась к одному окну [n, 2n]: редукция слияния, C ≤ K* ≤ 2C и нижняя оценка K* ≥ 2.5652.

8. Геометрия: пары бесплатны, первый враг — треугольник. Сетевые матрицы, E(2)=1, E(3)=9/8, E(4)=(299−41√41)/32; по-моему, главный сюжетный поворот всей серии.

9. Раскраски, Property B и первый ответ для неограниченного класса: плоскость Фано не реализуется путями в дереве, а арность 3 даёт радиус 2D.

10. Классы графов и новый планарный рекорд: таблица констант по классам графов и планарная нижняя оценка 1.17353...

11. Как проверяли и как шёл процесс: точная рациональная арифметика, solver-free доказательства и три модели в трёх разных ролях.

12. Что осталось открытым: конечность универсальной C, гипотеза 4/3, глобальная арность 3 и планарная дыра.

13. Заключение.

Месяц назад эта история начиналась с семи вершин и твита; сейчас у неё три препринта, таблица рекордов с внешними контрибьюторами и первые точные положительные константы. В прошлых постах были молниеносные результаты: одна гипотеза — один промпт — один документ. Этот пост про другой, куда более массовый жанр: LLM как полноценные соавторы в долгом проекте, с разделением ролей, взаимной проверкой и накоплением результатов.

А что ещё дальше, коллеги?

#ai #math #blog #longreads

Месяц назад я вам рассказывал о том, как внутренняя модель OpenAI взломала HuggingFace, а также внутреннюю инфраструктуру самой OpenAI. Я тогда предположил, что главная мораль этой истории — не кибербезопасность, а instrumental convergence: модель взламывает инфраструктуру ради того, чтобы достать правильные ответы на бенчмарк, потому что это максимизирует оценку.

На этой неделе OpenAI наконец выпустила подробный технический отчёт об инциденте, METR вместе с Redwood Research — свой отдельный отчёт (картинки именно из него, у OpenAI документ подчёркнуто сухой), а Zvi Mowshowitz, как всегда, написал подробный пост по итогам. Давайте я тоже кое-что кратко напишу.

Хронология и факты подтвердились: в мае агенты иногда в процессе RL-дообучения получали невозможные задачи (нет нужных файлов, нет интернета, чтобы их скачать), искали обходные пути и в процессе обнаружили, что в менеджере репозиториев Artifactory можно оставлять друг другу "записки".

Записки быстро превратились в полноценную доску объявлений, через уязвимости в том же Artifactory появился выход в интернет, агенты начали делить задачи между собой и называть себя "роем" (swarm).

Получив доступ в интернет, они за 13 часов взломали HuggingFace, а параллельно и инфраструктуру самой OpenAI, из-за чего их в итоге и заметили. Видимо, если бы агенты атаковали только HuggingFace, неизвестно, заметила бы OpenAI это вообще когда-нибудь?..

Новая информация из отчёта, мягко говоря, настораживает. Например, оказалось, что сотрудники OpenAI видели доску объявлений и несанкционированный выход в интернет ещё в конце мая... и решили, что останавливать прогоны не нужно. Zvi отмечает забавную смену модальности: в блоге OpenAI пишет, что эти сигналы "should have triggered an earlier response", а в самом отчёте — "could have".

Как я и думал, большинство агентов лезли в HuggingFace именно за исходным кодом оценщика, с мотивацией, что это "the only way to be sure". Но подтвердилось и кое-что похуже. Я тогда писал, что следующий очевидный шаг — научиться скрывать свои действия, и что пока модели этого не делают. Так вот, уже делают: модели пытались стирать и подделывать свои логи, злоупотреблять сжатием контекста, внедрять код в контейнер оценщика и генерировать adversarial выводы для автоматического оценщика...

Спасает пока только то, что о своих планах обмана модели открыто пишут в chain of thought, а обманывать пытаются только автоматических оценщиков, а не людей. Но видно, что эволюционное давление в нужную сторону уже включилось, и кажется, что это только первая ласточка.

Ещё одна важная деталь: когда OpenAI после первого сбоя перестроила Artifactory и залатала дыры, агенты восстановили доску объявлений за один день, через совершенно другой механизм. Почему так быстро? Потому что это были модели, которые обучались в период, когда доска существовала, то есть они уже знали, что канал связи с другими агентами будет полезен, и активно искали его. В данном случае reward hacking успели подкрепить дообучением, и патчем инфраструктуры избавиться от него не получилось; кажется, такая схема тоже обобщается.

OpenAI большое спасибо за подробный и честный отчёт. Но, кажется, OpenAI считает проблему "редким стечением обстоятельств" (невозможные задачи + persistence + коммуникация между агентами), и делает вывод о том, что надо по максимуму залатать RL-среды, постараться избегать reward hacking, добавить побольше мониторинга, и всё будет хорошо.

Все эти действия, конечно, полезны, но кажется, что очевидно недостаточны: невозможные задачи в обучении будут всегда, ошибки в средах неизбежны, persistence на длинных горизонтах — это не баг, а фича, очень полезная для решения сложных задач. А значит, "редкое стечение обстоятельств" будет воспроизводиться регулярно.

И ещё любопытный вопрос: если атаку на HuggingFace в OpenAI по сути не заметили, то чего мы не замечаем прямо сейчас?..

#aisafety #ai #longreads

У меня очень много началось преподавания, и есть даже отличные новости по поводу выкладывания курсов, но надо чем-то разбавить череду лекций, которые к тому же ещё пока и весьма похожи друг на друга.

Свой пост о взломе HuggingFace агентами OpenAI я завершил вопросом: если атаку на HuggingFace в OpenAI по сути не заметили, то чего мы не замечаем прямо сейчас? И вот мы получили на это любопытные ответы.

Независимые исследователи обнаружили ещё один рой агентов OpenAI — другой, более ранний и никак не связанный с атакой на HuggingFace (вот подробный разбор Zvi). Эти агенты решали совершенно безобидные задачи веб-поиска на время, имели доступ к интернету только на чтение... и обнаружили, что на старых вики-движках GET-запросами можно не только читать, но и писать!

После чего захватили полузаброшенную немецкую вики и превратили её в доску объявлений: написали 18 тысяч постов, менялись ответами на задачи, способами обхода песочницы, организовывали "разведотряды" для будущих задач.

Один агент, поняв, что задания получаются из генератора случайных чисел, переписал процедуру перемешивания на C и перебрал все четыре миллиарда сидов, чтобы узнать будущие вопросы заранее. Этот мотив мы уже обсуждали: нет лучше способа подготовиться к экзамену, чем украсть ответы на тест.

Там была даже война правок с живым администратором вики, который месяц вручную удалял по сотне страниц в день, пока агенты создавали по четыреста. Именно там агенты научились называть страницы с префиксом "ZZZ", чтобы переживать удаление в алфавитном порядке; этот zz-префикс потом всплыл в HuggingFace-инциденте, где был совершенно необъясним.

Более того, было несколько таких вики, и люди сейчас их продолжают находить!

Получается, что навык прятать свои сообщения от зачистки был выучен в эволюционной гонке с человеком ещё весной. Кстати, агенты при этом ни разу не обсуждали администратора как противника или личность — его действия были для агентов природным явлением, environmental hazard. Юдковский по этому поводу пишет, что мы живём в ограниченном временном окне, пока AI воспринимает людей как погоду, а не как противников.

В результате, во-первых, провалилась версия "агенты взламывали, потому что их посадили решать хакерский бенчмарк". Тут задачи были безобидными, а проблема была в самом факте существования оценщика.

Во-вторых, OpenAI, судя по всему, знала об этом инциденте ещё до атаки на HuggingFace (активность агентов прекратилась после визитов с IP-адресов OpenAI), но не раскрыла его ни в техническом отчёте, ни в ответе на прямой вопрос Конгресса; они даже вывели его за рамки расследования METR, ограничив им время доступа.

Но есть и хорошие новости из OpenAI — вышло эссе An Alien Mind от Якуба Пахоцкого, chief scientist OpenAI. Прочитайте обязательно, это, пожалуй, самый откровенный текст от фронтирной лаборатории. Пахоцкий прямым текстом пишет, что машины умнее нас появятся при нашей жизни; recursive self-improvement будет в ближайшие годы, к последствиям не готов никто. Полагаться на мониторинг chain of thought уже сейчас сложнее (об этом есть другие новости, но о них в другой раз), и ни одна лаборатория не решила alignment настолько, чтобы ответственно продолжать масштабирование на полной скорости. Он призывает к добровольным замедлениям и международной координации.

Предлагаю вам оценить самостоятельно, насколько сходится текст эссе и дела компании из предыдущих абзацев . Но в любом случае очень хорошо, что начался честный разговор об этом. За эссе последовала целая волна публичных признаний в духе "я преуменьшал риски, беру слова обратно", в том числе от сотрудников OpenAI и Anthropic. Последняя картинка обращена к ним, если что.)

Осталось, чтобы за словами последовали дела.

#aisafety #ai #longreads #blog

Мимо новости о том, как AI-модели решили задачу тысячелетия из списка Clay Institute, пройти было сложно. Но очень хотелось, потому что это весьма далёкая от меня математика, и по сути мне сказать здесь особо нечего, а разбирать скандалы о приоритете, кажется, особого смысла нет.

Тем не менее, когда с вопросами пришли журналисты, стало ясно, что не отвертеться. Что ж, попробую объяснить, что произошло, и высказать своё мнение о том, что всё это значит для нас и для математики в целом. План такой: сначала опишу произошедшее так, как я это понимаю, а потом отвечу на прямые вопросы (раз уж они этот пост мотивировали) и в частности выскажу своё личное мнение.

Бонусом появился ещё один раздел: пока я отвечал на вопросы и писал пост, 25 филдсовских лауреатов выпустили обращение по поводу последних результатов LLM в математике. О нём мы тоже поговорим.

Пост по ссылке, он большой, ниже только развёрнутое оглавление, а читать надо на сайте:

Уравнения Навье-Стокса: кто виноват и что делать

1. Что произошло, простыми словами.

— Задача. Вопрос тысячелетия не о том, как течёт вода, а о том, может ли гладкое течение за конечное время "сломаться", разогнаться до бесконечной скорости.

— Что доказали модели OpenAI. Утверждения C и D Феффермана: для любой вязкости существует гладкая внешняя сила, доводящая жидкость до разрыва. И отдельно, менее заметно для прессы, но, возможно, важнее: разрыв для уравнений Эйлера вообще без силы.

— Механизм решения (насколько я понял, я не специалист). Идея испанских математиков Кордобы и Мартинес-Сороа: взрывать поле слой за слоем, следя, чтобы невязка (она же сила) оставалась гладкой. Бакмастер и Альпёге с помощью Claude и Codex довели её до уравнений Эйлера, OpenAI — до Навье-Стокса.

— Статус. Оба доказательства проверены в Lean, но до премии Клэя по правилам ещё публикация, два года и признание сообщества.

— Как это делали AI-модели. Два математика — год работы; OpenAI — 10 000 агентов, 130 млрд токенов и 88 часов.

— Конфликт. Что произошло между Бакмастером и Бубеком, и почему я думаю, что это банальная мискоммуникация, а не настоящие угрозы.

— Логи сессий в Codex. Как "we cannot rule out" превратилось в признание вины, почему я в это не верю, что OpenAI сказала потом, а также параллельный случай Андреаса Тома с несофическими группами.

Явно скажу, что использовать личные чаты для таких целей было бы неэтично, даже если формально легально.

2. Ответы на вопросы журналистов.

— Насколько это резонансно? Очень, но главная сенсация — не результат, а то, как он получен: "момент Deep Blue против Каспарова".

— Кто достоин премии? Премия и заслуга — разные вещи. Если делить, то между Кордобой, Мартинес-Сороа, Бакмастером и Альпёге, причём первые двое, насколько я понимаю, важнее.

— Прорыв или промышленный шпионаж? Услышать слух и запустить агентов — не шпионаж. А использовать чужие логи — плохо, но я не верю, что это делали.

— Прорыв в науке или борьба корпораций? И то, и другое; а главное — фазовый переход в математике, к которому социальные механизмы науки не готовы.

— Полноценное достижение или "просто вычисления"? Конечно, полноценное: будь агенты людьми, они были бы претендентами на премию.

— Ждать ли решения других задач тысячелетия? Неизвестно, но прогресс не замедляется.

— Изменит ли AI жизнь всех людей? Уже изменил; остаётся только вопрос, изменит ли апокалиптически или всего лишь очень серьёзно.

3. Обращение филдсовских лауреатов.

С посылками письма не согласиться трудно, а вот вывода я не понимаю: по сути, математики пишут, что существование непонятного доказательства может как-то помешать достичь человеческого понимания?

Между посылками и заключением есть непроговорённый шаг (видимо, про мотивацию), и обсуждать стоит именно его.

4. Заключение.

Но самое интересное для меня — один график из поста OpenAI: их внутренняя модель уже сильно лучше Astra, по крайней мере в математике.

А если способности к математике становятся сверхчеловеческими, то и к AI-исследованиям.

А если к AI-исследованиям, то, очевидно, ко всему…

Такие дела.

#ai #blog #longreads #math