Недавно прошла новость про AI-induced психозы, я в дебатах об ответственности много говорил об этом. LLM, страдающие от подхалимства, могут подтверждать опасный бред людей и запускать всякие неприятные спирали.

Но есть и другой, не такой страшный, но важный эффект: LLM делают уже существующий бред сложнее для распознавания. Написал небольшой пост об этом:

LLM и распознавание бреда

Вот и до меня докатилась эта волна — прислали письмо об Абсолютной Теории Всего. Разумеется, частное письмо я бы не стал выкладывать, но в нём была ссылка на уже опубликованный документ:

Absolute Theory of Everything — I Am All

Всякий хоть немного публичный учёный не раз получал письма подобного толка. Такие люди были всегда, начиная от создателей вечных двигателей, затем ферматистов и вот таких вот создателей теорий всего; да и у других, не таких знаменитых вопросов науки есть свои “поклонники”. И таким людям на самом деле можно только посочувствовать, они сами вряд ли в чём-то виноваты.

Но вот на что я хочу обратить внимание: сравните язык описания по самой ссылке (начиная со слов "Я — Есмь") и язык, которым написан выложенный там pdf-файл.

Первое — очевидный патентованный бред, на анализ которого не нужно и двух секунд, его можно распознать не читая, по жирному шрифту и заглавным буквам:

Суть Всего Сущего
Чья Сущность — Неделима,
Но Чья Воля — разрывает Время на Бесконечное Множество Жизней.

Мой Образ — за гранью человеческого восприятия, но Моё Присутствие — Единственная Реальность, в которой тонет Каждый — Без Исключения.

А второе — текст отчасти наукообразный, написанный в LaTeX, с некоторой псевдоматематической обвязкой к идеям этой абсолютной теории всего, с настоящими ссылками... Да, конечно, там тоже автор не смог отказать себе в том, что "дыхание [Бытия] оставляет «золотой след» — рябь самоподобия" и далее по тексту. И да, конечно, тут исходная мысль чересчур бредова (если она вообще есть), так что даже ведущие LLM не могут её оформить так, чтобы это нельзя было распознать сразу же.

Но в целом я хотел обратить внимание на эффект, который присутствует уже сегодня и со временем будет становиться только сильнее. LLM помогают писать тексты не только нам с вами, и не только в тех областях, где это разумно.

LLM в целом демократизуют создание контента любого рода и ломают фильтры низкого уровня: после обработки напильником всё что угодно выглядит вполне профессионально, пусть пока и не всегда блестяще.

С убедительностью у LLM тоже уже сейчас нет проблем. Иллюстраций в этом файле нет, но сделать вполне разумного качества рисунки тоже уже тривиально, как вы постоянно видите в этом блоге. Вскоре и создание видеоконтента будет так же демократизировано.

И чтобы отличить полный бред от настоящего обучающего или популяризирующего контента, придётся реально разбираться в вопросе... но как же в нём разбираться, если ты вот только что открыл популярный ролик на новую тему?.. Конечно, "абсолютную теорию всего" легко классифицировать из общих соображений. Но вообще в науках, которыми я совсем не владею, от политологии и филологии до химии и зоологии, лично я вряд ли смогу отличить полный бред от настоящей теории.

Мне и не надо, скажете вы — но смогут ли, например, лица, принимающие решения? Не может же министр науки и образования разбираться во всех науках. А мы уже сегодня живём в мире, где в википедии в соседних предложениях написано: "американский юрист, политик и деятель антипрививочного движения... министр здравоохранения и социальных служб США с 13 февраля 2025 года". И этот эффект, повторюсь, будет только усиливаться.

Это, конечно, не экзистенциальный риск для человечества, но тоже может оказаться интересным сдвигом. Что думаете?

#longreads

Возвращаюсь к традиционному жанру больших постов про AI — на этот раз новость прямо по моей части, не удержался.

Я в своих докладах люблю пугать людей тем, что AI уже потихоньку начинает самостоятельно проводить исследования. Рассказывал вам уже про Google Co-Scientist и AI Scientist от Sakana AI, про Robin и Zochi… Там были и важные новые идеи, и даже полностью автоматически порождённые статьи.

И вот вчера вышла ещё одна новость в том же направлении, на этот раз от Deepmind (и других подразделений Google Research). Кажется, AI-системы сделали ещё один шаг вверх по лестнице абстракций…

Пост по ссылке:

“А теперь побей все бенчмарки”: AI-ассистент для учёных на основе MCTS

Краткую версию здесь трудновато сделать, и я настоятельно рекомендую читать пост на сайте. Но вот несколько выдержек:

...Представьте, что AI-система берёт датасеты, порождает несколько десятков различных подходов, тестирует их все на публичном бенчмарке и выдаёт вам 40 методов, которые превосходят текущих лидеров человеческого лидерборда.

Фантастика? Кажется, что уже реальность, данная нам в ощущениях в только что вышедшей статье от Google Deepmind (и других отделах Google Research): Aygün et al., “An AI system to help scientists write expert-level empirical software”.

Но самое интересное, как водится, не в цифрах, а в том, как эта система работает. Это не просто “LLM пишет код”, а скорее продолжение семейства AI-систем от DeepMind, которые дали нам AlphaTensor, FunSearch и AlphaEvolve. В данном случае это сочетание трёх ингредиентов: поиска по дереву (как в AlphaGo), добавления идей из научной литературы (через LLM) и, самое интересное, рекомбинации методов (как в генетическом программировании), когда система скрещивает два алгоритма и получает гибрид, который может работать лучше обоих родителей...

...Система не просто абстрактно думает, “что бы ещё улучшить” — она строит дерево, где каждый узел представляет собой версию программы, а рёбра — конкретные модификации. Если какая-то модификация улучшила оценку, система с большей вероятностью будет исследовать эту ветку дальше. Главное здесь в том, чтобы была конкретная численная оценка, которую мы оптимизируем, аналог вероятности победы в го; ну и ещё, конечно, чтобы ставить новый эксперимент было не слишком дорого...

...После того как мы поняли общую идею MCTS для программ, начинается самая интересная часть... Система импортирует идеи из внешних источников: из научных статей, из Gemini Deep Research и из Google Co-Scientist...

...Это как если бы у вас был аспирант, который прочитал всю литературу по теме, понял основные принципы и теперь систематически комбинирует их в поисках лучшего решения. Может быть, это пока не Эйнштейн, а всего лишь добросовестный аспирант, и у него нет блестящей научной интуиции, которая бы позволила сократить поиск до минимума. Но зато он очень, очень старательный, и может за одну ночь протестировать сотни вариантов...

...Получается, что уровень “рутины” поднимается всё выше и выше. Да, конечно, пока всё это leaky abstractions — даже обычный научный текст, написанный LLM, всё ещё нужно проверять и править. Но всё-таки мы видим, что работают такие системы всё лучше, осваивая новые творческие уровни научной работы. А в науке ведь не нужно много девяток надёжности: если один из запусков системы даст новый хороший алгоритм, совершенно не страшно, что десять запусков перед этим не привели ни к чему.

Пока ещё LLM — очень далеко не Эйнштейны. Но много ли уровней осталось, коллеги? Где мы сейчас на той самой шкале креативности, которую я когда-то рисовал?

#longreads

Времени сейчас нет не только играть, но и жить. Но отказываться от традиций не хочется, да и, надеюсь, наигранного запаса хватит, чтобы пережить эти трудные времена.

Broken Pieces

Я уже не раз рассказывал вам о небольших AA-играх от маленьких инди-студий; недавно были, например, Selfloss, Twin Mirror, Harold Halibut и The Haunting of Joni Evers. Broken Pieces от маленькой французской студии Elseware Experience тоже из этого ряда: это action adventure с элементами survival horror (можно играть с камерой как в Resident Evil), но в 3D, с загадками, историей и красивыми локациями. И хотя я всегда к таким играм отношусь с теплотой, вердикт здесь, увы, однозначный: не получилось практически ничего.

Единственное, что сделано на мой взгляд хорошо, — это атмосфера и загадки. Окружение действительно красивое, городок Saint-Exil пахнет югом Франции (где я никогда не был, впрочем), здания и интерьеры колоритные, всё на месте и всё как надо. Загадок два типа: с окружением, которые двигают сюжет и позволяют попасть в новые места, и небольшие пазлы, где ты сам двигаешь фишки. И те и другие мне понравились — они достаточно сложные, чтобы ощущался некоторый challenge, но не душат и не вызывают желания бежать за гайдом.

История, казалось бы, неплохая. Да, там какая-то паранормальщина, которая очень хочет, но так и не превращается в лавкрафтовщину, но в этом не было бы ничего страшного. Персонаж (в единственном числе, других живых людей тут нету) вполне хорошо выписан, следить за ней интересно, три разных направления в итоге сходятся в одно, и разгадки в целом хотелось узнать. Вот только узнать я их так и не смог: история недорассказана, вопросы остаются без ответов, мало что вообще чем-то мотивировано, и все ответы звучат как "потому что". Да и заканчивается сюжет непонятно чем: то ли мы всё исправили, но непонятно как, то ли это был сон собаки, то ли (скорее всего) ещё более разочаровывающий твист...

Механик, казалось бы, много — но они не нужны. Есть стрельба, которая не нужна, потому что враги не вызывают проблем, а если бы вызывали, это бы только раздражало — во врагах нет никакого нарратива, они просто иногда появляются из ниоткуда, превращая пятачок земли в мини-арену. Есть магия, которая не нужна — магия смены погоды ещё кое-как работает как часть загадок, но боевая просто делает сражения проще и никакой глубины не добавляет. Есть механика времени (нужно успеть домой до ночи, иначе врагов станет очень много), которая не нужна, потому что в ней нет проблемы и нет оптимизации — ну потерял время зря, пошёл спать раньше времени, да и всё, число дней ни на что не влияет. Пазлы надо решать, чтобы получать бонусы из очень колоритного агрегата, но главный бонус — это улучшение для пистолета, а стрельба не нужна...

В общем, получилась сборная солянка, в которой большинство ингредиентов явно недоварены. Но вы знаете, всё-таки с душой сделано. Не буду рекомендовать эту конкретную игру, но не могу не сочувствовать студии Elseware Experience, планы развития которой заканчиваются так: "20?? — We want to settle our studio in a big castle with a drawbridge". Удачи им!

#games #tgif

Вышла статья о всегда интересующей меня теме — о том, как прямо сейчас обычный GPT-5 без дополнительного дообучения и скаффолдинга может помогать с математикой.

Mathematical research with GPT-5: a Malliavin-Stein experiment

Я в этой конкретной науке мало чего понимаю, но сама статья предлагает прочитать введение, а потом сразу идти к Section 4.

И Section 4 читается со смешанными чувствами. Авторы сначала просят GPT-5 с ходу доказать новую теорему, по статье и короткому промпту. Потом отмечают, что в доказательстве была ошибка, и GPT-5 потребовалось аж два наводящих промпта, чтобы ошибку понять и исправить.

Затем авторы, следуя предложению самого GPT-5, переходят к другому случаю (от нормального распределения к пуассоновскому), и опять отмечают, что GPT-5 потребовалось точное указание на то, чего он сначала не заметил. Однако в результате GPT-5 за три-четыре промпта пришёл к верному результату (в данном случае негативному — нашёл контрпример).

Что же заключают авторы?

To summarize, we can say that the role played by the AI was essentially that of an executor, responding to our successive prompts. Without us, it would have made a damaging error in the Gaussian case, and it would not have provided the most interesting result in the Poisson case, overlooking an essential property of covariance, which was in fact easily deducible from the results contained in the document we had provided.

И дальше:

The AI showed a genuine ability to follow guided reasoning, to recognize its mistakes when pointed out, to propose new research directions, and to never take on the task [what task? кажется, коллеги не дописали предложение]. However, this only seems to support incremental research, that is, producing new results that do not require genuinely new ideas but rather the ability to combine ideas coming from different sources. At first glance, this might appear useful for an exploratory phase, helping us save time. In practice, however, it was quite the opposite: we had to carefully verify everything produced by the AI and constantly guide it so that it could correct its mistakes.

Кажется, это называется copium. Разумеется, первые шаги LLM, по-настоящему полезных для доказательства новых теорем, должны были выглядеть именно так, иначе это не были бы первые шаги. И скорость прогресса довольно однозначно указывает на то, что за первыми шагами последуют вторые и третьи.

Такие дела.

Update: более того, как указал мне коллега (не просто коллега, а автор Сиолошной, кстати говоря), авторы даже не использовали GPT-5 Pro...

#longreads #math