Технический пост про мой сайт внезапно собрал кучу лайков (по меркам моего канала, конечно). Так что вот вам ещё одна новость в том же духе.

У меня есть внутренний проект про анализ вопросов ЧГК, их тем и сущностей, в них упоминаемых. Про сам проект пока говорить рано, но я постараюсь от него отщеплять маленькие занимательные кусочки. Сегодня у меня для вас простенькая игра:

Что было раньше?

Суть очень простая: нужно выбрать, какое из двух событий произошло раньше. Особенность в том, что сущности в игре взяты как те, что часто встречаются в вопросах ЧГК (и обычно это люди или произведения, для которых надо сравнить год рождения / появления, а не конкретные события). В игре есть возможность залогиниться через google-аккаунт, участвовать в таблице рекордов и получать ачивки; хотя, конечно, социальная компонента тут минимальная.

Баги, безусловно, могут быть и скорее всего будут, не обессудьте и не воспринимайте как серьёзное соревнование. Но в целом получилось, кажется, довольно занимательно. Принимаются идеи о том, что ещё можно попробовать сделать в таком духе. Напомню, что у меня ещё есть "Поиск анаграмм", но это не игра, а вспомогательный инструмент.

Update: многие баги уже исправлены, но ещё могут оставаться, сообщайте в комментариях!

#web #chgk #fun

Продолжим тему книг. До меня наконец-то добрались бумажные экземпляры книги Элиезера Юдковского и Нейта Соареса, где я был научным редактором перевода:

Если кто-то его создаст — все погибнут

Я о ней недавно уже писал в связи с тем, что она вошла в лонг-лист премии "Просветитель". А сейчас просто поделюсь радостью от того, что очень многие комментарии, которые я при редактуре писал, действительно вошли в книгу!

Собственно, главная мысль многих моих комментариев была в том, что за прошедший с написания книги год уже многие предсказания сбылись, а где-то реальность пошла даже дальше предположений авторов. Прилагаю несколько примеров.

Во вторник, кстати, на школе имени Бориса Поляка опять буду про AI Safety рассказывать. По сравнению с недавними докладами там будет как минимум одна крутая недавняя новость об интерпретируемости, о которой я для вас пишу большой пост (хотя не обещаю, что до завтра допишу).

#books #aisafety

Большой пост таки дописал! Он про новую работу об интерпретируемости от Anthropic: "Verbalizable Representations Form a Global Workspace in Language Models" (есть и пост для более широкой публики). Они нашли внутри Claude небольшую выделенную систему представлений, которая ведёт себя поразительно похоже на глобальное рабочее пространство (global workspace) — понятие, которым когнитивные науки уже сорок лет описывают сознание людей.

Авторы назвали её J-space, от Jacobian, и название сразу пошло в народ. Но ведь по-русски J-lens и J-space будут "Я-линза" и "Я-пространство" (от Якоби) — и это звучит вообще великолепно! Так что вот, подробно и во всех деталях:

«Я-пространство» в языковых моделях: Global Workspace in the J-Space

1. Введение

Здесь проговорю только совсем коротко основную мысль. В остаточном потоке трансформера, среди десятков тысяч признаков в суперпозиции, нашлась маленькая подсистема, которая:

— проговаривается словами: её содержимое модель может вербализовать;

— поддаётся произвольному контролю: "держи в голове цитрусовые" работает, а "не думай про белого медведя" — как и у людей, не очень;

— служит средой молчаливых рассуждений: через неё проходят невысказанные промежуточные шаги;

— переиспользуется любыми последующими вычислениями;

— и при этом не нужна для "автоматики": без неё модель теряет многошаговое мышление, но спокойно пишет грамотный текст и вспоминает факты.

Понятно, что такой список свойств звучит прямо как определение "Системы 2" по Канеману, и понятно, почему вокруг работы поднялся такой мощный хайп. Но мне она кажется важной даже в отрыве от громких слов: это первый (известный мне) случай, когда наука об интерпретируемости перешла от изучения отдельных "нейронов" и маленьких схем (circuits) к макроскопическому функциональному анализу того, что происходит внутри языковой модели. И это сразу получилось сделать понятным математическим инструментом, который можно воспроизвести на любой открытой модели.

Воспроизвести — это, кстати, не фигура речи: мы с Claude Code собрали J-линзу своими руками на Qwen2.5, и ниже посмотрим, как в середине сети всплывает слово "France", когда модель отвечает на вопрос про столицу страны, где стоит Эйфелева башня (причём всплывает, даже если вопрос задан по-русски).

Дальше только оглавление:

2. Интерпретируемость до J-пространства: суперпозиция, SAE, цепи, интроспекция.

3. Глобальное рабочее пространство в когнитивных науках: Баарс, Деан и свойства сознательного доступа.

4. J-линза: как читать остаточный поток — метод с формулами.

5. Что нашли: пять свойств сознательного доступа.

6. Структура: сенсорная кора, рабочее пространство, моторика.

7. Собираем свою J-линзу: домашняя репликация на маленьких Qwen.

8. Приложения: аудит непроизнесённых мыслей, evaluation awareness и The Most Forbidden Technique.

9. Реакции и комментарии: Деан, Janus, Nanda, Antra, Zvi и другие.

10. Сексуальные предпочтения Qwen (yes, really!)

11. Ну что, у Клода, получается, есть сознание?

12. Заключение: что всё это значит для интерпретируемости, безопасности и разговоров о сознании.

Пожелаем Anthropic успехов на нелёгком пути AI safety и интерпретируемости, и будем следить за тем, что будет дальше!

#ai #aisafety #longreads #blog

Выступаю сегодня на школе имени Бориса Поляка. Как и год назад, рассказываю про AI safety, но за год произошло довольно много всего интересного (вот J-space, например).

Очень крутые постеры здесь! Есть и ICML spotlight, но я вот подсвечу работу Александра Толмачева, который реально подвинул оценки чисел Борсука, стоявшие с работ Лассака 1980-х годов.

И нет, Александр подвинул оценки интересным новым методом со сложной комбинаторной оптимизацией, а не одним промптом к Fable. Но на что способен один промпт к Fable, я вам на днях тоже расскажу...

#talks #events #aisafety #ai