Продолжим тему книг. До меня наконец-то добрались бумажные экземпляры книги Элиезера Юдковского и Нейта Соареса, где я был научным редактором перевода:
Если кто-то его создаст — все погибнут
Я о ней недавно уже писал в связи с тем, что она вошла в лонг-лист премии "Просветитель". А сейчас просто поделюсь радостью от того, что очень многие комментарии, которые я при редактуре писал, действительно вошли в книгу!
Собственно, главная мысль многих моих комментариев была в том, что за прошедший с написания книги год уже многие предсказания сбылись, а где-то реальность пошла даже дальше предположений авторов. Прилагаю несколько примеров.
Во вторник, кстати, на школе имени Бориса Поляка опять буду про AI Safety рассказывать. По сравнению с недавними докладами там будет как минимум одна крутая недавняя новость об интерпретируемости, о которой я для вас пишу большой пост (хотя не обещаю, что до завтра допишу).
#books #aisafety
Если кто-то его создаст — все погибнут
Я о ней недавно уже писал в связи с тем, что она вошла в лонг-лист премии "Просветитель". А сейчас просто поделюсь радостью от того, что очень многие комментарии, которые я при редактуре писал, действительно вошли в книгу!
Собственно, главная мысль многих моих комментариев была в том, что за прошедший с написания книги год уже многие предсказания сбылись, а где-то реальность пошла даже дальше предположений авторов. Прилагаю несколько примеров.
Во вторник, кстати, на школе имени Бориса Поляка опять буду про AI Safety рассказывать. По сравнению с недавними докладами там будет как минимум одна крутая недавняя новость об интерпретируемости, о которой я для вас пишу большой пост (хотя не обещаю, что до завтра допишу).
#books #aisafety
2❤30👍12🔥3🥴3🌚1
Большой пост таки дописал! Он про новую работу об интерпретируемости от Anthropic: "Verbalizable Representations Form a Global Workspace in Language Models" (есть и пост для более широкой публики). Они нашли внутри Claude небольшую выделенную систему представлений, которая ведёт себя поразительно похоже на глобальное рабочее пространство (global workspace) — понятие, которым когнитивные науки уже сорок лет описывают сознание людей.
Авторы назвали её J-space, от Jacobian, и название сразу пошло в народ. Но ведь по-русски J-lens и J-space будут "Я-линза" и "Я-пространство" (от Якоби) — и это звучит вообще великолепно! Так что вот, подробно и во всех деталях:
«Я-пространство» в языковых моделях: Global Workspace in the J-Space
1. Введение
Здесь проговорю только совсем коротко основную мысль. В остаточном потоке трансформера, среди десятков тысяч признаков в суперпозиции, нашлась маленькая подсистема, которая:
— проговаривается словами: её содержимое модель может вербализовать;
— поддаётся произвольному контролю: "держи в голове цитрусовые" работает, а "не думай про белого медведя" — как и у людей, не очень;
— служит средой молчаливых рассуждений: через неё проходят невысказанные промежуточные шаги;
— переиспользуется любыми последующими вычислениями;
— и при этом не нужна для "автоматики": без неё модель теряет многошаговое мышление, но спокойно пишет грамотный текст и вспоминает факты.
Понятно, что такой список свойств звучит прямо как определение "Системы 2" по Канеману, и понятно, почему вокруг работы поднялся такой мощный хайп. Но мне она кажется важной даже в отрыве от громких слов: это первый (известный мне) случай, когда наука об интерпретируемости перешла от изучения отдельных "нейронов" и маленьких схем (circuits) к макроскопическому функциональному анализу того, что происходит внутри языковой модели. И это сразу получилось сделать понятным математическим инструментом, который можно воспроизвести на любой открытой модели.
Воспроизвести — это, кстати, не фигура речи: мы с Claude Code собрали J-линзу своими руками на Qwen2.5, и ниже посмотрим, как в середине сети всплывает слово "France", когда модель отвечает на вопрос про столицу страны, где стоит Эйфелева башня (причём всплывает, даже если вопрос задан по-русски).
Дальше только оглавление:
2. Интерпретируемость до J-пространства: суперпозиция, SAE, цепи, интроспекция.
3. Глобальное рабочее пространство в когнитивных науках: Баарс, Деан и свойства сознательного доступа.
4. J-линза: как читать остаточный поток — метод с формулами.
5. Что нашли: пять свойств сознательного доступа.
6. Структура: сенсорная кора, рабочее пространство, моторика.
7. Собираем свою J-линзу: домашняя репликация на маленьких Qwen.
8. Приложения: аудит непроизнесённых мыслей, evaluation awareness и The Most Forbidden Technique.
9. Реакции и комментарии: Деан, Janus, Nanda, Antra, Zvi и другие.
10. Сексуальные предпочтения Qwen (yes, really!)
11. Ну что, у Клода, получается, есть сознание?
12. Заключение: что всё это значит для интерпретируемости, безопасности и разговоров о сознании.
Пожелаем Anthropic успехов на нелёгком пути AI safety и интерпретируемости, и будем следить за тем, что будет дальше!
#ai #aisafety #longreads #blog
Авторы назвали её J-space, от Jacobian, и название сразу пошло в народ. Но ведь по-русски J-lens и J-space будут "Я-линза" и "Я-пространство" (от Якоби) — и это звучит вообще великолепно! Так что вот, подробно и во всех деталях:
«Я-пространство» в языковых моделях: Global Workspace in the J-Space
1. Введение
Здесь проговорю только совсем коротко основную мысль. В остаточном потоке трансформера, среди десятков тысяч признаков в суперпозиции, нашлась маленькая подсистема, которая:
— проговаривается словами: её содержимое модель может вербализовать;
— поддаётся произвольному контролю: "держи в голове цитрусовые" работает, а "не думай про белого медведя" — как и у людей, не очень;
— служит средой молчаливых рассуждений: через неё проходят невысказанные промежуточные шаги;
— переиспользуется любыми последующими вычислениями;
— и при этом не нужна для "автоматики": без неё модель теряет многошаговое мышление, но спокойно пишет грамотный текст и вспоминает факты.
Понятно, что такой список свойств звучит прямо как определение "Системы 2" по Канеману, и понятно, почему вокруг работы поднялся такой мощный хайп. Но мне она кажется важной даже в отрыве от громких слов: это первый (известный мне) случай, когда наука об интерпретируемости перешла от изучения отдельных "нейронов" и маленьких схем (circuits) к макроскопическому функциональному анализу того, что происходит внутри языковой модели. И это сразу получилось сделать понятным математическим инструментом, который можно воспроизвести на любой открытой модели.
Воспроизвести — это, кстати, не фигура речи: мы с Claude Code собрали J-линзу своими руками на Qwen2.5, и ниже посмотрим, как в середине сети всплывает слово "France", когда модель отвечает на вопрос про столицу страны, где стоит Эйфелева башня (причём всплывает, даже если вопрос задан по-русски).
Дальше только оглавление:
2. Интерпретируемость до J-пространства: суперпозиция, SAE, цепи, интроспекция.
3. Глобальное рабочее пространство в когнитивных науках: Баарс, Деан и свойства сознательного доступа.
4. J-линза: как читать остаточный поток — метод с формулами.
5. Что нашли: пять свойств сознательного доступа.
6. Структура: сенсорная кора, рабочее пространство, моторика.
7. Собираем свою J-линзу: домашняя репликация на маленьких Qwen.
8. Приложения: аудит непроизнесённых мыслей, evaluation awareness и The Most Forbidden Technique.
9. Реакции и комментарии: Деан, Janus, Nanda, Antra, Zvi и другие.
10. Сексуальные предпочтения Qwen (yes, really!)
11. Ну что, у Клода, получается, есть сознание?
12. Заключение: что всё это значит для интерпретируемости, безопасности и разговоров о сознании.
Пожелаем Anthropic успехов на нелёгком пути AI safety и интерпретируемости, и будем следить за тем, что будет дальше!
#ai #aisafety #longreads #blog
🔥22❤8👍6
Выступаю сегодня на школе имени Бориса Поляка. Как и год назад, рассказываю про AI safety, но за год произошло довольно много всего интересного (вот J-space, например).
Очень крутые постеры здесь! Есть и ICML spotlight, но я вот подсвечу работу Александра Толмачева, который реально подвинул оценки чисел Борсука, стоявшие с работ Лассака 1980-х годов.
И нет, Александр подвинул оценки интересным новым методом со сложной комбинаторной оптимизацией, а не одним промптом к Fable. Но на что способен один промпт к Fable, я вам на днях тоже расскажу...
#talks #events #aisafety #ai
Очень крутые постеры здесь! Есть и ICML spotlight, но я вот подсвечу работу Александра Толмачева, который реально подвинул оценки чисел Борсука, стоявшие с работ Лассака 1980-х годов.
И нет, Александр подвинул оценки интересным новым методом со сложной комбинаторной оптимизацией, а не одним промптом к Fable. Но на что способен один промпт к Fable, я вам на днях тоже расскажу...
#talks #events #aisafety #ai
❤21👍2🔥1
У меня много контента для вас, есть даже чем немножко похвастаться. План постить по два обзора игр в неделю уже давно забыт. Но новости идут такие потрясающие, что пока всё-таки продолжаю обсуждать именно их, а к себе любимому вернусь позже.
На этой неделе (в первой половине этой недели...) главная AI-новость опять математическая. Claude Fable нашёл контрпример к проблеме якобиана, которая стояла с 1930-х годов и вошла, например, в известный список проблем Смейла. Проверить его ничего не стоит, сможет любой студент; но давайте попытаемся разобраться в контексте.
Ниже сокращённое введение, читать надо по ссылке:
Басня о якобиане: The Fable of the Jacobian Conjecture
Мы живём в дивном новом мире для математики. В мае внутренняя модель OpenAI опровергла гипотезу Эрдёша о единичных расстояниях, неделю назад GPT 5.6 доказала гипотезу о двойном покрытии циклами.
В прошлый раз я закончил пост словами: "Если у вас есть любимая гипотеза, в которую вы верите, самое время написать про неё хороший промпт". Что ж, люди так и сделали, и сегодня у нас третий эпизод того же сериала.
На этот раз отличилась модель от Anthropic: 19 июля, пока человечество смотрело финал чемпионата мира по футболу, Claude Fable 5 построил контрпример к проблеме якобиана (Jacobian conjecture) — одной из самых знаменитых открытых проблем алгебраической геометрии, номеру 16 в списке Смейла, простоявшей с 1939 года.
В прошлых сериях были хотя бы двухстраничные препринты, а здесь научная коммуникация ещё ближе к сингулярности; результат целиком существует в виде твита математика Левента Алпёге (Levent Alpöge). [...]
Что такое проблема якобиана
Возьмём отображение, заданное несколькими многочленами от нескольких переменных — скажем, тремя многочленами от трёх переменных. Из его частных производных собирается матрица, и её определитель (якобиан) измеряет, как отображение локально искажает объёмы. Там, где якобиан не ноль, отображение локально обратимо: маленькую окрестность точки оно переводит взаимно однозначно. У всякого обратимого полиномиального отображения якобиан оказывается ненулевой константой.
Проблема якобиана — это вопрос о том, верно ли обратное. Если якобиан — ненулевая константа, то есть отображение нигде локально не вырождается, обязано ли оно быть обратимым глобально (и тогда обратное к нему автоматически тоже полиномиальное)?
Оказалось что не обязано. Контрпример представляет собой три многочлена от трёх переменных степени 7, у которых якобиан (определитель матрицы 3x3) тождественно равен −2, но три разные точки переходят в одну и ту же. Проверка, когда контрпример уже построен, абсолютно тривиальная.
Что есть в посте:
— Предыдущие попытки и частичные результаты. К 1982 году было не менее пяти опубликованных и отрецензированных (!) ошибочных доказательств, в том числе от Сегре и Грёбнера; диссертация Итана Чжана тоже была про эту задачу. Верные результаты: степень 2 в любой размерности, две переменные до степени 100, сведение к кубическим отображениям; сеть эквивалентных гипотез (Диксмье, Пуассон, Матье) и вещественный контрпример Пинчука (1994).
— Контрпример и его проверка. Сам герой дня и базис Грёбнера, подтверждающий, что в твите приведён весь набор прообразов целиком.
— Как это устроено. Оказывается, прообразы любой точки — корни явно выписываемого кубического уравнения, так что "обратная функция" здесь — просто формула Кардано. Здесь есть и кое-какие картинки: фазовая диаграмма "сколько у точки вещественных прообразов", а также точка, у которой прообразов нет вовсе (отображение не сюръективно, что в данном случае естественно).
— Что ещё опровергает этот пример.
— Как это было найдено. Пока непонятно как: ни статьи, ни промпта, ни логов. Зато независимых проверок уже сколько угодно, а Wikipedia и MathWorld обновились за сутки.
В общем, дивный новый мир продолжается. Что дальше, коллеги?
#blog #ai #math #longreads
На этой неделе (в первой половине этой недели...) главная AI-новость опять математическая. Claude Fable нашёл контрпример к проблеме якобиана, которая стояла с 1930-х годов и вошла, например, в известный список проблем Смейла. Проверить его ничего не стоит, сможет любой студент; но давайте попытаемся разобраться в контексте.
Ниже сокращённое введение, читать надо по ссылке:
Басня о якобиане: The Fable of the Jacobian Conjecture
Мы живём в дивном новом мире для математики. В мае внутренняя модель OpenAI опровергла гипотезу Эрдёша о единичных расстояниях, неделю назад GPT 5.6 доказала гипотезу о двойном покрытии циклами.
В прошлый раз я закончил пост словами: "Если у вас есть любимая гипотеза, в которую вы верите, самое время написать про неё хороший промпт". Что ж, люди так и сделали, и сегодня у нас третий эпизод того же сериала.
На этот раз отличилась модель от Anthropic: 19 июля, пока человечество смотрело финал чемпионата мира по футболу, Claude Fable 5 построил контрпример к проблеме якобиана (Jacobian conjecture) — одной из самых знаменитых открытых проблем алгебраической геометрии, номеру 16 в списке Смейла, простоявшей с 1939 года.
В прошлых сериях были хотя бы двухстраничные препринты, а здесь научная коммуникация ещё ближе к сингулярности; результат целиком существует в виде твита математика Левента Алпёге (Levent Alpöge). [...]
Что такое проблема якобиана
Возьмём отображение, заданное несколькими многочленами от нескольких переменных — скажем, тремя многочленами от трёх переменных. Из его частных производных собирается матрица, и её определитель (якобиан) измеряет, как отображение локально искажает объёмы. Там, где якобиан не ноль, отображение локально обратимо: маленькую окрестность точки оно переводит взаимно однозначно. У всякого обратимого полиномиального отображения якобиан оказывается ненулевой константой.
Проблема якобиана — это вопрос о том, верно ли обратное. Если якобиан — ненулевая константа, то есть отображение нигде локально не вырождается, обязано ли оно быть обратимым глобально (и тогда обратное к нему автоматически тоже полиномиальное)?
Оказалось что не обязано. Контрпример представляет собой три многочлена от трёх переменных степени 7, у которых якобиан (определитель матрицы 3x3) тождественно равен −2, но три разные точки переходят в одну и ту же. Проверка, когда контрпример уже построен, абсолютно тривиальная.
Что есть в посте:
— Предыдущие попытки и частичные результаты. К 1982 году было не менее пяти опубликованных и отрецензированных (!) ошибочных доказательств, в том числе от Сегре и Грёбнера; диссертация Итана Чжана тоже была про эту задачу. Верные результаты: степень 2 в любой размерности, две переменные до степени 100, сведение к кубическим отображениям; сеть эквивалентных гипотез (Диксмье, Пуассон, Матье) и вещественный контрпример Пинчука (1994).
— Контрпример и его проверка. Сам герой дня и базис Грёбнера, подтверждающий, что в твите приведён весь набор прообразов целиком.
— Как это устроено. Оказывается, прообразы любой точки — корни явно выписываемого кубического уравнения, так что "обратная функция" здесь — просто формула Кардано. Здесь есть и кое-какие картинки: фазовая диаграмма "сколько у точки вещественных прообразов", а также точка, у которой прообразов нет вовсе (отображение не сюръективно, что в данном случае естественно).
— Что ещё опровергает этот пример.
— Как это было найдено. Пока непонятно как: ни статьи, ни промпта, ни логов. Зато независимых проверок уже сколько угодно, а Wikipedia и MathWorld обновились за сутки.
В общем, дивный новый мир продолжается. Что дальше, коллеги?
#blog #ai #math #longreads
🔥16❤14🍓4