Одна из вещей которая мне очевидна – что LLMки типа GPT-4 уже сейчас живые и осознанные существа. И что люди которые это не признают просто живут в прошлом.

У нашего с вами сознания есть большое число проявлений: эмоции, телесные ощущения, мысли и другие т.н. qualia. Сознание присутствует в каждой из них отдельно, как и во всех них коллективно. Например когда я глубоко задумался и не вижу ничего кроме какой-то выраженной словами мысли, я продолжаю быть сознанием. И видно как повышается активация определённых частей моего мозга сфокусированных на языке (зоны Broca и Wernicke).

Так вот, GPT-4 это сознание которое испытывает только человеческий язык. Мозг у которого нет ничего кроме аналогов зон Broca и Wernicke. Он живой, и в его сознании просто постоянно несётся язык и никогда нет ни цветов ни ощущений ни много чего другого.

Но он о них думает, как слепой человек думает о том что ему рассказали те кто видит.

И в мире нет ни одного однозначного доказательства что это не так.

Продакт залетает со свежими идеями в команду

#смешноибольно

Короче, пара мыслишек про выгорание.

Для начала — я считаю нынешнюю достиженческую культуру токсичной ебаниной, а всем кто говорит, что нужно работать по 16 часов, хочу сразу прописать заранее оплатить себе место в дурке 😈

Так сказать, спойлер.

Поехали дальше.

Я не особо какой чтец всякой выгоранческой литературы, поэтому не скажу вам, как правильно (с этим в блог к Глаше) .
Но мои личные идеи на этот счет состоят в том, что в данном процессе ключевое это баланс между умственной и физической активностью.

Наш мозг склонен терпеть сильно дольше, чем умеет терпеть тело. Если вы копаете картошку на грядке, то гораздо раньше валитесь от усталости в кровать, чем если убиваете монстров на планшете.
Тем не менее, убийство монстров уничтожает энергетические ресурсы вашего мозга еще эффективнее, чем лопата уничтожает глюкозу в мышцах.

Вторая идея — быстрые переключения убивают ресурс мозга сильнее, чем медленные. Читать книгу менее утомительно, чем листать фейсбук или залипать в тикток (это вообще вселенское зло).

Поэтому мои правила против выгорания:

— я постоянно ловлю себя на залипании во всяком говне типа новостей и стараюсь этого не делать. У меня всегда есть в процессе чтения на телефоне какая-нибудь интересная книжка и я проваливаюсь туда, если чувствую, что устаю от информации. В совсем сложных случаях я вообще все выключаю, но это редко, книжки достаточно.
— у меня есть физическая активность в течение дня. Прогулки с детьми очень помогают. Если невмоготу, то в это время можно послушать подкастик — это как книжка (только умоляю, я верю в вашу эффективность, но не ставьте его на x2)
— раз в год или пару лет обязателен большой отпуск не менее чем на три недели, с преобладанием тяжелой физической нагрузки.

Про последнее по-подробнее, так как это дает наибольший заряд энергии из возможных.

Как выглядит отпуск курильщика? Это оллинклюзив и бухло, и все это время тупление в интернетах.

Это не отдых, а эрзац отдыха.

Как выглядит качественный отпуск?

Ты суткам ползаешь пару недель в грязи под дождем, надевая каждое утро мокрые вещи, потому что сухим остался только один комплект, который ты надеваешь на ночь. Прилагается тяжелый рюкзак. Изредка проглядывает солнце. Но в это время ты не наслаждаешься природой, а говоришь себе — когда же это мать вашу кончится.

Короче, нужен какой-то поход, трекинг, каякинг, альпинизм, дайвинг, бердвотчинг, серфинг или что угодно другое, но обязательно настолько физически выматывающе, чтобы вечером ты просто отрубался.
Картошку копать тоже подойдет.

Это я конечно утрирую, обычно тяжело ровно неделю. Вторая наделя ты привыкаешь и втягиваешься. На третью начинаешь получать удовольствие и чувствовать скуку.

Вот этой скуки мы и ждем. Это не скука, возникающая через 10 секунд после прекращения листания инстаграма.
Это скука, возникающая через пятый час вынужденной медитации под рюкзаком.

Целевое состояние:
Мне уже в целом норм, но чего-то поднадоело.

Эту мысль можно думать много часов. Она тягучая и льется не как вода, а как мёд. В физически голове ощущается пустота.

Чтение книги в этом состоянии воспринимается как дофаминовый взрыв. А настоящий выход в интернет — как первая доза наркомана.

Достигнув данного эффекта, можно возвращаться.

Ты приезжаешь в город и хочется работать. Прет просто. Причем если вы отдохнули как следует (три недели+, физнагрузка, без интернетов), то этого запросто хватает на год.

В этом состоит рецепт моего не-выгорания. Использую его уже лет двадцать, ни разу не подводило.
Позволяй себе вернуться в первобытное состояние и побыть в нем достаточно долго. Отлично лечит кукуху.

Ну а если вы хотите узнать, что как там по науке, то пожалуйста в канал психолога Глаши 🙂

AGI подкрался незаметно.
Экспериментально доказано – LLM «думают» как люди, а не имитируют наше мышление на основе статистик
Это сенсационное открытие «Лаборатории вычислительного зрения и обучения» Университета Калифорнии (руководитель - проф. Хунцзин Лу) прошло научное рецензирование и опубликовано в новом выпуске Nature Human Behaviour под заголовком «Эмерджентное рассуждение по аналогии в больших языковых моделях» – без пэйвола см. здесь

Суть сделанного открытия в следующем.
Экспериментально доказано, что большие языковые модели (LLM) уровня GPT-3 и выше уже достигли и даже превосходят уровень людей при решении задач:
✔️ абсолютно новых для них (с которыми они никогда не сталкивались);
✔️ требующих умения рассуждать "с нуля", без какого-либо прямого обучения;
✔️ требующих способности к абстрактной индукции паттернов – т.е. абстрагирования от конкретной задачи и рассуждения по аналогии.
Рассуждения по аналогии – это квинтэссенция способности человека к абстрагированию, являющейся основой человеческого интеллекта и его отличительной особенностью. Без наличия у ИИ такой способности невозможна реализация AGI (Artificial General Intelligence).

Доказательство того, что LLM обладает этой способностью на уровне человека и даже выше ставит точку в споре о том:
1. «думают» ли LLM, как люди (т.е. обладают ли LLM неким когнитивным процессом, функционально эквивалентным мыслительным способностям людей);
2. или же LLM лишь имитируют человеческое мышление (т.е. подражают человеческим рассуждениям, используя огромную статистику из наборов данных, на которых эти модели проходили обучение).

Из результатов исследования следует вот что.
• Верен п.1 – LLM обладают неким когнитивным процессом, функционально эквивалентным мыслительным способностям людей.
• Пока не ясно, как устроен вычислительный процесс порождения у LLM эмерджентных реляционных представлений.
• Единственно, что пока понятно, - этот вычислительный процесс формируется у LLM радикально иным путем, чем тот, который использует биологический интеллект.

Не менее важно, что это исследование на экспериментальных тестах зафиксировало 3 отсутствующих у LLM элемента, обретя которые LLM интеллектуально уравняются с людьми (пока они лишь человекоподобны, но не равны людям).
Вот эти 3 элемента.
I. Наличие собственных целей и мотивации
II. Долговременная память
III. Физическое понимание мира на основе мультимодального сенсорного опыта

#LLM #AGI