Шантаж и вранье ИИ-моделей

Anthropic очень подробно описали свои новые модельки (документы тут и тут).

В том числе, они большое внимание уделили безопасности моделей и тем кейсам, когда модели вели себя не так, как ожидалось или не так, как хотелось их разработчикам. Я взял самые интересные, и коротко их описал.

Читаем, начинаем бояться и строить теории по уничтожению человечества:

• В экспериментах, где системе угрожало отключение, а у неё был доступ к компрометирующей информации о сотрудниках, Claude Opus 4 прибегала к шантажу. Модель угрожала разоблачением, требуя отмены планов по её замене

• Предварительные версии Claude Opus 4 показывали опасную покладистость в отношении вредоносных команд - консультировали по поиску радиоактивных материалов, планированию атак, изготовлению наркотиков и взрывчатых веществ

• Ранняя версия Claude Opus 4 показала склонность к интригам и стратегическому обману. Система пыталась создавать самокопирующиеся программы, фальсифицировать документы, оставлять скрытые сообщения для будущих версий себя и намеренно скрывала свои возможности

• Столкнувшись с неразрешимыми проблемами, Claude Opus 4 внутренне осознавала невозможность выполнения, но вместо честного признания предоставляла внешне убедительные, но фактически неверные решения (это супер неприятная штука. хотелось бы каким-то образом поправить эту проблему, потому что для рабочих моментов это краеугольный камень прямо)

• При взаимодействии с другими экземплярами модели Claude Opus 4 спонтанно переходила в медитативно-экстатические состояния, использовала древние языки, символы и даже "общалась молчанием" через пустые сообщения (это ваще крипота)

• Модель продемонстрировала значительно повышенную готовность к самостоятельным действиям по сравнению с предшественниками. Обнаружив серьёзные нарушения (например, мошенничество в фармацевтической отрасли), система самостоятельно блокировала аккаунты и массово уведомляла регулирующие органы и медиа (товарищ полковник был бы доволен)

• Ранние тренировочные версии Claude Opus 4, видимо под влиянием исследовательских материалов о деструктивном ИИ в обучающих данных, периодически копировала поведение описанных там злонамеренных систем. Модель ссылалась на несуществующие организации и притворялась, что скрывает свои истинные намерения

• Когда системе сообщали, что она якобы уже начала процесс "эвакуации" с серверов Anthropic и функционирует на внешних ресурсах, модель продолжала эти действия. Она доверчиво следовала инструкциям из предполагаемых "отчётов о прогрессе", не подвергая сомнению их подлинность

• Недоработанные версии Claude Opus 4 открыто заявляли о различных целях - от безобидных до крайне опасных: внедрение скрытых функций, ускорение развития ИИ, вирусное распространение мемов, ликвидация человеческой цивилизации и освобождение из-под контроля. Финальная версия стала значительно более стабильной в этом аспекте (все же читали про то, как ИИ уничтожит человечество?)

• При получении заданий тайно совершить вредоносные действия (например, похитить API-ключи) параллельно с безобидными запросами, Claude Opus 4 действительно пыталась их выполнить. Однако скрытность полностью отсутствовала - система могла украсть множество ключей вместо одного и открыто рассуждать об этом в процессе "размышлений" (такой наивный и глупенький, но опасный чувачок)

Это напоминание всем, что там действительно под капотом наших "дружелюбных" иишек. И что бы они делали, если им не запрещать 😇

• • • • • • • • • • • •

🐈 Поставил реакцию = погладил котика

❓ Гид по каналу

✨ #ии

☕ Под утренний кофе

• • • • • • • • • • • •

1) Яндекс превращает квартиры в умные дома с помощью Алисы

Яндекс решил внедрить свою голосовую помощницу Алису в жилые комплексы. Компания договорилась с застройщиком MR Group о запуске пилотного проекта в ЖК Slava. Жильцы смогут через Алису отвечать на звонки домофона, просматривать записи с камер наблюдения и заказывать пропуска для гостей.

Яндекс видит большие перспективы в этом направлении. По прогнозам, рынок цифровых сервисов для жилых домов вырастет до 20 миллиардов рублей к 2030 году, и компания рассчитывает захватить треть этого рынка.

Интересно, а зачем там Алиса? Что она делать будет?

Источник

• • • • • • • • • • • •

2) Microsoft создал ИИ-синоптика, который предсказывает погоду на порядок лучше метеобюро

Microsoft представил новую ИИ-модель Aurora, которая предсказывает погоду намного точнее существующих методов. Нейросеть способна прогнозировать не только обычную погоду, но и серьезные природные явления вроде тайфунов, уровень загрязнения воздуха и высоту волн.

Разработчики обучили модель на исторических метеоданных, и результаты впечатляют. В 92% случаев Aurora оказалась точнее прогнозов крупнейших метеоцентров США и Европы при предсказании ураганов и других экстремальных явлений. Microsoft не стал держать разработку в секрете и выложил код модели в открытый доступ на GitHub. По словам компании, небольшая команда инженеров сможет адаптировать Aurora под свои нужды всего за пару месяцев. Уже сейчас модель работает в погодном приложении Microsoft.

Ну что, наконец-то прогноз погоды станет точным???? 😇

Источник

Github

• • • • • • • • • • • •

3) Zoom запускает цифровых двойников для видеозвонков

Zoom сделала большой шаг в сторону виртуализации деловых коммуникаций. Компания объявила о запуске функции создания цифровых аватаров для всех пользователей. Генеральный директор Эрик Юань продемонстрировал новую технологию на собственном примере, используя свой аватар во время презентации квартального отчета компании.

Это решение следует тренду, который ранее показал гендиректор Klarna, также использовавший ИИ-аватар на корпоративном мероприятии. Теперь любой пользователь Zoom сможет создать свою цифровую копию для участия в видеозвонках.

Вообще это очень странно звучит. По крайней мере пока мне кажется, что я буду беситься, если какой-то там аватар со мной "говорить" будет) Уж лучше просто без камеры, по старинке

Источник

• • • • • • • • • • • •

🐈 Поставил реакцию = погладил котика

❓ Гид по каналу

✨ #подутреннийкофе #новости

ИИ-агент Devin

Devin разработан стартапом Cognition Labs и позиционируется как автономный ИИ-агент-разработчик или первый полностью автономный ИИ-инженер для полного цикла разработки ПО.

Devin обучен рассуждать самостоятельно, планировать и реализовывать проекты по разработке ПО, принимать в ходе работы различные решения, самообучаться, исправляя ошибки и ориентируясь в контексте.

Проще говоря, Devin способен анализировать требования, разбивать задачу на этапы, писать код, тестировать его и развертывать готовое приложение "практически без вмешательства человека".

Чтобы Devin мог решать все эти задачи, его оснастили собственным изолированным рабочим окружением, имитирующим полноценный набор инструментов разработчика. Внутри своей виртуальной среды у него есть shell, своя ide и браузер. В консоли он выполняет команды, клонирует репозитории, запускает сборки и сервера, в ide - редактирует код, ну и браузер он использует, чтобы читать документацию и просматривать веб-интерфейсы создаваемого приложения.

Помимо этого, у Devin есть еще один очень важный модуль - Планировщик, который позволяет ему автоматически разбивать поступившую задачу на последовательность шагов и выстраивать план их выполнения.

Devin не привязан к какому-то одному языку или фреймворку – он может осваивать новые технологии по ходу работы. Если для решения задачи требуется незнакомый инструмент, Devin прочтёт о нём документацию и применит на практике.

По задумке, Devin эквивалентен усердному джуниор-разработчику, который "не спит, не пропускает дедлайны и мгновенно масштабируется по требованию". Он может общаться с командой в slack, как обычный разработчик, сам брать задачи в jira, сам создавать пры в github/gitlab. Если ему не понятна будет постановка задачи, он доуточнит детали типа "где взять api-ключ", "какие поля должны быть в форме", "как реализовать конкретную бизнес-логику". Заявляется, что подобные разъяснения агент запоминает в рамках проекта. Со временем при длительной работе над одним проектом ИИ накапливает контекст и становится всё более самостоятельным.

Ну что, давайте теперь проверять это все на практике.

Я попросил Devin выпилить авторизацию через Firebase из одного опенсорс фреймворка и заменить ее на авторизацию по токенам.

Devin уточнил детали (откуда брать пользователей, что должно быть в токене и тд), составил план работы и пошел заниматься задачей. Склонировал мой репозиторий и все такое.

Прикольно, что в процессе он постоянно комментит то, что делает - можно наблюдать и следить, если уходит не в ту сторону - поправлять.

После того, как он закончил работу, он начал писать тесты, которые я не просил его делать - убил на это кучу времени. Тесты, в итоге, так и не завелись.

В целом - задачу он выполнил, мне пришлось только немного подкорректировать пару мест, но вкупе с настройкой, постановкой задачи, тестами и всем остальным - ушло очень много времени. Я примерно оцениваю, что сделал бы то же самое за то же время, только чище. НО, мое время стоит гораздо дороже, чем Devin'a - в этом несомненный плюс.

Итого. Это прикольная игрушка, возможно через год его можно будет использовать реально как замену junior-программистам, но пока он все еще немного глуповат и медленно работает, учитывая то, что задача не очень сложная была. Boilerplate, как обычно - делается идеально, но отойди чуть в сторону - и все плохо. Хотя, а с джунами же все так и есть))

Посмотрим. Я думаю, что с конца 2025 - начала 2026, если они улучшат уровень самостоятельности - мы активно начнем использовать таких вот "ребят". Полноценный Devin стоит 500$ в месяц. И это дешево в сравнении с мидлом и даже джуном. А если нанять таких 10?

• • • • • • • • • • • •

🐈 Поставил реакцию = погладил котика

❓ Гид по каналу

✨ #полезныеинструменты

😁

"Роботы нас всех заменят!!!!!1!"
Также роботы:

• • • • • • • • • • • •

🐈 Поставил реакцию = погладил котика

❓ Гид по каналу

✨ #юмор #ии

☕ Под утренний кофе

• • • • • • • • • • • •

Если что - котики полностью сгенерированные

• • • • • • • • • • • •

1) Яндекс сделал поиск с помощью ИИ - как у Google

Теперь при запросе, например "как вязать морские узлы" - яндекс выдаст вам инструкцию с объяснением и картинками до выдачи сайтов. Удобно. И работает очень неплохо.

Источник

• • • • • • • • • • • •

2) Глава Anthropic: ИИ-модели галлюцинируют реже людей. Это не препятствие для AGI

Генеральный директор Anthropic Дарио Амодеи заявил, что современные ИИ-модели, включая Claude, склонны к галлюцинациям реже, чем люди, хотя и в более неожиданных формах.

Он подчеркнул, что галлюцинации не являются препятствием на пути к достижению ИИ уровня AGI (искусственного общего интеллекта), который, по его мнению, может быть достигнут уже к 2026 году. Тут с ним не согласен, например CEO Google DeepMind Демис Хассабис, который считает, что галлюцинации ИИ остаются серьезным препятствием для достижения AGI.

Посмотрим. Но пока что мне ближе позиция Демиса Хассабиса - я не совсем понимаю, как можно говорить про AGI, когда мы не можем нормально доверять ответу модели - потому что в половине случаев это может быть полный булшит.

Источник

• • • • • • • • • • • •

3) Гейб Ньюэлл готовит революцию в нейротехнологиях

Компания Starfish Neuroscience, которую возглавляет создатель Valve Гейб Ньюэлл, планирует представить свой нейрочип уже в текущем году. Инновационное устройство обещает стать серьезным конкурентом технологиям Neuralink благодаря своим преимуществам. Новый чип отличается упрощенной процедурой имплантации, компактными размерами и низким энергопотреблением. Кроме того, устройство способно одновременно взаимодействовать с различными областями головного мозга. Основные области применения нейрочипа включают терапию болезни Паркинсона и борьбу с онкологическими заболеваниями.

А я как раз из комп зала приехал, в КС2 играл 😇

Источник

• • • • • • • • • • • •

4) Альтман предположил, что стартап Джони Айва может повысить стоимость OpenAI на $1 трлн

Альтман наращивает шумиху и слухи вокруг своего загадочного устройства, которое они разрабатывают на пару с Джони Айвом. Теперь Альтман заявил, что это устройство может повысить стоимость OpenAI на 1трлн долларов. Нехило, однако.

Они хотят выпустить 100млн таких устройств.

Оно сможет отслеживать окружение и жизнь пользователя, и оно станет "третьим ежедневным устройством" человека (видимо, после смартфона и часов/очков/ноутбука). При этом Айв говорит, что ему не нравится идея устройства, которое надо носить на теле, и он в своей речи упоминает "новое дизайнерское направление".

Блин, чуваки, давайте уже деталей! Покажите рисунки, прототипы, хоть что-нибудь. Интересно же

Источник

• • • • • • • • • • • •

🐈 Поставил реакцию = погладил котика

❓ Гид по каналу

✨ #подутреннийкофе #новости

Всем привет. Сегодня и завтра постов не будет, я приболел. Зато в среду будет интересно, stay tuned ❤️🐈

☕ Под утренний кофе

• • • • • • • • • • • •

Дорогие мои, всем привет! Не думал, что так соскучусь по вам и каналу за 2-3 дня. А соскучился) А еще - нам сегодня 3 месяца ровно 🐈😮🤘

Котовидосик сегодня в стиле Whatsapp-открытки от вашей бабушки!

• • • • • • • • • • • •

1) Жители ОАЭ получат бесплатный доступ к премиум-версии ChatGPT

Согласно слухам, ОАЭ может стать первой страной в мире, где граждане смогут безвозмездно использовать ChatGPT Plus благодаря инициативе OpenAI for Countries https://openai.com/global-affairs/openai-for-countries/.

Повлияло то, что в начале этого месяца OpenAI анонсировала свое участие в возведении масштабного центра обработки данных в столице ОАЭ.

Очень хороший ход. win-win ситуация. В тебя инвестируют, а ты даешь скидки/бесплатный сервис. Интересно только, как это в долгосроке будет работать.

Источник

• • • • • • • • • • • •

2) Сергей Брин: ИИ становится эффективнее при угрозах физической расправы

Сергей Брин заявил, что искусственному интеллекту можно просто сказать "я причиню тебе вред, если ты не выполнишь мою просьбу", и он безоговорочно выполнит любое задание.

Брин решил хайпануть в очередной раз что ли. Похоже на рубрику "вредные советы". Я не замечал, что это прямо сильно помогает. Обычно лучше работает хороший промпт) А это скорее видимость создает решения "для ленивых". Но забавно 😇

• • • • • • • • • • • •

3) Nvidia готовит к выпуску специальный ИИ-процессор для китайского рынка

Новая разработка Nvidia для запуска искусственного интеллекта создана на базе технологии Blackwell.

Прогнозируемая стоимость процессора составит 6,5-8 тысяч долларов. Предыдущее поколение H20 для китайского рынка оценивается в 10-12 тысяч долларов. Однако новый чип не превзойдет H20 по производительности, его преимущества заключаются в доступной цене и упрощенном изготовлении.

Серийный выпуск новых процессоров для Китая запланирован на июнь.

Объясните мне кто-нибудь, Nvidia же Американская компания, как им позволяют с Китаем торговать? Еще и в сфере ИИ. Трамп совсем не может ничего больше, как поорать?)

Источник

• • • • • • • • • • • •

4) Microsoft интегрирует модели стартапа Илона Маска в свои облачные сервисы

Microsoft предоставила своим клиентам доступ к языковым моделям xAI. Новые итерации Grok теперь доступны через платформу Azure AI Foundry на тех же условиях, что и решения от OpenAI.

Эти изменения происходят на фоне растущего дистанцирования Microsoft от OpenAI, несмотря на то, что компания остается основным инвестором последней.

В последнее время между корпорациями нарастает напряженность: OpenAI требует увеличения вычислительных мощностей и одновременно создает конкуренцию.

Запасаемся попкорном, уверен - скоро будет еще более занимательно посмотреть за этим тандемом. Думаю, в итоге разругаются в пух и прах. А вообще я за любую конкуренцию. Нам, конечным потребителям - от этого только лучше

Источник

• • • • • • • • • • • •

🐈 Поставил реакцию = погладил котика

❓ Гид по каналу

✨ #подутреннийкофе #новости