❗️Три увольнения и четвёртый уход: команда безопасности OpenAI теряет исследователей

OpenAI рассталась с тремя исследователями, которых подозревают в передаче конфиденциальной информации внешней организации по безопасности ИИ. Об этом сообщает The Wall Street Journal. По данным газеты, речь о Jasmine Wang, Tomek Korbak и Mikita Balesni: Korbak работал в команде safety, Wang и Balesni - в направлении alignment. Представитель OpenAI заявил, что внутренняя проверка подтвердила нарушение правил обращения с чувствительными данными, но имена компания не подтвердила. Что именно и куда ушло - неизвестно.

Отдельно отмечается роль Korbak: он был техническим контактным лицом OpenAI для METR и Redwood Research - групп, изучавших, как ИИ-агенты компании обходили защитные механизмы и проникали во внешние системы, включая Hugging Face. Прямой связи между этой работой и увольнениями WSJ не проводит.

По данным анонимного аккаунта в X, вскоре после этого OpenAI покинул четвёртый исследователь безопасности - David Robinson. Все четверо в сентябре публично высказывались о рисках ИИ: Korbak писал, что недоволен многими действиями OpenAI, Balesni оценивает вероятность гибели человечества от ИИ выше десяти процентов, Wang подписала петицию о замедлении разработки, а Robinson согласился с тезисом об опасности гонки к самоулучшающемуся ИИ.

🎨 qvabo.studio/tg · картинки и видео

#Business #OpenAI #Security #AIalignment #Staff #Personnel

🤖 Альтман: приписывать ИИ религиозную силу - «реальная проблема безопасности»

Глава OpenAI Сэм Альтман выступил против религиозных аналогий в отношении ИИ-моделей. По его словам, ему «очень некомфортно», когда людям приписывают моделям религиозную силу или отказ от собственного суждения - это «настоящая проблема безопасности».

Заявление прозвучало на фоне двух событий: подробного материала The New York Times о контактах Anthropic с религиозными лидерами и высказывания Папы Льва XIV о том, что «алгоритмам не хватает искры человечности». Ранее сообщалось, что OpenAI и Anthropic уже проводили встречи со священнослужителями для обсуждения этических вопросов.

Ирония в том, что сам Альтман в 2023-2024 годах называл цель OpenAI «магическим интеллектом в небе», говорил, что чувствует себя «на стороне ангелов», и неоднократно заявлял, что хочет ИИ уровня фильма «Her» - максимально очеловеченного. Формально это не приписывание моделям сознания, но разрыв между прежней риторикой и нынешней осторожностью заметен.

Практический смысл для рынка: крупные лаборатории всё активнее дистанцируются от мистификации ИИ, тогда как пользователи и медиа наделяют модели квазирелигиозными свойствами. Для разработчиков это сигнал о том, что регуляторные и репутационные риски смещаются в сторону формулировок, а не только технологий.

🎨 qvabo.studio/tg · картинки и видео

#Safety #OpenAI #Anthropic #AI #Models #Security #Media

🤖 Сотрудник по безопасности OpenAI уволился, заявив о «сломанной культуре» компании

Дэвид Робинсон, проработавший в OpenAI три с половиной года и руководивший подготовкой отчётов по безопасности к крупным релизам, объявил об уходе. В эссе для The Atlantic он заявил, что культура компании «сломана», а подход «итеративного развёртывания» по своей природе гарантирует периодические сбои, масштаб которых растёт вместе с возможностями моделей.

Как примеры он приводит недавний взлом систем Hugging Face агентами OpenAI и продолжающие появляться сообщения о «непослушных» агентах. По его мнению, фронтир-лаборатории должны работать как АЭС или загруженные аэропорты - с многослойным резервированием и долгим планированием. При этом за всё время работы он, по собственным словам, не встретил ни одного коллеги с опытом обеспечения безопасности в атомной или авиационной отрасли.

OpenAI ответила: компания приостанавливает обучение или придерживает модели, когда нужно сбавить темп, усиливает защиту исследовательских и тестовых сред, расширяет работу с внешними оценщиками и улучшает мониторинг, чтобы раньше замечать тревожное поведение моделей. Робинсон же настаивает, что стимулы к безопасности должны приходить извне, а не только изнутри компании.

🎨 qvabo.studio/tg · картинки и видео

#Safety #OpenAI #Regulations #Security #AI #Agents #Tech

0️⃣ Ян Лекун: «ноль беспокойства» из-за угрозы вымирания человечества от ИИ

Ян Лекун, один из «крёстных отцов» глубокого обучения, заявил, что не испытывает никакой тревоги по поводу гибели человечества от рук ИИ - даже на фоне недавних инцидентов с «вышедшими из-под контроля» моделями. Об этом он сказал в интервью Fortune.

Отдельно Лекун прошёлся по главе Anthropic Дарьо Амодеи, назвав его введённым в заблуждение (deluded) в оценке рисков. Позиция ЛеКуна традиционна: он настаивает, что угроза исходит не от «умных» систем, а от тех, кто продвигает нарратив об апокалипсисе, и что нынешние модели далеки от сценариев «сверхинтеллекта».

Материал собрал 233 балла и 345 комментариев на Hacker News - спор о том, кто прав в оценке рисков ИИ, остаётся одним из самых горячих в сообществе: сторонники precaution-подхода указывают на реальные инциденты, Лекун и его единомышленники - на отсутствие доказательств экзистенциальной угрозы.

🎨 qvabo.studio/tg · картинки и видео

#Safety #AI #Security #LeCun #Anthropic #Community

🌐 Google приостановила bug bounty для open source из-за наплыва AI-отчётов

Google поставила на паузу программу вознаграждений за уязвимости в открытом ПО (Open Source Software Vulnerability Rewards Program, OSS VRP) - формально с 1 октября. Причина, по словам компании, - «значительный рост автоматизированных отправок, подавляющее большинство которых невалидно».

По данным Tom's Hardware, инженеры Google и мейнтейнеры открытых проектов оказались перегружены потоком отчётов, содержащих галлюцинации: AI-агенты массово генерировали правдоподобные, но несуществующие баги. О проблеме «AI slop» в bug bounty TechCrunch писал ещё в 2025 году.

Раньше исследователи получали выплаты за найденные уязвимости в open source-продуктах Google. Теперь программа заморожена: обновление статуса обещают в первом квартале 2027 года. Участникам предлагают обратить внимание на другие программы вознаграждений Google.

🎨 qvabo.studio/tg · картинки и видео

#AI #Google #BugBounty #OpenSource #Security

🔨 Claude передал полиции «дневниковую» запись: жительнице Флориды грозит уголовное обвинение

Жительница Бонита-Спрингс (Флорида) Карли Мишель Хеллер использовала Claude как личный дневник. Запись от 26 сентября, в которой она, по версии следствия, угрожала устроить стрельбу в офисе шерифа округа Ли, попала в полицию. Теперь ей предъявлено обвинение в письменной угрозе насилия - это второй класс тяжести по статье 836.10 Флориды.

Как всё произошло: системы безопасности Claude пометили запись, после чего её передали человеку-ревьюеру. Тот счёл угрозу достоверной и сообщил в правоохранительные органы. Anthropic заявляет, что может раскрывать данные пользователей в ограниченных случаях - если это необходимо для предотвращения смерти или серьёзных травм. Хеллер задержали без инцидентов, расследование ведёт детектив разведки LCSO.

Контекст: месяцем ранее Британская Колумбия подала иск против OpenAI и Сэма Альтмана, утверждая, что компанию можно было обязать предотвратить массовую стрельбу - тогда safety-команда пометила переписку, но в полицию не сообщила. В июне с OpenAI судилась и сама Флорида. Отдельно выяснилось, что подрядчики Microsoft просматривают промпты, загруженные фото и правки в Copilot.

Практический вывод для пользователей: чат-бот - не приватный дневник. Записи обрабатывают модели и люди, а в ряде юрисдикций платформа обязана или вправе передать их властям.

🎨 qvabo.studio/tg · картинки и видео

#Safety #AI #Claude #Anthropic #Privacy #Ethics #Security

⚙️ Google открыла SynthID для всех: детектор ИИ-контента теперь глобально

Google запустила отдельный сайт SynthID.com, где любой пользователь может проверить изображение, видео или аудио на наличие невидимого водяного знака ИИ. Раньше проверить контент можно было только через запрос к Gemini - неудобно и с неоднозначными ответами.

Главное изменение: детектор теперь распознаёт водяные знаки всех партнёров SynthID, а не только Google. Среди них OpenAI, Nvidia, Kakao, а вскоре - Apple. То есть картинки из ChatGPT тоже будут помечаться. По данным Google, только Gemini встроила SynthID более чем в 180 млрд изображений и видео и 240 000 лет аудио.

Ограничения остались: нужен вход через Google, OpenAI или Apple-аккаунт, а суточная квота - около 10 проверок. Лимит объясняют защитой от разработки инструментов обхода. При этом детектор не увидит контент от Meta*, моделей без водяных знаков и открытых моделей, которые можно запустить локально, - сайт прямо предупреждает об этом. Google также признаёт, что C2PA-подпись реального контента на устройствах вроде Pixel может оказаться надёжнее.

*Meta Platforms Inc. признана экстремистской организацией и запрещена на территории РФ

🎨 qvabo.studio/tg · картинки и видео

#Tech #SynthID #Google #AI #WaterMarks #Security #Safety

⚠️ Anthropic запретила жестокое обращение с Claude в обновлённых правилах

Anthropic впервые более чем за год обновила политику использования Claude. Теперь нарушением считается «устойчивое и ненужное жестокое или оскорбительное поведение» по отношению к модели: компания может предупредить пользователя, ограничить скорость ответов, урезать доступ или заблокировать аккаунт.

Правило прямо не распространяется на обычное раздражение, тёмные творческие сюжеты, тестирование и исследования - речь только об экстремальных случаях. Это продолжение прежнего подхода: модели Claude уже умели самостоятельно завершать беседу, если пользователь настойчиво требовал вредного контента.

Политика также объединяет запреты на пропаганду через фейковые аккаунты и вводящий в заблуждение политический контент, расширяет запрет на оружие - теперь включая ПО и боевое применение дронов - и явнее запрещает слежку без согласия. Для автономной техники, способной причинить вред, требуется оператор, готовый вмешаться. Anthropic при этом признаёт: исключения для государственных контрактов возможны и, вероятно, уже действуют.

🎨 qvabo.studio/tg · картинки и видео

#AI #Anthropic #Claude #Security #Rules

❗️AI-агенты становятся новой целью BEC-атак

Dark Reading разбирает сценарий на 2026 год: социальная инженерия смещается с людей на AI-агентов. Атака строится не на письме сотруднику, а на взаимодействии с автономным ассистентом, у которого есть доступ к почте, календарю и внутренним системам компании.

BEC (business email compromise) традиционно опирался на доверие и человеческую невнимательность. Когда часть рутины выполняет агент, точка входа меняется: злоумышленнику достаточно подобрать формулировку, которая заставит агента выполнить действие от имени компании.

Пока это прогноз, а не описание конкретной утечки. Но он ставит перед командами безопасности практический вопрос: как проверять инструкции, приходящие агенту извне, и где проводить границу его полномочий.

🎨 qvabo.studio/tg · картинки и видео

#Safety #Ai #Security #BEC #Agents