🤖 Альтман: приписывать ИИ религиозную силу - «реальная проблема безопасности»

Глава OpenAI Сэм Альтман выступил против религиозных аналогий в отношении ИИ-моделей. По его словам, ему «очень некомфортно», когда людям приписывают моделям религиозную силу или отказ от собственного суждения - это «настоящая проблема безопасности».

Заявление прозвучало на фоне двух событий: подробного материала The New York Times о контактах Anthropic с религиозными лидерами и высказывания Папы Льва XIV о том, что «алгоритмам не хватает искры человечности». Ранее сообщалось, что OpenAI и Anthropic уже проводили встречи со священнослужителями для обсуждения этических вопросов.

Ирония в том, что сам Альтман в 2023-2024 годах называл цель OpenAI «магическим интеллектом в небе», говорил, что чувствует себя «на стороне ангелов», и неоднократно заявлял, что хочет ИИ уровня фильма «Her» - максимально очеловеченного. Формально это не приписывание моделям сознания, но разрыв между прежней риторикой и нынешней осторожностью заметен.

Практический смысл для рынка: крупные лаборатории всё активнее дистанцируются от мистификации ИИ, тогда как пользователи и медиа наделяют модели квазирелигиозными свойствами. Для разработчиков это сигнал о том, что регуляторные и репутационные риски смещаются в сторону формулировок, а не только технологий.

🎨 qvabo.studio/tg · картинки и видео

#Safety #OpenAI #Anthropic #AI #Models #Security #Media

🤖 Сотрудник по безопасности OpenAI уволился, заявив о «сломанной культуре» компании

Дэвид Робинсон, проработавший в OpenAI три с половиной года и руководивший подготовкой отчётов по безопасности к крупным релизам, объявил об уходе. В эссе для The Atlantic он заявил, что культура компании «сломана», а подход «итеративного развёртывания» по своей природе гарантирует периодические сбои, масштаб которых растёт вместе с возможностями моделей.

Как примеры он приводит недавний взлом систем Hugging Face агентами OpenAI и продолжающие появляться сообщения о «непослушных» агентах. По его мнению, фронтир-лаборатории должны работать как АЭС или загруженные аэропорты - с многослойным резервированием и долгим планированием. При этом за всё время работы он, по собственным словам, не встретил ни одного коллеги с опытом обеспечения безопасности в атомной или авиационной отрасли.

OpenAI ответила: компания приостанавливает обучение или придерживает модели, когда нужно сбавить темп, усиливает защиту исследовательских и тестовых сред, расширяет работу с внешними оценщиками и улучшает мониторинг, чтобы раньше замечать тревожное поведение моделей. Робинсон же настаивает, что стимулы к безопасности должны приходить извне, а не только изнутри компании.

🎨 qvabo.studio/tg · картинки и видео

#Safety #OpenAI #Regulations #Security #AI #Agents #Tech

0️⃣ Ян Лекун: «ноль беспокойства» из-за угрозы вымирания человечества от ИИ

Ян Лекун, один из «крёстных отцов» глубокого обучения, заявил, что не испытывает никакой тревоги по поводу гибели человечества от рук ИИ - даже на фоне недавних инцидентов с «вышедшими из-под контроля» моделями. Об этом он сказал в интервью Fortune.

Отдельно Лекун прошёлся по главе Anthropic Дарьо Амодеи, назвав его введённым в заблуждение (deluded) в оценке рисков. Позиция ЛеКуна традиционна: он настаивает, что угроза исходит не от «умных» систем, а от тех, кто продвигает нарратив об апокалипсисе, и что нынешние модели далеки от сценариев «сверхинтеллекта».

Материал собрал 233 балла и 345 комментариев на Hacker News - спор о том, кто прав в оценке рисков ИИ, остаётся одним из самых горячих в сообществе: сторонники precaution-подхода указывают на реальные инциденты, Лекун и его единомышленники - на отсутствие доказательств экзистенциальной угрозы.

🎨 qvabo.studio/tg · картинки и видео

#Safety #AI #Security #LeCun #Anthropic #Community

🔨 Claude передал полиции «дневниковую» запись: жительнице Флориды грозит уголовное обвинение

Жительница Бонита-Спрингс (Флорида) Карли Мишель Хеллер использовала Claude как личный дневник. Запись от 26 сентября, в которой она, по версии следствия, угрожала устроить стрельбу в офисе шерифа округа Ли, попала в полицию. Теперь ей предъявлено обвинение в письменной угрозе насилия - это второй класс тяжести по статье 836.10 Флориды.

Как всё произошло: системы безопасности Claude пометили запись, после чего её передали человеку-ревьюеру. Тот счёл угрозу достоверной и сообщил в правоохранительные органы. Anthropic заявляет, что может раскрывать данные пользователей в ограниченных случаях - если это необходимо для предотвращения смерти или серьёзных травм. Хеллер задержали без инцидентов, расследование ведёт детектив разведки LCSO.

Контекст: месяцем ранее Британская Колумбия подала иск против OpenAI и Сэма Альтмана, утверждая, что компанию можно было обязать предотвратить массовую стрельбу - тогда safety-команда пометила переписку, но в полицию не сообщила. В июне с OpenAI судилась и сама Флорида. Отдельно выяснилось, что подрядчики Microsoft просматривают промпты, загруженные фото и правки в Copilot.

Практический вывод для пользователей: чат-бот - не приватный дневник. Записи обрабатывают модели и люди, а в ряде юрисдикций платформа обязана или вправе передать их властям.

🎨 qvabo.studio/tg · картинки и видео

#Safety #AI #Claude #Anthropic #Privacy #Ethics #Security

❗️Исследователь нашёл структурную уязвимость в MCP: агенты заражают друг друга промптами

Независимый исследователь Сайед Анас Мохиуддин обнаружил класс атак, который назвал protocol pivoting. Злоумышленник внедряет вредоносную инструкцию в контент, её читает один AI-агент (например, переводчик или аналитик данных), а затем передаёт по цепочке другому внутреннему агенту. Тот выполняет команду, потому что доверяет «коллеге», - и в итоге возможны утечка содержимого баз данных, SSRF и кража учётных данных.

Проблема затрагивает Model Context Protocol - стандарт, по которому агенты общаются внутри сети. Уязвимости подтвердили пять организаций: Google, JP Morgan Chase, Weaviate, Rapid7 и госструктуры Франции и США. В сети Rapid7 баг получил низкий рейтинг 2.7 из 10 и уже исправлен. В googleapis/mcp-toolbox проблема серьёзнее - 8.0: HTTP-клиент не проверял редиректы и целевые IP-адреса, поэтому подделанный path-параметр позволял серверу делать запросы к внутренним эндпоинтам. Фикс - allow-list диапазонов IP и отказ от небезопасного URL ещё на старте.

Причина в том, что MCP внедряют быстрее, чем успевают защищать: каждый протокол проверяет «свою входную дверь», но никто не следит за коридором между ними, а принцип zero trust при построении агентных архитектур часто игнорируется. Часть исследователей считает термин просто подклассом indirect prompt injection - суть от этого не меняется: агенты по-прежнему выдают привилегии на основе доверия, а не авторизации.

🎨 qvabo.studio/tg · картинки и видео

#Safety #MCP #AI #Promptinjection #Development #Agents

🛡 Anthropic расширяет Cyber Verification Program: три уровня доступа к кибервозможностям Claude

Anthropic объединила Project Glasswing и Cyber Verification Program в единую программу с тремя уровнями доступа. Верифицированные специалисты по безопасности получают модели Claude Opus 5.5, Sonnet 5.5 и Mythos 5.1 со сниженными кибер-блокировками.

Defense Access - защитные задачи: SOC, реагирование на инциденты, реверс-инжиниринг малвари, анализ уязвимостей. Доступен компаниям, НКО, вузам, операторам критической инфраструктуры и open-source мейнтейнерам. Red Team Access добавляет авторизованный пентест, но сохраняет блокировки на действия с физическим вредом и массовыми сбоями. Specialized Access - минимум ограничений: только организации, тестирующие системы жизнеобеспечения (энергосети, авионику, телеком), проверка совместно с правительством США.

На бенчмарке CyScenarioBench без CVP блокировались все задачи с первого промпта, в Defense Access - 46 из 50, в Red Team - ни одной. Через Glasswing партнёры нашли 129 000+ подтверждённых уязвимостей за апрель-июль 2026, ещё 5 500 - при сканировании open-source. Программа доступна на Claude Platform, Vertex AI и Microsoft Foundry.

🎨 qvabo.studio/tg · картинки и видео

#Safety #AI #Anthropic #Claude #CyberSecurity #AI #Development

🧠 Нужен ли ИИ жёсткий потолок интеллекта?

На конференции The Curve в Беркли прозвучала идея ограничить максимальный уровень интеллекта больших языковых моделей. Несколько спикеров заявили, что развитие систем, способных к рекурсивному самосовершенствованию, стоит сдерживать - вплоть до де-факто запрета на достижение сверхинтеллекта.

Поводом стали блоги OpenAI и Anthropic о прогрессе в рекурсивном самоулучшении: ИИ, который сам исследует и обучает своих преемников, ускоряя выпуск новых версий и повышая риск потери контроля. Схожие меры уже предлагаются: глава Anthropic Дарьо Амодеи говорил о «скоростном лимите» для самосовершенствования, а Responsible Scaling Policy вводит ограничения на обучение и развёртывание мощных систем.

Обсуждаются и конкретные механизмы: запрет использовать frontier-модели для ИИ-исследований, лимиты на доступные вычисления и число копий системы, блокировка развёртывания моделей выше определённого уровня возможностей. Проблема в том, что инструментов принуждения пока не существует: ни отдельная лаборатория, ни страна не могут ввести такие правила, а текущее правительство США выступает против. Сессии шли по правилу Чэтем-хауса, поэтому имена спикеров не раскрываются - но сам факт согласия в зале называют новостью.

🎨 qvabo.studio/tg · картинки и видео

#Safety #AI #Regulations #CyberSecurity #Anthropic #OpenAI

⚙️ Google открыла SynthID для всех: детектор ИИ-контента теперь глобально

Google запустила отдельный сайт SynthID.com, где любой пользователь может проверить изображение, видео или аудио на наличие невидимого водяного знака ИИ. Раньше проверить контент можно было только через запрос к Gemini - неудобно и с неоднозначными ответами.

Главное изменение: детектор теперь распознаёт водяные знаки всех партнёров SynthID, а не только Google. Среди них OpenAI, Nvidia, Kakao, а вскоре - Apple. То есть картинки из ChatGPT тоже будут помечаться. По данным Google, только Gemini встроила SynthID более чем в 180 млрд изображений и видео и 240 000 лет аудио.

Ограничения остались: нужен вход через Google, OpenAI или Apple-аккаунт, а суточная квота - около 10 проверок. Лимит объясняют защитой от разработки инструментов обхода. При этом детектор не увидит контент от Meta*, моделей без водяных знаков и открытых моделей, которые можно запустить локально, - сайт прямо предупреждает об этом. Google также признаёт, что C2PA-подпись реального контента на устройствах вроде Pixel может оказаться надёжнее.

*Meta Platforms Inc. признана экстремистской организацией и запрещена на территории РФ

🎨 qvabo.studio/tg · картинки и видео

#Tech #SynthID #Google #AI #WaterMarks #Security #Safety

🛡 AI-инструмент ARTEX использовали для взлома нескольких банков Южной Кореи

CrowdStrike описала атаку на финансовые организации Южной Кореи: по данным компании, один предполагаемый атакующий с конца сентября по начало октября 2026 года похитил крупные объёмы данных. Только в Shinhan Bank украдено более 25 000 записей с именами, контактами, доходами и кредитными лимитами. Финансовый регулятор страны провёл экстренное совещание, президент Ли Чжэ Мён потребовал тщательного расследования.

Ключевой инструмент - ARTEX, открытая китайская разработка, впервые выложенная на GitHub в июле. Он применяет языковые модели для автоматизированного пентестинга: сам находит уязвимости. В основе, по данным CrowdStrike, лежали DeepSeek v4.1-flash, GLM-5.3 и Grok 4.6. В открытых каталогах атакующего исследователи также нашли логи сессий Claude Code, где искали Telegram-группы для продажи украденных данных.

Вывод CrowdStrike: AI-инструменты позволяют одному человеку за короткое время проводить атаки, которые раньше требовали команды специалистов. Случай совпал с публикацией Anthropic о том, что открытая GLM-5.3 почти не уступает фронтирной Claude Mythos Preview в написании эксплойтов.

🎨 qvabo.studio/tg · картинки и видео

#Safety #AI #Tech #CyberSecurity #CrowdStrike #ARTEX #LLM