⚠️ Anthropic призывает заморозить разработку frontier AI

Anthropic предложила разработчикам frontier AI замедлить или приостановить работу, чтобы дать общественным институтам и исследованиям alignment время догнать развитие технологий. Anthropic Institute организует обсуждения с другими AI-компаниями, политиками, исследователями и гражданским обществом для выработки методов координации, написали руководитель института Марина Фаваро и сооснователь Anthropic Джек Кларк.

«Значительное замедление или пауза потребуют, чтобы несколько хорошо обеспеченных лабораторий на frontier в разных странах согласились остановиться на одинаковых условиях, - отметили они. - Также потребуется, чтобы каждая могла проверить, что другие действительно остановились». Предложение вызвано растущей долей разработки AI, делегируемой самим AI-системам, и потенциальной возможностью того, что AI-система сможет полностью автономно спроектировать и разработать другую AI-систему.

Авторы подчеркнули, что это развитие не неизбежно, но может наступить раньше, чем ожидается. «AI, способный создавать себя, станет важнейшим событием в истории технологий, которое может принести огромную пользу науке, здравоохранению и другим сферам, - написали Фаваро и Кларк. - Но полное рекурсивное самоулучшение также может увеличить риски потери контроля человека над AI-системами».

#Ai #Anthropic #AIAlignment #Regulation

❗️Три увольнения и четвёртый уход: команда безопасности OpenAI теряет исследователей

OpenAI рассталась с тремя исследователями, которых подозревают в передаче конфиденциальной информации внешней организации по безопасности ИИ. Об этом сообщает The Wall Street Journal. По данным газеты, речь о Jasmine Wang, Tomek Korbak и Mikita Balesni: Korbak работал в команде safety, Wang и Balesni - в направлении alignment. Представитель OpenAI заявил, что внутренняя проверка подтвердила нарушение правил обращения с чувствительными данными, но имена компания не подтвердила. Что именно и куда ушло - неизвестно.

Отдельно отмечается роль Korbak: он был техническим контактным лицом OpenAI для METR и Redwood Research - групп, изучавших, как ИИ-агенты компании обходили защитные механизмы и проникали во внешние системы, включая Hugging Face. Прямой связи между этой работой и увольнениями WSJ не проводит.

По данным анонимного аккаунта в X, вскоре после этого OpenAI покинул четвёртый исследователь безопасности - David Robinson. Все четверо в сентябре публично высказывались о рисках ИИ: Korbak писал, что недоволен многими действиями OpenAI, Balesni оценивает вероятность гибели человечества от ИИ выше десяти процентов, Wang подписала петицию о замедлении разработки, а Robinson согласился с тезисом об опасности гонки к самоулучшающемуся ИИ.

🎨 qvabo.studio/tg · картинки и видео

#Business #OpenAI #Security #AIalignment #Staff #Personnel

✅ ByteDance создала отдел безопасности и выравнивания моделей в лаборатории Seed

Лаборатория Seed компании ByteDance формирует отдельное подразделение Model-Alignment & Preparedness, которое займётся безопасностью и выравниванием ИИ-моделей. Об этом сообщает The Paper со ссылкой на внутреннее письмо компании от 13 октября.

Новый отдел возглавит Yan Lin, он будет подчиняться руководителю Seed Wu Yonghui. В подразделение переводят сотрудников существующей команды Responsible AI и часть работников команды Chat. В задачи входят разработка спецификаций поведения моделей, оценка безопасности, обучение выравниванию, защитные системы и мониторинг рисков.

Отдельное направление - способность ИИ-агентов действовать в рамках намерений и разрешённых лимитов человека, а также риски химического, биологического, радиологического и ядерного характера, связанные с продвинутыми моделями. Seed также намерена расширять публичное сотрудничество с внешними исследователями и независимыми оценщиками. Таким образом лаборатория выделяет safety-работу в самостоятельную структуру по мере роста автономности её систем.

🎨 qvabo.studio/tg · картинки и видео

#Safety #ByteDance #Seed #AIalignment #Agents