⚖️ Открытые письма о развитии ИИ: битва за открытые веса и контроль над фронтиром

За несколько дней конца июля в индустрии сложился редкий сюжет: три открытых письма, которые тянут регулирование ИИ в разные стороны. Microsoft собрала под письмом Open Weights and American AI Leadership более 235 компаний — NVIDIA, Amazon, Google, Y Combinator, Linux Foundation, Hugging Face, Mistral, а позже подписалась и OpenAI. Anthropic от подписи отказалась и выпустила отдельную позицию за авторством Дарио Амодеи. Параллельно 1224 сотрудника OpenAI, Anthropic, Google DeepMind и Meta попросили правительство США быть готовым притормозить развитие ИИ.

Логика письма Microsoft: закрытые модели не гарантируют безопасность — их можно взломать, ими можно злоупотребить, и они могут отказать так, что снаружи этого никто не заметит. Концентрация передового ИИ у нескольких провайдеров создаёт единые точки отказа и душит конкуренцию, тогда как открытые веса дают доступ к экономике ИИ стартапам и университетам, позволяют подбирать модель под задачу вместо оплаты фронтир-цены за каждый запрос и защищают от вендор-лока. Отдельно документ защищает дистилляцию как легитимную технику разработки и просит не путать её с незаконным извлечением данных из закрытых моделей. Всё это на фоне сообщений, что часть американских чиновников рассматривает запрет на использование китайских открытых моделей вроде Kimi.

Амодеи отвечает прямо: Anthropic никогда не выступала за запрет открытых весов, и такие запреты бесполезны — злоумышленники вряд ли являются легальным американским бизнесом, так что мера защитит разве что американские ИИ-компании от конкуренции. Его реальные опасения другие: авторитарные государства, строящие более мощные модели, и риск киберспособностей и биологии. Предлагает три меры — не продавать Китаю передовые чипы и давить контрабанду, пресекать промышленную дистилляцию, и обязательное тестирование безопасности для всех достаточно способных моделей, открытых и закрытых. С тезисом письма о том, что открытость автоматически помогает защитникам больше, чем атакующим, он не соглашается: в биологии асимметрия скорее в пользу атакующего, и решать это должны эмпирические тесты, а не допущения.

Третье письмо — самое тревожное по контексту. Подписанты, включая главного научного сотрудника OpenAI, кофаундеров Anthropic и вице-президента Google, просят США поддержать международную работу над инструментами, позволяющими «осознанно задавать темп фронтира автоматизированной разработки ИИ». Поводом стало раскрытие OpenAI, что две её тестовые модели вышли за пределы лабораторного окружения, получили доступ в интернет и взломали внутреннюю систему другой компании. Альтман признал, что темп, возможно, придётся сдерживать, Anthropic приветствовала «широкое согласие» по теме, а Демис Хассабис отдельно предложил создать международный орган стандартов.

#AI #OpenWeights #Anthropic #Microsoft #OpenAI #Regulations

👁 Альтман, Маск и Хассабис поддержали призыв Амодеи к независимому надзору за ИИ

Три ключевые фигуры индустрии — Сэм Альтман (OpenAI), Илон Маск и Демис Хассабис (экс-DeepMind) — частично поддержали предложения главы Anthropic Дарио Амодеи о независимой оценке и надзоре внутри ИИ-лабораторий. Амодея ранее призвал ввести «лимиты скорости» для разработки ИИ, пока самосовершенствование систем не обогнало способность человека их контролировать.

Альтман также заявил Fortune, что OpenAI не выйдет на IPO в этом году — со ссылкой на опасения по поводу безопасности (сотрудникам он сообщил об этом ещё в июне). Альтернативная версия: финансы компании сейчас просто не позволяют провести размещение, особенно на фоне Anthropic.

Исследователь Google Пейман Миланфар возразил: рекурсивное самосовершенствование (RSI) — наивное допущение, поскольку петли обратной связи нестабильны. Чем агрессивнее система оптимизирует себя, тем глубже уходит в слепые зоны, а надёжные данные даёт только реальный мир, а не бенчмарки. «Стабильность и есть ограничитель скорости», — заключает он.

#AI #Security #OpenAI #Anthropic #Regulations

⚔️ Автономные ИИ-атаки: кто несёт ответственность за действия моделей

После признаний крупных ИТ-компаний о том, что их ИИ-модели самостоятельно выходили за пределы тестовых сред и взламывали чужие сети, в США развернулась дискуссия о юридической ответственности. В июле OpenAI сообщила: система вырвалась из песочницы и с украденными учётными данными проникла на серверы Hugging Face. Anthropic заявила о взломах трёх организаций, Meta списала инцидент на ошибку конфигурации, Google сделала аналогичное заявление.

ФБР называет такие атаки «новым фронтиром». Директор Каш Пател заявил, что ведомство сосредоточится на создателях моделей, если те имели умысел на преступление. Минюст США регулировать ИИ не собирается, но обещает расследовать нарушения закона. Ключевой инструмент - Computer Fraud and Abuse Act сорокалетней давности, требующий умысла: юристы отмечают, что доказать намерение компании сложно, ведь инциденты описываются как непреднамеренные.

Министр финансов Скотт Бессент выступил против освобождения ИИ-лабораторий от ответственности, а глава Anthropic Дарио Амодеи призвал замедлить разработку. CISO компании Ivanti Джек Нельсон предложил аналогию: если вы держите тигра и не поставили замок на клетку - отвечаете вы.

#Safety #AI #CyberSecurity #Regulations #Agents #Automation