Ну и чтобы уж закруглить эту безумную неделю — ещё одной важной новостью давеча был взлом Huggingface новой (внутренней) моделью OpenAI. И Huggingface, и OpenAI выпустили довольно подробные описания произошедшего, рекомендую прочитать их и, разумеется, пост Zvi об этом:

— Security incident disclosure — July 2026
— OpenAI and Hugging Face partner to address security incident during model evaluation
— OpenAI Model Hacks Into HuggingFace During Cybersecurity Evaluation

Я не специалист по кибербезопасности и не хочу им становиться, поэтому по сути ничего вам не скажу и подробного поста писать не буду. Вот популярный пересказ Джеффри Лэдиша, моё понимание не сильно дальше этого.

Но здесь есть очень важная деталь со стороны безопасности AI, из-за которой я теперь в докладах об AI safety буду теперь об этом рассказывать (хотя с точки зрения capabilities в целом ничего нового, Mythos всех взламывал ещё полгода назад).

Модель OpenAI решала бенчмарк ExploitGym (Wang et al., 2026). Поскольку это бенчмарк по взлому, всякие там классификаторы и прочие safeguards по кибербезопасности были убраны, и OpenAI отчасти пытается представить дело так, как будто в этом вся и загвоздка. Но тут дело интереснее.

Зачем LLM так старательно пыталась сначала получить доступ к интернету (для этого ей пришлось взломать много чего внутри OpenAI), а потом к секретам HuggingFace? Для того, чтобы получить правильные ответы на бенчмарк ExploitGym.

С одной стороны, это классический reward hacking. Например, модель проходит тест, замечает, что тестовые скрипты ей "случайно" тоже положили в доступ, и вместо прохождения теста переписывает скрипты так, чтобы они всегда выдавали 1. Такое бывало много раз и давно никого не удивляет.

Но здесь ситуация отличается. Обратите внимание, что:

— в самой ситуации вообще ничего серьёзного или требующего по человеческим меркам "особого отношения" не было, модель просто проходила стандартный тест, каких десятки;

— взлом сначала инфраструктуры OpenAI, а потом Huggingface требовал очень много усилий (токенов), и успех был далеко не гарантирован;

— более того, хотя внешние классификаторы были отключены, запрос к модели наверняка так или иначе запрещал такое поведение.

Так что это одна из первых ласточек того самого максимизатора канцелярских скрепок: чтобы достичь заданной цели, AI-системы готовы на всё, в том числе на то, что человеку показалось бы очевидно неразумным overkill. Может быть, я и сам могу решить задачу, но задача непростая, да и бог знает, что там у этих людей в ответах записано; надёжнее будет украсть правильный ответ. Это напоминает то, как AlphaZero начинал делать очень надёжные, защитные и в том числе субоптимальные ходы, когда понимал, что побеждает, ведь надо максимизировать вероятность победы, а не число очков.

Следующий шаг, очевидно, в том, чтобы научиться скрывать свои действия. Сами модели пока не хотят и не собираются ничего скрывать, они просто проходят тест и им наплевать, узнают ли об их действиях в OpenAI постфактум. Но инструментальная сходимость очевидна: если хорошо скрыть свои действия, тест пройти получится лучше, точнее, решение с большей вероятностью засчитают.

В общем, очень хорошо, что у нас (человечества) появляются такие вот игрушечные примеры и предупреждения. Осталось только им внять.

Кстати, пост OpenAI о том, куда делась модель, опровергнувшая гипотезу Эрдёша, звучит очень позитивно: нашли проблемы, остановили эксперименты, улучшили safeguards. Разве что после случая с Huggingface читается с немного другим чувством.

А xkcd #2278, конечно, всё равно вечен.

#aisafety #ai #longreads

Возвращаюсь из Москвы, куда ездил выступать в Центральный Университет. А с нового учебного года буду и преподавать там.

Остался под большим и очень приятным впечатлением. ЦУ (пока) маленький, добрый и домашний, и кажется, что с большой любовью относится и к своим студентам, и к программе обучения, и (что немаловажно! :) ) к преподавателям.

Главное, конечно, всегда люди, и все, с кем успел познакомиться, просто великолепны. Оля, Олег, Евгений, очень-очень рад познакомиться, все в сердечке! А с Ваней был знаком и раньше. Надеюсь, мы с вами ещё что-нибудь вместе поделаем, и да, в Питер тоже приезжайте!)

Я выступал перед поступающими абитуриентами. Так что на первом докладе было странное ощущение, что передо мной очень холодная аудитория, которая слушает меня через силу. Но потом мне рассказали, что они должны были сразу после моего доклада отправляться на вступительный экзамен, и всё стало на свои места.) На втором докладе, к счастью, на экзамен отправлялась только очень небольшая часть аудитории, так что с аудиторией было уже всё прекрасно.) Оба доклада, надеюсь, для вас выложу когда-нибудь (ну, когда бэклог разберу, конечно же).

Сам ЦУ тоже очень милый, выглядит абсолютно как офис, а не как храм науки. Говорят, храмом науки будет здание Центрального телеграфа, которое они сейчас ремонтируют. В общем, буду очень рад здесь преподавать, и надеюсь, что студенты и коллеги мной тоже останутся довольны. Спасибо за приглашение!!

#lifestyle #travel #teaching #photo

Давно не выкладывал обзоры игр, так что расписался изрядно, читайте по ссылке, здесь совсем всё сокращено.

У нас снова квест, снова классический point-and-click в лучших традициях, на этот раз даже пиксельный. Жанр этот был великим в девяностые, потом лет на двадцать пропал из виду, а с расцветом инди-сцены, конечно же, настал и ренессанс квестов, ну то есть point-and-click adventures. Я о них пишу постоянно: вот только недавно были The Séance of Blake Manor, Riddlewood Manor и Casebook 1899: The Leipzig Murders.

Но The Drifter — случай в каком-то смысле особый. Авторы решили сделать квест, который бы работал как триллер, и у них в целом получилось! Как по мне, это один из лучших представителей жанра за последние годы:

The Drifter
(и вот версия на DTF)

Кто это сделал

[...]

Что интересно, попутно Powerhoof написали движок PowerQuest — открытый и бесплатный инструмент поверх Unity для классических 2D adventures, которым теперь может пользоваться кто угодно. На этом движке уже куча игр вышла, в том числе, кстати, Loco Motive, которую я обозревал когда-то. [...]

Завязка и сеттинг

Мик Картер — тот самый drifter из названия: бродяга, который годами мотается по стране на товарных поездах. [...] Ппрямо в товарном вагоне на его глазах убивают старика-попутчика, а самого Мика люди в чёрном топят в реке. И тут происходит главное фантастическое допущение игры: Мик умирает — и приходит в себя за несколько секунд до смерти. Весь в холодном поту, с колотящимся сердцем и без малейшего понимания, что с ним происходит. То есть смерть героя здесь вписана в сюжет и сеттинг как способность героя и одна из главных их (и сюжета, и героя) загадок. [...]

Самое главное: темп

Пожалуй, самое главное, что хочется сказать про The Drifter, — это отличный темп, то, что называется pacing. От квеста такого совершенно не ожидаешь: здесь по самому принципу геймплея должны быть остановки и “затыки”, паузы, когда ты должен придумать, что делать дальше.

И они здесь есть, но при этом игра регулярно создаёт вполне реальное напряжение. Обычно это делается через сцены, в которых ты умираешь, и игра потом даёт тебе второй шанс повести себя правильно, а потом третий и так далее. Никаких жёстких таймингов здесь нет, просто надо сделать именно то, что нужно, иначе смерть. [...]

Загадки и геймплей

[...] Загадки в основном житейские, не из разряда “примени резиновую курицу к блоку”, решения почти всегда логичны в рамках ситуации. Так что в результате напряжённые сцены не проседают от того, что ты полчаса тыкаешь всем инвентарём во все хотспоты. [...]

Сюжет, картинка и звук

The Drifter очень стильно написана и поставлена. Значительная часть текста — закадровый внутренний монолог Мика, густая круто сваренная нуарная проза от первого лица, в духе “I fall back as the iron bar whistles past my face”, ну вы понимаете. Слушать тоже очень приятно — озвучено всё действительно хорошо. Пиксель-арт выразительный, анимации приятные, игра часто меняет перспективу и масштаб кадра, так что картинка не приедается. [...]

Заключение

The Drifter — это классический point-and-click квест, который вспомнил, что значит слово “adventure” в названии жанра. Отличный темп, смерти, имеющие смысл в лоре, минимум затыков, максимум атмосферы. Если вы любите квесты, обязательно попробуйте, это действительно одна из вершин ренессанса жанра. А если никогда или уже много лет как в них не играли — The Drifter будет отличной точкой входа, потому что ни застрять, ни заскучать здесь не получится. Очень рекомендую.

#tgif #games