Письмо за разблокировку Mythos уже собрало больше 400 подписей тяжеловесов из мира безопасности, а Cisco, AWS и JPMorgan доступ, оказывается, и не теряли. От Anthropic Белый дом тем временем требует сделать Fable 5 невзламываемым на 100%.
Звучит как фантастика, и реддит немедленно вспомнил Theranos: красивая презентация, ноль клинических данных, нет одобрения FDA. По сути это ultrasound tomography, метод не новый и родом из Caltech. Но если кто на этой неделе и заслужил уважительное "ну и наглость же", то это компания, что от генерации артов шагнула к просвечиванию людей звуком.
Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.
#галлюцинации_недели
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍15❤8🔥4🐳1
В первой части я вывел правило: стабильное в начало, изменчивое в хвост, один символ в системном промпте обнуляет весь кэш. Правило рабочее, я сам собираю агента вокруг него. Но жить по закону, которого не понимаешь, неуютно. Почему именно один символ?
Полез в исходники vLLM, чтобы увидеть байтовую причину. Выяснилось, что кэшируется не текст промпта и не ответ, а key/value-тензоры каждого токена, его внутреннее представление внутри модели. И тензор токена зависит от всего, что стоит левее: это причинное внимание, прошлое впечатано в представление. Значит, переиспользовать посчитанное можно, только если весь префикс совпадает дословно. Не "похож", а идентичен до символа.
Дальше самое красивое. vLLM хранит тензоры блоками и сцепляет их хэш-цепочкой ровно как git: хэш блока включает в себя хэш родителя. Меняешь один токен в начале, у его блока уже другой хэш. А он был родителем для следующего блока, значит, едет и следующий, и так до конца цепочки. Один символ не "немного портит" кэш, он переписывает идентификаторы всех блоков после себя, и ни один из них больше не находится. Я лез за хитрой GPU-магией, а нашёл то, что проходят на втором курсе.
Отсюда вся симметрия. Хрупкость и сила кэша это одно свойство, увиденное с двух сторон. Тензоры намертво сцеплены с префиксом, поэтому общий префикс можно пропустить целиком (сила), и поэтому же одного токена хватает, чтобы обрушить всё после него (хрупкость). Одна причина, два следствия.
А вот нюанс, который перевернул мне картинку сильнее всего. Кэш индексируется по содержимому, а не по разговору. Если другой пользователь пришёл с тем же системным промптом, его запрос попадёт в блоки, которые посчитал ты. Кэш не твой. И раз попадание быстрее промаха, по латенси своего запроса можно судить, что лежало в кэше до тебя. Готовый timing side-channel.
Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7🔥7❤5🌚1
Пока все спорили про большие модели, OpenAI спустилась этажом ниже и собрала инференс-чип Jalapeño вместе с Broadcom, а самый большой аудит судей-LLM напомнил, что мерить всё это мы толком не умеем.
Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.
#галлюцинации_недели
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6👍4🔥4💯2
Я построил агентный пайплайн, чтобы разобрать конференцию, которая сама оказалась про то, как строить агентов.
AI Engineer World's Fair это годовой срез прикладной AI-инженерии: 560 сессий за несколько дней, инженеры, которые строят продукты на моделях, а не обучают их. Посмотреть это глазами нереально, поэтому я стянул расписание, субтитры и метаданные YouTube и прогнал каждую доступную запись через саммаризацию.
Почти в каждом докладе всплывала одна и та же мысль: узкое место переехало. Ещё пару лет назад всё решал вопрос "когда модель поумнеет". Сейчас модели достаточно хороши, чтобы доверить им почти всё, и ломается уже не интеллект, а среда вокруг него: как дать инструменты, где поставить границы, как записать каждый шаг, как повторить падение. Конференция была не про модель, а про harness.
Два тезиса зацепили сильнее всего.
Это навигатор по доступной части, а не приговор всей конференции. Всё, что собрал (русские саммари, тематическая карта, таймкоды), лежит в репо на GitHub. А здесь удобный SPA для изучения докладов. Велком.
Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11🔥9❤4👌1
Anthropic продаёт фарме лопаты и сама берётся копать: Claude Science для учёных плюс собственные лекарства от забытых болезней. А в топ-5 OpenRouter два месяца тихо держалась LongCat 2.0 под именем Owl Alpha, за ней стоял доставщик еды, обучивший её на китайских чипах в обход Nvidia.
Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.
#галлюцинации_недели
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7👍7🔥6🎉1
Fable 5 третий раз подряд двигает дедлайн по подписке, теперь аж до 19 июля, под давлением чужих релизов. А новую голосовую GPT-Live презентует не Сэм Альтман со сцены, а бабушки: в релизном ролике они сами зачитывают анонс полнодуплексной модели, перебивают её на полуслове и торгуются с ней по-французски.
Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.
#галлюцинации_недели
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8❤7👍7