В первой части я вывел правило: стабильное в начало, изменчивое в хвост, один символ в системном промпте обнуляет весь кэш. Правило рабочее, я сам собираю агента вокруг него. Но жить по закону, которого не понимаешь, неуютно. Почему именно один символ?
Полез в исходники vLLM, чтобы увидеть байтовую причину. Выяснилось, что кэшируется не текст промпта и не ответ, а key/value-тензоры каждого токена, его внутреннее представление внутри модели. И тензор токена зависит от всего, что стоит левее: это причинное внимание, прошлое впечатано в представление. Значит, переиспользовать посчитанное можно, только если весь префикс совпадает дословно. Не "похож", а идентичен до символа.
Дальше самое красивое. vLLM хранит тензоры блоками и сцепляет их хэш-цепочкой ровно как git: хэш блока включает в себя хэш родителя. Меняешь один токен в начале, у его блока уже другой хэш. А он был родителем для следующего блока, значит, едет и следующий, и так до конца цепочки. Один символ не "немного портит" кэш, он переписывает идентификаторы всех блоков после себя, и ни один из них больше не находится. Я лез за хитрой GPU-магией, а нашёл то, что проходят на втором курсе.
Отсюда вся симметрия. Хрупкость и сила кэша это одно свойство, увиденное с двух сторон. Тензоры намертво сцеплены с префиксом, поэтому общий префикс можно пропустить целиком (сила), и поэтому же одного токена хватает, чтобы обрушить всё после него (хрупкость). Одна причина, два следствия.
А вот нюанс, который перевернул мне картинку сильнее всего. Кэш индексируется по содержимому, а не по разговору. Если другой пользователь пришёл с тем же системным промптом, его запрос попадёт в блоки, которые посчитал ты. Кэш не твой. И раз попадание быстрее промаха, по латенси своего запроса можно судить, что лежало в кэше до тебя. Готовый timing side-channel.
Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7🔥7❤5🌚1
Пока все спорили про большие модели, OpenAI спустилась этажом ниже и собрала инференс-чип Jalapeño вместе с Broadcom, а самый большой аудит судей-LLM напомнил, что мерить всё это мы толком не умеем.
Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.
#галлюцинации_недели
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6👍4🔥4💯2
Я построил агентный пайплайн, чтобы разобрать конференцию, которая сама оказалась про то, как строить агентов.
AI Engineer World's Fair это годовой срез прикладной AI-инженерии: 560 сессий за несколько дней, инженеры, которые строят продукты на моделях, а не обучают их. Посмотреть это глазами нереально, поэтому я стянул расписание, субтитры и метаданные YouTube и прогнал каждую доступную запись через саммаризацию.
Почти в каждом докладе всплывала одна и та же мысль: узкое место переехало. Ещё пару лет назад всё решал вопрос "когда модель поумнеет". Сейчас модели достаточно хороши, чтобы доверить им почти всё, и ломается уже не интеллект, а среда вокруг него: как дать инструменты, где поставить границы, как записать каждый шаг, как повторить падение. Конференция была не про модель, а про harness.
Два тезиса зацепили сильнее всего.
Это навигатор по доступной части, а не приговор всей конференции. Всё, что собрал (русские саммари, тематическая карта, таймкоды), лежит в репо на GitHub. А здесь удобный SPA для изучения докладов. Велком.
Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11🔥9❤4👌1
Anthropic продаёт фарме лопаты и сама берётся копать: Claude Science для учёных плюс собственные лекарства от забытых болезней. А в топ-5 OpenRouter два месяца тихо держалась LongCat 2.0 под именем Owl Alpha, за ней стоял доставщик еды, обучивший её на китайских чипах в обход Nvidia.
Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.
#галлюцинации_недели
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7👍7🔥6🎉1
Fable 5 третий раз подряд двигает дедлайн по подписке, теперь аж до 19 июля, под давлением чужих релизов. А новую голосовую GPT-Live презентует не Сэм Альтман со сцены, а бабушки: в релизном ролике они сами зачитывают анонс полнодуплексной модели, перебивают её на полуслове и торгуются с ней по-французски.
Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.
#галлюцинации_недели
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8❤7👍7
Please open Telegram to view this post
VIEW IN TELEGRAM
👍13❤10🔥6🎅1
Please open Telegram to view this post
VIEW IN TELEGRAM
👍10🔥5❤4👌1
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12🔥9❤7🐳1
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14❤6🔥5😱1
Please open Telegram to view this post
VIEW IN TELEGRAM
❤12👍11🔥8🤝3😱1
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍19🔥10❤7
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12❤6🔥6⚡1