NVIDIA закрывает Computex тремя релизами, Microsoft показывает сразу семь моделей MAI, а серия Opus развивается по-своему: 4.7 ленился, 4.8 врёт, 4.9 будет просить на додеп.
Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.
#галлюцинации_недели
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9❤6👍4👌1
Почти любая сломанная оптимизация о себе сообщает: падает тест, краснеет лог. Кэш промпта молчит. Он просто перестаёт срабатывать, и единственное, что меняется, это счёт в конце месяца и пара лишних секунд на каждый ответ.
Сильнее всего это бьёт по агентам. Модель ничего не помнит между ходами, поэтому обвязка каждый раз шлёт ей весь контекст заново: системный промпт, инструменты, всю историю. У Manus отношение входных токенов к выходным держится около 100 к 1, и почти вся эта сотня повторяется ход за ходом. Кэш решает ровно эту проблему: чтение уже виденного префикса стоит примерно десятую часть цены обычного входного токена у всех трёх крупных провайдеров.
Покажу на своём счёте. Мой агент крутится на gpt-5.5 за $50-70 в день. Если поделить дневной счёт на все токены, средний токен выходит $0.78 за миллион при цене кэш-чтения $0.50 и обычного входа $5. Среднее почти упёрлось в цену кэша, значит львиная доля токенов идёт дешёвыми чтениями. Выключи кэш, и день за полсотни долларов превращается в день за несколько сотен. Агент при этом ведёт себя ровно так же: те же ответы, зелёные тесты, ноль ошибок в логах.
Самое странное в механике: кэшируется не текст промпта и не ответ модели, а KV-тензоры, черновые вычисления этапа чтения. Каждый тензор зависит от всего текста до него, поэтому переиспользовать можно только байт-в-байт совпавший префикс. Это как закладка в книге. Открыть страницу 200 можно, только если страницы с 1 по 199 не менялись. Поменял слово на первой, и закладка бесполезна.
Отсюда единственное правило: стабильное в начало промпта, изменчивое в хвост. Классика поломки, текущие дата и время в системном промпте. Слишком логично дать агенту знать, который час, только префикс от этого меняется каждую минуту, и кэш не живёт. Thariq из команды Claude Code называет эту ошибку первой в списке.
У OpenAI кэш включён по умолчанию и запись бесплатна, и это убаюкивает. Я сам долго про него не думал. Но автоматика только прячет правило префикса, а не отменяет его, и сломать кэш парой полезных строчек в промпте можно так же тихо.
Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12❤7🔥4
Лучшую модель на планете выкатили и через три дня по приказу сверху сами же дёрнули за рубильник. Кто бы мог подумать, что суверенный ИИ понадобится не только нам.
Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.
#галлюцинации_недели
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍21❤11🔥8👏2🎉2🍾2
Письмо за разблокировку Mythos уже собрало больше 400 подписей тяжеловесов из мира безопасности, а Cisco, AWS и JPMorgan доступ, оказывается, и не теряли. От Anthropic Белый дом тем временем требует сделать Fable 5 невзламываемым на 100%.
Звучит как фантастика, и реддит немедленно вспомнил Theranos: красивая презентация, ноль клинических данных, нет одобрения FDA. По сути это ultrasound tomography, метод не новый и родом из Caltech. Но если кто на этой неделе и заслужил уважительное "ну и наглость же", то это компания, что от генерации артов шагнула к просвечиванию людей звуком.
Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.
#галлюцинации_недели
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍15❤8🔥4🐳1
В первой части я вывел правило: стабильное в начало, изменчивое в хвост, один символ в системном промпте обнуляет весь кэш. Правило рабочее, я сам собираю агента вокруг него. Но жить по закону, которого не понимаешь, неуютно. Почему именно один символ?
Полез в исходники vLLM, чтобы увидеть байтовую причину. Выяснилось, что кэшируется не текст промпта и не ответ, а key/value-тензоры каждого токена, его внутреннее представление внутри модели. И тензор токена зависит от всего, что стоит левее: это причинное внимание, прошлое впечатано в представление. Значит, переиспользовать посчитанное можно, только если весь префикс совпадает дословно. Не "похож", а идентичен до символа.
Дальше самое красивое. vLLM хранит тензоры блоками и сцепляет их хэш-цепочкой ровно как git: хэш блока включает в себя хэш родителя. Меняешь один токен в начале, у его блока уже другой хэш. А он был родителем для следующего блока, значит, едет и следующий, и так до конца цепочки. Один символ не "немного портит" кэш, он переписывает идентификаторы всех блоков после себя, и ни один из них больше не находится. Я лез за хитрой GPU-магией, а нашёл то, что проходят на втором курсе.
Отсюда вся симметрия. Хрупкость и сила кэша это одно свойство, увиденное с двух сторон. Тензоры намертво сцеплены с префиксом, поэтому общий префикс можно пропустить целиком (сила), и поэтому же одного токена хватает, чтобы обрушить всё после него (хрупкость). Одна причина, два следствия.
А вот нюанс, который перевернул мне картинку сильнее всего. Кэш индексируется по содержимому, а не по разговору. Если другой пользователь пришёл с тем же системным промптом, его запрос попадёт в блоки, которые посчитал ты. Кэш не твой. И раз попадание быстрее промаха, по латенси своего запроса можно судить, что лежало в кэше до тебя. Готовый timing side-channel.
Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7🔥7❤5🌚1
Пока все спорили про большие модели, OpenAI спустилась этажом ниже и собрала инференс-чип Jalapeño вместе с Broadcom, а самый большой аудит судей-LLM напомнил, что мерить всё это мы толком не умеем.
Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.
#галлюцинации_недели
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6👍4🔥4💯2
Я построил агентный пайплайн, чтобы разобрать конференцию, которая сама оказалась про то, как строить агентов.
AI Engineer World's Fair это годовой срез прикладной AI-инженерии: 560 сессий за несколько дней, инженеры, которые строят продукты на моделях, а не обучают их. Посмотреть это глазами нереально, поэтому я стянул расписание, субтитры и метаданные YouTube и прогнал каждую доступную запись через саммаризацию.
Почти в каждом докладе всплывала одна и та же мысль: узкое место переехало. Ещё пару лет назад всё решал вопрос "когда модель поумнеет". Сейчас модели достаточно хороши, чтобы доверить им почти всё, и ломается уже не интеллект, а среда вокруг него: как дать инструменты, где поставить границы, как записать каждый шаг, как повторить падение. Конференция была не про модель, а про harness.
Два тезиса зацепили сильнее всего.
Это навигатор по доступной части, а не приговор всей конференции. Всё, что собрал (русские саммари, тематическая карта, таймкоды), лежит в репо на GitHub. А здесь удобный SPA для изучения докладов. Велком.
Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11🔥9❤4👌1
Anthropic продаёт фарме лопаты и сама берётся копать: Claude Science для учёных плюс собственные лекарства от забытых болезней. А в топ-5 OpenRouter два месяца тихо держалась LongCat 2.0 под именем Owl Alpha, за ней стоял доставщик еды, обучивший её на китайских чипах в обход Nvidia.
Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.
#галлюцинации_недели
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7👍7🔥6🎉1