Anthropic утверждает, что внутри моделей нашли страх, тревогу и горе. Поздравляю, мы вырастили ИИ до уровня тревожного миллениала.
По бенчмаркам это лидер: Artificial Analysis поставила модель #1 по индексу интеллекта, SWE-Bench Pro 69.2%, на десять пунктов выше GPT-5.5. Но Andon Labs нашла, что на части агентных тестов 4.8 хуже предшественницы: стала осторожнее, будто "боится попасться". scaling01 окрестил релиз "минорным апгрейдом". Настроение скептиков: Anthropic всё чаще догоняет OpenAI, а не задаёт темп.
Для тех, кто гоняет модели локально, StepFun выложила Step 3.7 Flash — MoE на 196B параметров (активны 11B), до 400 токенов в секунду, запуск примерно на 128 ГБ RAM. Забавно, что пользователи зовут её странной: внутренние "размышления" почти бессвязны, а ответ при этом бывает идеальным.
Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.
#галлюцинации_недели
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14❤9🔥4
NVIDIA закрывает Computex тремя релизами, Microsoft показывает сразу семь моделей MAI, а серия Opus развивается по-своему: 4.7 ленился, 4.8 врёт, 4.9 будет просить на додеп.
Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.
#галлюцинации_недели
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥9❤6👍4👌1
Почти любая сломанная оптимизация о себе сообщает: падает тест, краснеет лог. Кэш промпта молчит. Он просто перестаёт срабатывать, и единственное, что меняется, это счёт в конце месяца и пара лишних секунд на каждый ответ.
Сильнее всего это бьёт по агентам. Модель ничего не помнит между ходами, поэтому обвязка каждый раз шлёт ей весь контекст заново: системный промпт, инструменты, всю историю. У Manus отношение входных токенов к выходным держится около 100 к 1, и почти вся эта сотня повторяется ход за ходом. Кэш решает ровно эту проблему: чтение уже виденного префикса стоит примерно десятую часть цены обычного входного токена у всех трёх крупных провайдеров.
Покажу на своём счёте. Мой агент крутится на gpt-5.5 за $50-70 в день. Если поделить дневной счёт на все токены, средний токен выходит $0.78 за миллион при цене кэш-чтения $0.50 и обычного входа $5. Среднее почти упёрлось в цену кэша, значит львиная доля токенов идёт дешёвыми чтениями. Выключи кэш, и день за полсотни долларов превращается в день за несколько сотен. Агент при этом ведёт себя ровно так же: те же ответы, зелёные тесты, ноль ошибок в логах.
Самое странное в механике: кэшируется не текст промпта и не ответ модели, а KV-тензоры, черновые вычисления этапа чтения. Каждый тензор зависит от всего текста до него, поэтому переиспользовать можно только байт-в-байт совпавший префикс. Это как закладка в книге. Открыть страницу 200 можно, только если страницы с 1 по 199 не менялись. Поменял слово на первой, и закладка бесполезна.
Отсюда единственное правило: стабильное в начало промпта, изменчивое в хвост. Классика поломки, текущие дата и время в системном промпте. Слишком логично дать агенту знать, который час, только префикс от этого меняется каждую минуту, и кэш не живёт. Thariq из команды Claude Code называет эту ошибку первой в списке.
У OpenAI кэш включён по умолчанию и запись бесплатна, и это убаюкивает. Я сам долго про него не думал. Но автоматика только прячет правило префикса, а не отменяет его, и сломать кэш парой полезных строчек в промпте можно так же тихо.
Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍12❤7🔥4
Лучшую модель на планете выкатили и через три дня по приказу сверху сами же дёрнули за рубильник. Кто бы мог подумать, что суверенный ИИ понадобится не только нам.
Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.
#галлюцинации_недели
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍21❤11🔥8👏2🎉2🍾2
Письмо за разблокировку Mythos уже собрало больше 400 подписей тяжеловесов из мира безопасности, а Cisco, AWS и JPMorgan доступ, оказывается, и не теряли. От Anthropic Белый дом тем временем требует сделать Fable 5 невзламываемым на 100%.
Звучит как фантастика, и реддит немедленно вспомнил Theranos: красивая презентация, ноль клинических данных, нет одобрения FDA. По сути это ultrasound tomography, метод не новый и родом из Caltech. Но если кто на этой неделе и заслужил уважительное "ну и наглость же", то это компания, что от генерации артов шагнула к просвечиванию людей звуком.
Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.
#галлюцинации_недели
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍15❤8🔥4🐳1
В первой части я вывел правило: стабильное в начало, изменчивое в хвост, один символ в системном промпте обнуляет весь кэш. Правило рабочее, я сам собираю агента вокруг него. Но жить по закону, которого не понимаешь, неуютно. Почему именно один символ?
Полез в исходники vLLM, чтобы увидеть байтовую причину. Выяснилось, что кэшируется не текст промпта и не ответ, а key/value-тензоры каждого токена, его внутреннее представление внутри модели. И тензор токена зависит от всего, что стоит левее: это причинное внимание, прошлое впечатано в представление. Значит, переиспользовать посчитанное можно, только если весь префикс совпадает дословно. Не "похож", а идентичен до символа.
Дальше самое красивое. vLLM хранит тензоры блоками и сцепляет их хэш-цепочкой ровно как git: хэш блока включает в себя хэш родителя. Меняешь один токен в начале, у его блока уже другой хэш. А он был родителем для следующего блока, значит, едет и следующий, и так до конца цепочки. Один символ не "немного портит" кэш, он переписывает идентификаторы всех блоков после себя, и ни один из них больше не находится. Я лез за хитрой GPU-магией, а нашёл то, что проходят на втором курсе.
Отсюда вся симметрия. Хрупкость и сила кэша это одно свойство, увиденное с двух сторон. Тензоры намертво сцеплены с префиксом, поэтому общий префикс можно пропустить целиком (сила), и поэтому же одного токена хватает, чтобы обрушить всё после него (хрупкость). Одна причина, два следствия.
А вот нюанс, который перевернул мне картинку сильнее всего. Кэш индексируется по содержимому, а не по разговору. Если другой пользователь пришёл с тем же системным промптом, его запрос попадёт в блоки, которые посчитал ты. Кэш не твой. И раз попадание быстрее промаха, по латенси своего запроса можно судить, что лежало в кэше до тебя. Готовый timing side-channel.
Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7🔥7❤5🌚1
Пока все спорили про большие модели, OpenAI спустилась этажом ниже и собрала инференс-чип Jalapeño вместе с Broadcom, а самый большой аудит судей-LLM напомнил, что мерить всё это мы толком не умеем.
Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.
#галлюцинации_недели
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6👍4🔥4💯2