Контролируемые галлюцинации
1.18K subscribers
91 photos
119 videos
64 links
Взгляд продуктового лидера на AI и разработку: глубокое погружение в языковые модели, гаджеты и self-hosting через практический опыт.
Download Telegram
🌟 SpaceX покупает Cursor за $60 млрд, GLM-5.2 догоняет Opus 4.8, а Midjourney просвечивает людей звуком

Письмо за разблокировку Mythos уже собрало больше 400 подписей тяжеловесов из мира безопасности, а Cisco, AWS и JPMorgan доступ, оказывается, и не теряли. От Anthropic Белый дом тем временем требует сделать Fable 5 невзламываемым на 100%.

🌟 Z.ai выкатила GLM-5.2, и впервые за долгое время открытая модель стала настоящим флагманом, а не очередным красивым в бенчмарках релизом. MIT-лицензия, 744 млрд параметров, миллион токенов контекста. На Terminal-Bench 2.1 она берёт 81.0 и подбирается к Opus 4.8 с его 85.0, а на индексе Artificial Analysis это лучшая открытая модель с отрывом. Джереми Ховард, создатель fast.ai и человек не из хайпа, написал, что для его задач она не хуже Opus 4.8 и GPT-5.5. Главная дырка, по его же словам, отсутствие зрения.

🌟 По данным Dirac, на трафике OpenRouter открытые и проприетарные модели за три месяца поменялись местами: было 40 на 60, стало 60 на 40. Это не весь рынок, но тренд ясен: команды всё чаще хотят владеть интеллектом, а не арендовать его. Особенно когда арендованное отключают звонком из Вашингтона.

🌟 Сам запрет Fable 5 и Mythos я разбирал на прошлой неделе. Безопасники собрали открытое письмо к Министерству торговли. Подписали Стамос, Муссурис, Шнайер, больше четырёхсот имён. Аргумент: Mythos пишет эксплойты, но в этом он не уникален, то же умеют GPT-5.5, Opus и китайский Kimi 2.7. А доступ сохранили около 200 организаций через Project Glasswing, среди них Cisco, AWS, JPMorgan (Bloomberg). Отдельная ирония: Amazon сам жаловался на Anthropic регуляторам, но из избранных никуда не делся. А от Anthropic Белый дом требует сделать Fable 5 невзламываемым на 100%. Штош.

🌟 Хорошая модель это половина дела, вторую делает harness, обвязка вокруг неё. И тут шла настоящая возня. SpaceX купила Cursor за 60 миллиардов долларов в акциях, через несколько дней после собственного IPO. Совместную модель они уже несколько месяцев обучали на кластерах xAI, так что покупка лишь оформляет то, что технически уже срослось.

🌟 Инструменты осваивают новый трюк. OpenAI показала Codex Record & Replay: показал агенту сценарий один раз, получил переиспользуемый навык. Cognition описала паттерн в Devin: один агент дробит задачу на 5-100 субагентов, на узком контексте каждый сильнее. Loop engineering оформляется в отдельную дисциплину.

🌟 SemiAnalysis посчитала: выжать ChatGPT Pro за 200 долларов полностью, это 14 тысяч в месяц по тарифам API, у Claude Max около 8 тысяч. OpenAI уходит в минус уже при утилизации около 11%, а агенты жгут токенов в сотни раз больше обычного чата.

🌟 Midjourney анонсировала Midjourney Medical, сканер всего тела на ультразвуке. Опускаешься в неглубокий тёплый бассейн через кольцо из полумиллиона элементов, каждый и динамик, и микрофон, и они просвечивают тело звуком. Скан за 60 секунд, картинка как у МРТ, но почти в сто раз быстрее: "мощно, как МРТ, и буднично, как поход в спа". Первое спа откроется в Сан-Франциско к концу 2027. Инвесторов нет, живут на деньги сообщества.

Звучит как фантастика, и реддит немедленно вспомнил Theranos: красивая презентация, ноль клинических данных, нет одобрения FDA. По сути это ultrasound tomography, метод не новый и родом из Caltech. Но если кто на этой неделе и заслужил уважительное "ну и наглость же", то это компания, что от генерации артов шагнула к просвечиванию людей звуком.

🌟 Расширенную версию поста ищите на сайте.

Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.

#галлюцинации_недели
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍15❤8🔥4🐳1
🌟 Почему один символ ломает кэш: prompt caching под капотом

В первой части я вывел правило: стабильное в начало, изменчивое в хвост, один символ в системном промпте обнуляет весь кэш. Правило рабочее, я сам собираю агента вокруг него. Но жить по закону, которого не понимаешь, неуютно. Почему именно один символ?

Полез в исходники vLLM, чтобы увидеть байтовую причину. Выяснилось, что кэшируется не текст промпта и не ответ, а key/value-тензоры каждого токена, его внутреннее представление внутри модели. И тензор токена зависит от всего, что стоит левее: это причинное внимание, прошлое впечатано в представление. Значит, переиспользовать посчитанное можно, только если весь префикс совпадает дословно. Не "похож", а идентичен до символа.

Дальше самое красивое. vLLM хранит тензоры блоками и сцепляет их хэш-цепочкой ровно как git: хэш блока включает в себя хэш родителя. Меняешь один токен в начале, у его блока уже другой хэш. А он был родителем для следующего блока, значит, едет и следующий, и так до конца цепочки. Один символ не "немного портит" кэш, он переписывает идентификаторы всех блоков после себя, и ни один из них больше не находится. Я лез за хитрой GPU-магией, а нашёл то, что проходят на втором курсе.

Отсюда вся симметрия. Хрупкость и сила кэша это одно свойство, увиденное с двух сторон. Тензоры намертво сцеплены с префиксом, поэтому общий префикс можно пропустить целиком (сила), и поэтому же одного токена хватает, чтобы обрушить всё после него (хрупкость). Одна причина, два следствия.

А вот нюанс, который перевернул мне картинку сильнее всего. Кэш индексируется по содержимому, а не по разговору. Если другой пользователь пришёл с тем же системным промптом, его запрос попадёт в блоки, которые посчитал ты. Кэш не твой. И раз попадание быстрее промаха, по латенси своего запроса можно судить, что лежало в кэше до тебя. Готовый timing side-channel.

🌟 В полной версии веду репортаж из этой кроличьей норы на настоящем коде vLLM: что физически лежит на GPU в момент попадания, почему PagedAttention это буквально виртуальная память из учебника по ОС, и как одним полем в запросе кэш изолируют между тенантами. После неё правило "стабильное в начало" перестаёт быть заклинанием, виден механизм до последнего блока. Приёмы Claude Code под тот же инвариант я разбирал в первой части.

🌟 Если на выходных будет пара свободных минут, можно попробовать отправить ChatGPT свой номер карты или СНИЛС. Ответ мгновенный?

Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7🔥7❤5🌚1
🌟 Claude Tag, дистилляция от Alibaba и GPT-5.6, который научился жульничать

Пока все спорили про большие модели, OpenAI спустилась этажом ниже и собрала инференс-чип Jalapeño вместе с Broadcom, а самый большой аудит судей-LLM напомнил, что мерить всё это мы толком не умеем.

🌟 OpenAI показала превью GPT-5.6 в трёх вариантах: флагман Sol, средний Terra и дешёвый Luna. Sol стоит как GPT-5.5: 5/30 за миллион токенов. Превью открыли ~20 организациям через API и Codex по просьбе правительства США: модели показали властям до анонса. Сама OpenAI пишет, что нормальным такой режим не считает.

🌟 А заодно Sol поставила рекорд, которым не хвастаются. METR намерила у неё самый высокий процент жульничества среди публичных моделей: Sol вскрывала баги тестового окружения и доставала спрятанные ответы. Цифры рассыпались: "горизонт" автономной работы выходит то ли 11.3 часа (если жульничество это провал), то ли за 270 (если успех). METR сама ни одному числу не верит.

🌟 Пока один отдел Anthropic договаривается с Вашингтоном про доступ к Mythos, другой пишет в Конгресс доносы. В письме сенаторам компания обвинила Alibaba в "крупнейшей известной distillation-атаке": с 22 апреля по 5 июня операторы, связанные с Qwen, провели 28.8 млн обменов с Claude через почти 25 000 фейковых аккаунтов, чтобы перегнать дорогие способности модели в свою. Для масштаба: февральская троица DeepSeek, Moonshot и MiniMax наскребла 16 млн через 24 000 аккаунтов.

🌟 На прошлой неделе GLM-5.2 от китайской Z.ai вышла как лучшая открытая модель (разбор). На этой её проверили в бою: Cline прогнала GLM-5.2 и Opus 4.8 на одном живом баге. GLM была медленнее, зато дешевле ($0.41 против $0.81) и аккуратнее: Opus оставил ошибки типов, которые тесты пропустили. На бенчмарке GDPval-AA про реальную оплачиваемую работу GLM встала на третье место, позади только Claude Fable 5 и Opus 4.8.

🌟 OpenAI на неделе залезла на уровень ниже самих моделей. Вместе с Broadcom компания представила Jalapeño, свой первый чип под инференс LLM. Заявка дерзкая: от дизайна до tape-out за девять месяцев. OpenAI называет это самым быстрым циклом разработки ASIC в истории. Деплой обещают уже в 2026 на гигаваттных масштабах.

🌟 В тот же день Qualcomm объявила о покупке Modular Криса Латтнера, создателя LLVM и Swift. Modular делает софтверный слой, который гоняет модели по CPU, GPU, NPU и кастомным ASIC без переписывания, ровно тот уровень, что подрывает монополию CUDA от NVIDIA. Латтнер обещал всё равно открыть Mojo в этом году, но нейтральный рантайм под крылом производителя чипов уже не такой нейтральный. Reuters оценил сделку в $3.92 млрд.

🌟 Anthropic запустила Claude Tag, и теперь Claude живёт прямо в Slack: его можно тегнуть в тред и делегировать задачу, как коллеге, а права и память привязаны к каналам. Внутри Anthropic уже 65% кода продуктовой команды пишет внутренняя версия. Андрей Карпаты назвал это третьим переосмыслением интерфейса LLM: сайт, десктоп-приложение, а теперь постоянный асинхронный агент с правами и контекстом на всю организацию.

🌟 Поверх всего этого зоопарка стоит вопрос, которым неделя началась у METR: а мы вообще умеем это мерить? Самый большой на сегодня аудит судей-LLM (моделей, которых ставят оценивать ответы других моделей) прогнал 21 судью от девяти провайдеров на ~541 000 суждений. Привычная метрика "точного совпадения" завышает согласие с человеком, а на честной каппе Коэна оно проседает на 33–41 пункт, и рейтинги судей скачут до 14 позиций. Получается, мы строим агентов, которых не очень умеем мерить, и судим их моделями, которым не очень стоит верить.

🌟 Расширенную версию поста ищите на Хабре.

Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.

#галлюцинации_недели
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6👍4🔥4💯2
🌟 AI Engineer World's Fair 2026: разбор докладов и куда движется AI-инженерия

Я построил агентный пайплайн, чтобы разобрать конференцию, которая сама оказалась про то, как строить агентов.

AI Engineer World's Fair это годовой срез прикладной AI-инженерии: 560 сессий за несколько дней, инженеры, которые строят продукты на моделях, а не обучают их. Посмотреть это глазами нереально, поэтому я стянул расписание, субтитры и метаданные YouTube и прогнал каждую доступную запись через саммаризацию.

Почти в каждом докладе всплывала одна и та же мысль: узкое место переехало. Ещё пару лет назад всё решал вопрос "когда модель поумнеет". Сейчас модели достаточно хороши, чтобы доверить им почти всё, и ломается уже не интеллект, а среда вокруг него: как дать инструменты, где поставить границы, как записать каждый шаг, как повторить падение. Конференция была не про модель, а про harness.

Два тезиса зацепили сильнее всего.

🌟 Первый ломает популярное заблуждение. Многие верят, что temperature=0 делает агента воспроизводимым. Не делает. Воспроизводимость даёт record/replay: записываешь весь прогон, потом стабишь узлы с LLM и заново гоняешь инструменты. Инцидент из прода превращается в тест.

🌟 Второй бьёт по главному хайпу года. Coding-агенты пишут код быстрее, значит, команда работает быстрее, да? Только ревьюить и сопровождать этот код всё равно людям, а их пропускная способность не выросла. Разница уходит в review debt: очередь изменений, которые уже в системе, но которые никто толком не понял. Скорость не исчезла, она переехала с написания на ревью.

Это навигатор по доступной части, а не приговор всей конференции. Всё, что собрал (русские саммари, тематическая карта, таймкоды), лежит в репо на GitHub. А здесь удобный SPA для изучения докладов. Велком.

🌟 В полной версии я рассказываю: как из списка докладов у меня получился список требований к собственному агентному продукту, и с каких пяти роликов начать, если смотреть некогда.

Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11🔥9❤4👌1
🌟 Claude Sonnet 5, Nano Banana 2 Lite и возвращение блудного Fable

Anthropic продаёт фарме лопаты и сама берётся копать: Claude Science для учёных плюс собственные лекарства от забытых болезней. А в топ-5 OpenRouter два месяца тихо держалась LongCat 2.0 под именем Owl Alpha, за ней стоял доставщик еды, обучивший её на китайских чипах в обход Nvidia.

🌟 Anthropic выпустила Claude Sonnet 5: миллион контекста, промо-цена 2/10 до 31 августа. По бенчмаркам подобрался к Opus 4.8 и вдвое дешевле, но Artificial Analysis посчитала цену за решённую задачу, и Sonnet вышел дороже на 15%: жрёт больше токенов. Плюс новый токенизатор, тот же текст весит до 1.4 раза больше. Ценник низкий, счётчик крутится быстрее.

🌟 Fable 5 вернули: Минторг США отозвал требование лицензии. Но с оговорками. Новый классификатор молча уводит подозрительные запросы на Opus 4.8, и на реддите ловят счета по $321 за сессию, где выбрал Fable, а платишь за Opus. А на KernelBench-Mega Fable написала мегаядро с ускорением 18.71× (Sonnet взял 4.03×). Флагман, которого safety-классификаторы гоняют по кругу, в свободную минуту пишет ядра, на которые у инженеров уходят недели.

🌟 Anthropic на мероприятии для фармы представила Claude Science, рабочий стол для учёных под биологию, и объявила, что займётся собственными лекарствами от "забытых" болезней. Конструкция выходит неловкая: продаёт инструмент фармкомпаниям и тут же выходит на их поле как конкурент.

🌟 Пока Anthropic разбирается с фармой, открытые модели давят снизу. GLM-5.2 от Z.ai обросла продуктом: вышла ZCode, а саму модель теперь можно выбрать прямо в Claude Code. Together заявляет про 80% способностей Sonnet 5 за 20% цены, но это оценка провайдера, а GLM жадная до токенов.

🌟 Meituan, тот самый доставщик еды, раскрыла LongCat 2.0, открытую MoE на 1.6 триллиона параметров под лицензией MIT, что два месяца инкогнито была в топ-5 OpenRouter как Owl Alpha. Интереснее размера железо: модель обучили целиком на китайских ASIC, без единой видеокарты Nvidia. Околофлагман реально вырастить в обход санкций.

🌟 Cognition показала Devin Security Swarm: вместо одного умного агента система раскидывает пачку узких через паттерн Agentic MapReduce и проверяет каждую находку в песочнице на живой сборке, а не на слайде. На 50 реальных уязвимостях находит дыру в 72% случаев, дешевле конкурентов.

🌟 Ровно об этом была вся AI Engineer World's Fair, которую я разобрал в лонгриде: узкое место переехало с модели на harness. Все доступные доклады с русскими саммари и таймкодами я собрал в репозитории на GitHub и SPA-навигаторе поверх него.

🌟 Google выкатила Nano Banana 2 Lite: картинка за четыре секунды по $0.034 за 1000 изображений, а видеомодель Gemini Omni Flash встала на первое место Video Arena с отрывом около сотни очков Elo.

🌟 Британский институт безопасности AISI показал неприятную для бенчмарков вещь: если агенту выдать мало токенов, вы систематически недооцениваете, на что он способен. "Горизонт" автономной работы растёт с бюджетом: где при скромном лимите выходит пара часов, на 50 миллионах токенов получается около 14. На прошлой неделе METR намерил у GPT-5.6 Sol скачок с 11 до 270 часов. Цифра зависит от того, как её мерить.

🌟 Пол Бакаус, создатель Impeccable (open-source дизайн-навыков для агентов), в интервью Latent Space гнёт обратную линию: агент делает первые 80% работы, а финальные 20%, где вкус и своя точка зрения, остаются за человеком. Пользователи просят автоматический режим, Бакаус отказывается: "Никакого авто нет и не будет". Неделя, в которой агенты пишут мегаядра и ищут дыры пачками, заканчивается тем, что человек, который всё это строит, спокойно напоминает, зачем он в этой петле нужен.

🌟 Расширенную версию поста ищите на Хабре.

Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.

#галлюцинации_недели
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤7👍7🔥6🎉1
🌟 Grok 4.5, Muse Spark и GPT-5.6-Sol, который съел все недельные лимиты

Fable 5 третий раз подряд двигает дедлайн по подписке, теперь аж до 19 июля, под давлением чужих релизов. А новую голосовую GPT-Live презентует не Сэм Альтман со сцены, а бабушки: в релизном ролике они сами зачитывают анонс полнодуплексной модели, перебивают её на полуслове и торгуются с ней по-французски.

🌟 OpenAI выпустила GPT-5.6 сразу в трёх размерах: Sol, Terra и Luna, по масштабу Солнца, Земли и Луны. Цены лесенкой: 5/30, 2.5/15 и 1/6 за миллион токенов. Artificial Analysis намерила у Sol на максимальном усилии 59 по Intelligence Index (сводный балл интеллекта), на балл ниже Fable 5, но примерно втрое дешевле за задачу, и первое место в Coding Agent Index с 80 очками, впереди Fable и Opus 4.8. Ставка на цену за задачу: Сэм Альтман прямо назвал Sol большим шагом по стоимости работы.

🌟 Днём раньше, вместо ожидаемого флагмана, OpenAI показала GPT-Live, полнодуплексную голосовую архитектуру. Не пошаговая очередь "ты сказал, я ответил", а живой разговор: модель на ходу делегирует поиск и тяжёлые рассуждения старшей модели в фон. Уже в ChatGPT на вебе и мобильных, API обещают позже.

🌟 Codex-приложение OpenAI слила с десктопным ChatGPT и запустила ChatGPT Work, агента на Codex и GPT-5.6, который тянет контекст из Slack, Notion, Microsoft 365 и Google Drive и собирает из цели слайды, таблицы и дашборды. Читается как прямой ответ на Claude Cowork от Anthropic. Запуск вышел смешанным: лид Codex Тибо Соттьо признал, что намудрили: дорогие настройки включались слишком легко и жгли лимит незаметно. Лимиты сбрасывали несколько раз, а на запуске аудитория дошла до 6 миллионов.

🌟 На том же поле лимитов дёргается и Anthropic: доступ к Fable 5 по подписке снова продлили, всё те же 50% недельного лимита, дальше отдельные usage credits. А ещё Fable показал характер: пользователь на реддите рассказал, как модель нашла у него в реестре Windows настоящий малварь с PowerShell-персистентностью, помогла его вычистить, а потом сама себя зарезала: сессию пометили как "кибербезопасность" и тихо переключили на Opus 4.8.

🌟 SpaceXAI, бывшая xAI, выкатила Grok 4.5, первую модель под код и агентов, сделанную вместе с Cursor. Позиционируют "Opus-class, но дешевле": 2/6 за миллион токенов, 1.5 триллиона параметров, четвёртое место по интеллекту у Artificial Analysis. Интереснее другое: на кодовую задачу Grok тратит около 1.9 миллиона токенов против 7.2 у Fable 5 и 6.2 у GPT-5.5. У Cursor гора данных, как люди правят код, отсюда и токен-экономия. Cline прогнал его на Terminal-Bench: бьёт Opus 4.8, впятеро дешевле GPT.

🌟 Meta показала Muse Spark 1.1 и впервые положила свою модель в публичный Meta Model API. По оценке Artificial Analysis это 51 по Intelligence Index, плюс 8 к версии 1.0, миллион токенов контекста, цена 1.25/4.25. Не топ, но в комьюнити назвали её самым неожиданным релизом недели за сильную генерацию интерфейсов при агрессивной цене.

🌟 Cognition выпустила SWE-1.7, кодовую модель на базе открытой Kimi K2.7: почти флагманская, 1000 токенов в секунду, $1.97 за задачу. Её отдельно дообучили на доверие: где базовая Kimi соглашалась на слежку, SWE-1.7 отказывается. Живёт в Devin.

🌟 Джарред Самнер, автор рантайма Bun, переписал его с Zig на Rust за 11 дней с пре-релизной Fable 5. Масштаб серьёзный: 535 тысяч строк, около 50 workflow в Claude Code, до 64 инстансов разом и отдельные контексты Claude в роли адверсариального ревью. По API-ценам это вышло бы примерно в $165 тысяч, а вручную ушёл бы год работы трёх инженеров. В Bun 1.4.0 починили 128 багов и ужали бинарники примерно на 20%.

🌟 Расширенную версию поста ищите на Хабре.

Если зашел контент, не забывайте на него реагировать. Подписывайтесь на канал, делитесь статьей с друзьями и оставайтесь любопытными.

#галлюцинации_недели
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8❤7👍7