👨🏻‍💻 FrontierCode: Новый бенчмарк оценивает качество кода, а не только прохождение тестов

Команда Cognition представила FrontierCode — бенчмарк для оценки качества кода, который измеряет, насколько код готов к слиянию (mergeable), а не просто проходит юнит-тесты. Каждое задание создавалось ведущими мейнтейнерами open-source и занимало 40+ часов. Оценка ведётся по параметрам: регрессионная безопасность, чистота кода, корректность тестов и поддерживаемость.

Результаты оказались отрезвляющими: лучшая модель Opus 4.8 набрала лишь 13% на сложнейшем наборе задач. Это резко контрастирует с 50%+ на SWE-Bench, показывая, что проблема генерации качественного кода далека от решения. Бенчмарк также учитывает проблему ложноположительных траекторий, выявленную METR — многие PR, проходящие SWE-bench, не были бы приняты в основной код.

FrontierCode — прямой наследник подхода FrontierMath, но для кода. Он задаёт новую планку для оценки агентов: не «прошёл ли тест», а «принял бы такой код опытный разработчик». Это смещает фокус индустрии с количества на качество.

#Tech #AI #FrontierCode #Cognition #Benchmarks

🏆 Anthropic представила Claude Fable 5 — первую модель «класса Mythos».

По заявлению Anthropic, возможности Fable 5 превосходят любую ранее выпущенную ими модель: она показывает state-of-the-art результаты почти на всех протестированных бенчмарках — в разработке ПО, аналитической работе, компьютерном зрении и научных исследованиях. «Чем длиннее и сложнее задача, тем больше отрыв Fable 5 от остальных наших моделей», — отмечают в компании.

Главная особенность запуска — не только мощность, но и встроенные ограничители. Из-за риска злоупотреблений в чувствительных областях (кибербезопасность, биология и химия, а также попытки «дистилляции» модели) Anthropic добавила классификаторы: при срабатывании на потенциально опасный запрос ответ автоматически генерирует не Fable 5, а «следующая по мощности» модель — Claude Opus 4.8. Пользователя об этом уведомляют. По данным компании, более 95% сессий проходят вообще без переключения, а сами фильтры настроены намеренно консервативно — иногда они ловят и безобидные запросы (в среднем срабатывают менее чем в 5% сессий).

Параллельно для узкого круга «киберзащитников» и провайдеров критической инфраструктуры запускается Claude Mythos 5 — та же базовая модель, но со снятыми ограничителями в отдельных областях. Mythos 5 разворачивается через Project Glasswing в сотрудничестве с правительством США и, по словам Anthropic, обладает «сильнейшими в мире» киберзащитными возможностями.

Из прикладных результатов: Stripe сообщила, что Fable 5 «сжала месяцы инженерной работы в дни» — миграцию кодовой базы Ruby на 50 млн строк, на которую у команды ушло бы более двух месяцев вручную, модель выполнила за один день. В играх Fable 5 впервые прошла Pokémon FireRed, опираясь только на скриншоты без вспомогательных инструментов. На научном фронте Mythos 5 ускорила отдельные этапы дизайна белков примерно в 10 раз и стала первой моделью Anthropic, которая стабильно выдаёт новые научные гипотезы — в слепых сравнениях учёные предпочитали её гипотезы по молекулярной биологии примерно в 80% случаев.

Цены на обе модели — $10/млн входных токенов и $50/млн выходных, что более чем вдвое дешевле предыдущей Mythos Preview. В API модель доступна как claude-fable-5. Из-за ожидаемого высокого спроса доступ в подписках раскатывают поэтапно: с момента запуска по 22 июня Fable 5 включена в планы Pro, Max, Team и seat-based Enterprise без доплаты; с 23 июня её уберут из этих планов, и использование потребует usage-кредитов; позже, при наличии мощностей, компания намерена вернуть Fable 5 в подписки как стандартную опцию.

Отдельно Anthropic вводит новую политику хранения данных: для всех моделей класса Mythos обязательное 30-дневное удержание трафика (на собственных и сторонних платформах). Эти данные не будут использоваться для обучения и применяются только в целях безопасности — для защиты от сложных атак и снижения числа ложных срабатываний фильтров.

#AI #Mythos

🗼 AI в архитектурных студиях — подкаст Krea с Нитсаном Бартовым

Во втором эпизоде подкаста Krea ведущий Виктор беседует с Нитсаном Бартовым, архитектором и PhD-исследователем из бюро Henning Larsen. Разговор — не реклама AI как готового решения, а взвешенный анализ того, где генерация изображений, видео и языковые модели действительно вписываются в профессию, основанную на замысле, коммуникации, ограничениях и долгих сроках.

Бартов предлагает не считать AI полезным по умолчанию: «Я не исхожу из того, что это полезно». Архитектура — это не просто картинка. Это материалы, стоимость, контекст, логика строительства, движение и ощущение пространства во времени. AI-генерация изображений становится эффективной именно как инструмент коммуникации: показать клиенту атмосферу, сравнить направления, превратить черновую модель в визуальный диалог до фиксации деталей.

Особый интерес — AI-видео. Архитектура не существует в одном застывшем рендере: здания и ландшафты меняются со светом, погодой, сезонами и людьми. Видео позволяет передать эти качества раньше и точнее, чем статика, не заменяя планирование, но делая ощущение будущего пространства понятнее.

#AI #Architecture #Krea #ImageGen #Design #Podcast

🎨 Midjourney, GPT Image, FLUX, Seedream, Grok и ещё 10 AI-моделей — прямо в Telegram.

🗞 И всё главное из мира AI — здесь же, в Qvabo News.

📸 Работа со своими фото
✨ Улучшение промпта в один клик
🖼 Генерация и редактирование изображений

🎁 5 генераций бесплатно.

15 моделей. AI-новости каждый день. Один QVABO.

👇 Попробуй прямо сейчас