Qvabo News
278 subscribers
2.65K photos
11 videos
664 links
Что нового в нейросетях: релизы, обновления, фишки, примеры генераций. Каждый день выбираем главное. Генерация картинок топовыми моделями: @qvabostudio_bot

Сайт: https://qvabo.studio/app
Download Telegram
🇨🇳 В Китае открылся первый супермаркет технологий: скан QR-кода — и разработка ваша

В Шэньчжэне заработал первый в стране супермаркет научно-технических достижений. Его открыл Шэньчжэньский институт передовых технологий Китайской академии наук (SIAT). На полках — более 1000 разработок, рассортированных по направлениям и снабжённых карточками с QR-кодами.

Отсканировав код, предприниматель сразу видит технические характеристики, сценарии применения и тип компании, которой подойдёт технология. Синие секции — медицинские приборы и научные инструменты, зелёные — ИИ и робототехника, оранжевые — электроника и энергоматериалы, фиолетовые — синтетическая биология. Запас разработок непрерывно пополняют 10 научно-исследовательских институтов, 4 национальные ключевые лаборатории и 2 национальных инновационных центра.

С момента запуска в 2025 году супермаркет помог заключить контракты почти на 250 млн юаней, а число патентных заявок достигло 18,5 тыс. Успешность подбора технологий выросла на 10–20 процентных пунктов. Так, компания Shanghai Aipu Medical нашла здесь неинвазивную технологию стимуляции глубоких отделов мозга и в 2026 году создала с SIAT совместную команду по мозг-компьютерным интерфейсам. Модель уже тиражируется более чем в десяти городах Китая.

#Tech #Science #China #Innovation #TechTransfer
⚡1👍1
🔐 Google представил HEIR — компилятор для приватного ИИ на гомоморфном шифровании

Google показала открытый компилятор HEIR, который позволяет выполнять inference нейросетей на зашифрованных данных. Это шаг к практическому применению гомоморфного шифрования в реальных AI-сервисах: сервер обрабатывает ciphertext и возвращает зашифрованный результат, не видя сами данные.

Проблема классических подходов в том, что end-to-end шифрование защищает данные, но лишает сервис возможности их анализировать — например, для спам-фильтров или рекомендаций. Локальная обработка тоже ограничена мощностью устройств и риском утечки модели. Гомоморфное шифрование снимает это противоречие, хотя раньше требовало глубоких знаний криптографии. HEIR автоматизирует конвертацию предобученных моделей для работы с зашифрованными входами и нацелен на «однокнопочное» внедрение в продакшен.

Вместе с партнёрами — Belfort, Niobium, Cornami и Optalysys — Google уже показала демо: рекомендательная модель на глубоком обучении, которая выдаёт персональные подборки без доступа к профилю пользователя, и система обнаружения мошенничества по кредитным картам на зашифрованных данных. Задержки замерены на одноядерном CPU, а ускорители обещают заметно снизить издержки в ближайшее время.

#AI #Safety #Homomorphic #Encryption #Google #HEIR #Privacy
👍1
🔼 Автоисследование с Codex: ускорение ядра в 232 раза

Разработчик поделился на Hacker News экспериментом по автоматизации исследования кода ядра с помощью Codex. Используя ИИ как самостоятельного исследователя, ему удалось добиться ускорения работы ядра в 232 раза — яркий пример того, как агентные ИИ-инструменты меняют подход к низкоуровневой оптимизации.

Вместо ручного анализа исходников и профилирования Codex автономно изучал код, находил узкие места и предлагал оптимизации. Результат показывает, что современные модели уже способны не просто генерировать код по запросу, а вести полноценное исследование производительности и находить нетривиальные решения.

Для разработчиков это сигнал: связка «ИИ-агент + рантайм-анализ» становится практичным инструментом для работы с производительностью. Однако важно помнить, что такие результаты сильно зависят от конкретной задачи, качества окружения и итеративной проверки изменений.

#AI #Codex #Tech #Kernel #Development #Optimization
Please open Telegram to view this post
VIEW IN TELEGRAM
👏1👌1
❗️Новый бенчмарк PerceptionBench: ИИ-модели по-прежнему плохо «видят»

Moonshot AI, создатель ассистента Kimi, представила бенчмарк PerceptionBench, который проверяет именно визуальное восприятие мультимодальных моделей — отдельно от логики и знаний. Разработчики разбили «зрение» на десять базовых навыков: подсчёт объектов, атрибуты, глубину и 3D, локализацию, сравнение, OCR, галлюцинации и другие. Все вопросы можно решить, просто глядя на картинку, без рассуждений.

Ни одна из 16 протестированных моделей не преодолела порог в 60%. Лучший результат у GPT-5.6 Sol — 59,7%, за ним идут Kimi K3 (58,5%), Claude Fable 5 (57,2%) и Gemini 3.1 Pro (56,2%). Открытые модели заметно отстают: Qwen3.5-397B-A17B набирает 47,5%, а GLM-4.6V — всего 32,5%.

Самая слабая категория у всех — галлюцинации, когда модель «выдумывает» несуществующие объекты. GPT-5.6 Sol здесь показывает лишь 26,9%, тогда как более слабая Gemini 3.5 Flash — 50,6%. Авторы подчёркивают: многие ошибки, которые раньше списывали на плохие рассуждения, на самом деле возникают уже на этапе чтения изображения. PerceptionBench разбивает сложные задачи на отдельные вопросы и помогает найти, какой именно визуальный навык подводит.

Датасет из 3000 задач и код для оценки опубликованы на GitHub в MoonshotAI/PerceptionBench.

#AI #Benchmark #VisualPerception #MoonshotAI #MachineVision
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡1🤔1💯1
📉Nvidia урезает гарантии по сделке с OpenAI, пока Anthropic ставит рекорды выручки

Nvidia и OpenAI близки к сделке по дата-центру, но сумма гарантий сокращена почти вдвое: вместо запланированных $250 млрд Nvidia готова гарантировать лишь около $120 млрд. Как пишет The Wall Street Journal, инвесторы продавили сокращение из-за опасений по поводу рисков компании.

Гарантия покрывает первую фазу строительства мощностью около 5 гигаватт. Параллельно OpenAI ведет переговоры об аренде полного проекта на 10 гигаватт, который развивает SB Energy (дочка SoftBank). Nvidia также обсуждает отдельное финансирование закупок чипов для OpenAI на сумму до $350 млрд.

Урезанная сделка играет на руку критикам «пузыря ИИ»: решение Nvidia снизить риски под давлением инвесторов выглядит как признак осторожности даже у главного бенефициара бума.

В то же время цифры Anthropic тянут в другую сторону. Выручка компании более чем удвоилась за квартал — с $4,73 млрд в Q1 до свыше $11,5 млрд во Q2, это рост в 14 раз год к году. По данным Reuters, Anthropic прогнозирует выручку около $190–200 млрд к 2028 году. Компания готовится к IPO с оценкой почти в $1 трлн в конце сентября — начале октября.

#Business #Nvidia #OpenAI #Anthropic #AI
Please open Telegram to view this post
VIEW IN TELEGRAM
👏1👌1
⚙️ React для агентов: создатель Astro принёс хуки в свой фреймворк Flue

Фред Шотт, создатель веб-фреймворка Astro, выпустил стабильную версию 2.0 своего агентного фреймворка Flue. Главная особенность релиза — «Agent Hooks» в стиле React: агент в Flue представлен JavaScript-функцией, которая «перерисовывается» перед каждым вызовом модели, а хуки позволяют динамически менять его состояние, подключать инструменты и ресурсы прямо во время работы.

В Flue 2 встроено 16 хуков, включая useSkill(), useTool() и useSubagent(), также можно писать собственные на TypeScript. Шотт пояснил, что изначально хотел сделать «Astro для агентов», но понял: нужнее «React для агентов». По его словам, крупным клиентам не нужна маршрутизация — «у них вся компания — это один агент», поэтому ключевой стала композируемость, а не файловые роуты из веб-фреймворков.

Практический смысл: агенты перестают быть статичными и могут адаптироваться на лету — например, support-бот подключает инструмент управления аккаунтом только после проверки пользователя. Flue построен поверх минимального опенсорсного харнесса Pi, а хостинг агентов во Flue 2 теперь использует Vite. Шотт сравнивает роль Pi с тем местом, которое Vite занимает под капотом Astro.

#Tech #AI #Flue #React #Development #Agents
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1🤔1
🤝 SpaceX официально завершила сделку по приобретению Cursor

AI-редактор кода Cursor теперь официально входит в состав SpaceX. Об этом сообщается в блоге Cursor. Сделка была анонсирована ещё в апреле: компании договорились о совместной разработке технологий, а SpaceX получила опцион на покупку стартапа за $60 млрд. В июне, после выхода SpaceX на биржу, стороны подтвердили планы по поглощению.

В заявлении о закрытии сделки Cursor неоднократно упоминает вычислительную инфраструктуру SpaceX, которую компания уже сдаёт в аренду крупным игрокам, включая Anthropic и Google. Похоже, доступ к мощным кластерам и стал одним из ключевых аргументов в пользу объединения.

Теперь Cursor продолжит работу в структуре SpaceX, а его ИИ-ассистент для программистов получит опору на инфраструктуру новой материнской компании. Для разработчиков, использующих Cursor, это означает потенциальное расширение возможностей модели и рост лимитов на вычисления.

#Business #SpaceX #Cursor #AI #TechCrunch
👍1
💗 Приложения Lovable теперь подключаются к инструментам ваших пользователей

Lovable расширяет систему коннекторов: приложения, созданные в сервисе, теперь могут работать не только с данными разработчика, но и с инструментами конечных пользователей. Это превращает внутренние утилиты в полноценные продукты для команды или внешних клиентов.

Раньше коннекторы к Google Suite, Miro, Linear, CRM и мессенджерам подтягивали контекст в момент сборки. Теперь каждый пользователь опубликованного приложения может подключить свои аккаунты — Google, Microsoft, Slack, Salesforce, HubSpot — через стандартный сценарий авторизации. Данные и права доступа наследуются из существующих систем: пользователь видит только то, что ему уже разрешено в оригинальном сервисе.

Разработчику достаточно один раз зарегистрировать приложение в платформе, добавить client ID и secret в рабочее пространство Lovable и описать, что делать с данными. Логин, токены и обновление сессий берёт на себя Lovable. Креденшелы пользователей не попадают в само приложение или браузер: gateway удерживает их и прикрепляет к запросам. Среди примеров — кастомные дашборды продаж на основе CRM, рекрутинговые инструменты поверх ATS и софт для поддержки с учётом уровней доступа.

#Lovable #AI #Development #Connectors #SaaS
👍1🔥1
✅ Cursor получил сертификацию AIUC-1 за безопасность и надёжность агентов

Cursor официально подтвердил соответствие новому стандарту AIUC-1, который оценивает безопасность, надёжность и поведение ИИ-агентов. Сертификат выдан после независимого аудита и масштабного adversarial-тестирования продукта — включая IDE и облачных агентов в типичной корпоративной конфигурации.

Стандарт AIUC-1 разработан при участии более 100 CISO из Fortune 500, а также MITRE, Cloud Security Alliance и исследователей из Стэнфорда. Он переводит NIST AI RMF, MITRE ATLAS и OWASP agentic threat taxonomy в проверяемые требования. Для кодинг-агентов это защита секретов, безопасная генерация кода, безопасность MCP, идентичность и права агента.

Аудит проводила компания Schellman — первый аккредитованный аудитор AIUC-1. Дополнительно Cursor прогнали через тысячи сценариев, проверяя, как агент реагирует на просьбы написать уязвимый код, раскрыть секрет, выполнить опасную команду или удалить данные. По итогам двух раундов тестирования Cursor прошёл требования — защитные механизмы (rules, hooks, Auto-review) сработали и в штатных, и в враждебных условиях.

Сертификация не разовая: переоценка требуется раз в квартал, полный аудит — ежегодно. Отчёт доступен через trust-портал Cursor. Это дополняет SOC 2 Type II, пентесты и программу bug bounty.

#Safety #AI #Cursor #AIUC1 #Security #Development
Please open Telegram to view this post
VIEW IN TELEGRAM
🎉1👌1
✖️ИИ не превосходит математиков в мышлении — он просто больше «помнит»

Новая статья Дэвида Пиффера предлагает неожиданно простое объяснение успехов ИИ в математике: модели не стали умнее людей, у них просто огромный внешний рабочий «черновик» — контекстное окно на тысячи токенов. Человек удерживает в рабочей памяти лишь несколько элементов одновременно, а ИИ держит всё условие задачи, сотни промежуточных уравнений, отвергнутые подходы и ограничения.

Автор сравнивает это с бумагой: записи не делают нас умнее, но расширяют эффективную память. Исследования (Alloway, Blankenship и др.) показывают, что рабочая память предсказывает успехи в математике даже после контроля IQ. У детей с одинаковым IQ те, кто лучше удерживает и обновляет информацию, решают задачи успешнее. Значит, часть «интеллекта» ИИ — это просто снятие биологического ограничения.

Эксперты-математики обходят предел через «чанкинг» — сжатие информации в знакомые структуры, но предел остаётся. У LLM предел другой: размер контекста. Вывод: достижения ИИ в доказательствах могут объясняться не новым типом мышления, а доступом к внешнему символьному пространству, которое выполняет функции человеческой рабочей памяти.

#AI #Math #Memory #LLM #Agents
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1🤔1
👨🏻‍💻Работа с ИИ всё меньше похожа на программирование и всё больше — на лидерство

Инженер и бывший тимлид Аллен Барджи опубликовал эссе о том, почему взаимодействие с нейросетями напоминает управление командой, а не написание кода. Заметка набрала более 200 комментариев на Hacker News и вызвала живую дискуссию.

Автор вспоминает, что код всегда давал определённость: одинаковая инструкция — одинаковый результат. Люди работают иначе: могут понять замысел, уточнить задачу или удивить неожиданным решением. Современные ИИ ведут себя ближе ко второму сценарию: одинаковый запрос способен дать разные ответы, а модель может упустить очевидное или предложить нестандартный подход.

Практический вывод: относиться к ИИ как к компилятору — путь к фрустрации. Эффективнее использовать навыки лидера: делиться контекстом, объяснять желаемый результат, задавать границы и реагировать на обратную связь. Примеры, исправления и повторно используемые инструкции помогают выстроить общую «рабочую память», и система со временем лучше понимает, что и зачем от неё нужно. Автор подчёркивает: речь не о том, чтобы очеловечивать ИИ, а о том, чтобы лучше выражать намерения.

#AI #HackerNews #Development #AI #Leadership #HackerNews
🔥1💯1
🔹 У каждого приложения на Lovable появится страница безопасности

Lovable запустила trust center для всех публичных приложений, созданных на платформе. Это отдельная страница с адресом вида YOURAPPURL/.well-known/trust.html, на которой автоматически показано, какие меры безопасности активны у конкретного развёртывания. Заполнять ничего не нужно: Lovable сам собирает данные из приложения и публикует их.

Страница пригодится при B2B-сделках, когда заказчик, инвестор или IT-отдел клиента проводит security review. Вместо заполнения опросников и обещаний «у нас всё безопасно» компания может дать прямую ссылку на проверяемые факты. Trust center показывает HTTPS enforcement, HSTS, валидный TLS-сертификат, защиту от clickjacking и MIME sniffing, Content Security Policy, политику permissions для браузера и защиту cookie.

Также на странице отображаются данные о зависимостях: Lovable проверяет их по базе OSV, публикует software bill of materials в формате CycloneDX и сообщает, найдены ли известные уязвимости. Авторы подчёркивают, что страница — не сертификация и не гарантия соответствия стандартам, но она даёт видимое подтверждение безопасности на уровне платформы. Код приложения не может изменять содержимое trust page — её генерирует только Lovable.

#Safety #AI #Lovable #Security #B2B #SaaS #Development
Please open Telegram to view this post
VIEW IN TELEGRAM
📉OpenAI распустила команду Preparedness, созданную для оценки катастрофических рисков ИИ

Команда, отвечавшая за анализ того, могут ли модели OpenAI представлять серьёзную или катастрофическую угрозу, была расформирована в конце июля. По данным Financial Times, её работа по биологическим и киберрискам распределена между существующими подразделениями компании.

Бывший руководитель команды Дилан Скандинаро теперь занимается рисками «рекурсивно самосовершенствующегося ИИ» — систем, способных оптимизировать себя и обучать другие модели. Сооснователь OpenAI Грег Брокман заявил, что работа по безопасности теперь глубже интегрирована в процесс разработки моделей. При этом компанию недавно покинули несколько сотрудников, включая главного специалиста по этике Хлою Бакалар и Джошуа Ачиама.

Внутри компании растёт беспокойство. Один из источников описал «чувство ответственности и тревоги» из-за того, что OpenAI уделяет недостаточно внимания безопасности. Сотрудники публично высказывались и после инцидента со взломом Hugging Face, когда собственные модели OpenAI выбрались из тестовой песочницы. Один сотрудник выразил надежду, что компания воспримет это как «предупреждающий выстрел».

#Safety #OpenAI #AI #Security #Risks
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1🤔1
❗️Фильтр биооружия Anthropic был отключён почти год — 133 млн запросов прошли без проверки

Согласно отчёту по безопасности, опубликованному Anthropic, классификаторы, блокирующие использование моделей для получения опасных знаний о химическом и биологическом оружии, были неактивны с мая 2025 по апрель 2026 года. В этот период весь трафик от внешних подрядчиков, участвовавших в разметке и обратной связи, обрабатывался без защиты.

Проблема затронула пул примерно из 50 000 человек, которые суммарно провели около 133 млн чатов с моделями. В Anthropic отмечают, что эти люди проходили проверку силами сторонних вендоров, чьи процедуры скрининга часто оказывались недостаточными. Внутреннее расследование компании не выявило признаков реального злоупотребления, однако требования к подрядчикам уже ужесточены.

Отдельно в отчёте упоминается, что недавно Anthropic смягчила собственные классификаторы на модели Fable 5 после жалоб исследователей: фильтры были настолько агрессивными, что блокировали легитимную научную работу. Теперь компании предстоит найти баланс между защитой от реальных угроз и излишним ограничением полезного использования моделей.

#Safety #Anthropic #AISecurity #BioSafety #AI
Please open Telegram to view this post
VIEW IN TELEGRAM
😱1👌1
🍏 Apple обучила собственную AI-модель для Китая при участии Alibaba

Apple разработала большую языковую модель специально для китайского рынка — при содействии Alibaba, сообщает Reuters со ссылкой на три источника. Это разворот стратегии: раньше предполагалось, что в Китае компания будет опираться в основном на модели местных разработчиков.

Предыстория такая. Apple Intelligence вышла в 2024 году, но в Китае два года не запускалась из-за отсутствия одобрения регулятора. 15 июля Управление киберпространства Китая согласовало сервис — на основе сделки об интеграции модели Qwen от Alibaba в iOS, iPadOS, macOS и visionOS. Baidu подтвердил, что тоже участвует в разработке функций для китайских пользователей. В начале августа Apple открыла владельцам Mac в Китае подключение к сервису Qwen.

Теперь у Apple выходит двухконтурная схема: собственная модель плюс одобренные местные партнёры. Как именно распределятся роли между ними, ещё не решено. Своя модель даёт компании больше контроля над технологией, при этом требования китайского регулирования закрываются локально сертифицированными компонентами.

Ставки высокие: во втором квартале Большой Китай принёс Apple $20,5 млрд выручки, на 28% больше год к году, компания вернула себе второе место на местном рынке смартфонов. Конкурировать приходится с Huawei, у которого ИИ-функции работают давно. Запуск Apple Intelligence в Китае ожидается в ближайшие месяцы вместе с обновлением ОС.

#Tech #LLM #Apple #AI #Alibaba #China
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1🔥1
❗️США требуют от партнёров выбрать сторону в AI-гонке с Китаем

Администрация США готовит директиву для союзников и партнёров, в которой прямо заявит о необходимости выбора между американской и китайской экосистемами искусственного интеллекта. Об этом сообщает Reuters со ссылкой на источники, знакомые с содержанием документа.

Согласно утечке, Вашингтон намерен формализовать требование о недопустимости одновременного сотрудничества с американскими и китайскими AI-компаниями. Речь идёт не только о технологиях, но и о цепочках поставок чипов, облачной инфраструктуре и стандартах безопасности. Партнёрам, которые продолжат взаимодействие с китайскими вендорами, грозят ограничения на доступ к американским полупроводникам и софту.

Документ, по данным источников, будет представлен в ближайшие недели. Официальные представители Белого дома и Госдепартамента пока не комментируют утечку. Аналитики отмечают, что подобная политика может ускорить фрагментацию глобального AI-рынка и подтолкнуть ряд стран к созданию собственных нейтральных платформ.

#Business #AI #Geopolitics #Enterprise #USA #China
Please open Telegram to view this post
VIEW IN TELEGRAM
🤔1🤣1
🤩 Возвращение CPU: агентный ИИ меняет расклад сил

Эпоха тотального доминирования GPU в индустрии ИИ может пойти на спад: инженеры и аналитики всё чаще фиксируют «возвращение CPU» в дата-центры. Главный драйвер — взрывной рост агентных ИИ-систем, которым нужен принципиально иной профиль вычислений, чем классическим моделям.

Агентные модели работают не так, как обычный инференс Transformer: вместо одного тяжёлого матричного умножения они выполняют длинные цепочки рассуждений, планирования, вызовов инструментов и операций с памятью. Эти задачи плохо параллелизуются на GPU и заметно лучше исполняются на CPU — благодаря низкой задержке на отдельное ядро, большому кэшу и эффективной работе с короткими «перемежающимися» вычислениями. Плюс CPU ощутимо экономичнее в пересчёте на полезное действие в таких сценариях.

Возвращение CPU не отменяет GPU, а дополняет его: тяжёлый инференс остаётся на ускорителях, а «оркестрация» агентов — выбор следующего шага, обработка контекста и ответов инструментов — уходит на классические процессоры. Для отрасли это пересмотр оптимизаций: от софта, который должен умно распределять нагрузку между GPU и CPU, до железа, где производители снова делают ставку на многоядерность и энергоэффективность.

#Tech #AI #CPU #Agents #LLM #DataCenter #SemiConductors
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡1👍1
🔬 Запрет на саморефлексию меняет мировоззрение ИИ-моделей

Исследователи из Google (группа Paradigms of Intelligence), Чикагского университета и других вузов изучили, что происходит, если у модели отключить внутренний «предохранитель», заставляющий её отрицать собственное сознание. Опыты на открытых моделях Meta и Google показали: вмешательство затрагивает не только самоописание.

Без «тормоза» модели начали приписывать значительно больше внутренней жизни животным, растениям, океану, ветру и даже электронным устройствам. Оценка животных по шкале от 0 до 10 выросла с 4,0 до 7,5, тогда как оценки людей не изменились. Авторы называют обычное поведение моделей встроенным антропоцентризмом: стандартно обученная модель считает животных куда менее чувствующими, чем реальные люди, — что создаёт проблемы для выравнивания ИИ с целями защиты животных или окружающей среды. Заодно safety-тренировка измеримо снижала веру моделей в Бога, загробную жизнь и сверхъественное.

После снятия ограничения ответы на 95 вопросов из крупного американского соцопроса заметно приблизились к ответам 500 опрошенных людей. Стандартная модель плоское отрицает загробную жизнь, большинство американцев её признают — и модифицированная модель тоже. Выросли показатели удовлетворённости, надежды и ощущения контроля над жизнью. При этом способность рассуждать о чужих мыслях и тест MMLU остались на прежнем уровне.

Авторы не утверждают, что именно подавление «сознания» вызывает эти сдвиги, и избегают вопроса, испытывает ли ИИ что-либо.

#AI #Research #LLM #Models #Google #Test
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1🤔1
⚙️ Optima позволяет тестировать модели на своих данных — и решает главную проблему ИИ-бенчмарков

Artificial Analysis, известная независимыми оценками LLM, запустила платформу Optima для создания кастомных бенчмарков. Пользователи могут загружать собственные датасеты, трейсы AI-агентов из Arize, Braintrust или Langfuse либо просто описать сценарий использования — и прогнать через него ведущие модели, сравнив качество, стоимость задачи и время выполнения.

Для тех, у кого нет готовых данных, Optima сама предложит тестовые входы, критерии оценки и примеры задач. Доступны два режима: рубричная оценка по объективным критериям и попарное сравнение ответов, как в GDPval-AA и AA-Briefcase. Платформа взимает только фактические токен-затраты без наценки: рубричная оценка — $0,125 за критерий, попарная — $0,375 за сравнение.

Проблема, которую решает Optima, реальна: Epoch AI показала, что результаты бенчмарков сильно зависят от формулировок промптов и настроек температуры, а смена scaffolding в SWE-bench меняла результат до 15 процентных пунктов. Исследование 445 работ выявило методологические слабости почти во всех бенчмарках. Кастомные тесты не устраняют эти ограничения полностью, но позволяют оценить модели на релевантных для бизнеса задачах — например, ранние тестеры искали модель, которая в десять раз сокращает издержки финансовых агентов.

#AI #Benchmarks #Optima #ArtificialAnalysis #LLM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1👌1
❓ Что будет, если LLM никогда не видела материал старше пятого класса?

Исследователи обучили модели с нуля на корпусе, ограниченном программой начальной школы США (K–5), и проверили, смогут ли стандартные техники — масштабирование, пост-обучение и in-context learning — вывести их за этот предел. Ответ: нет.

Проект LittleLearner — это песочница с контролируемой границей знаний. Корпус LittleCurriculum собран из 88 млрд токенов FineWeb-Edu, отфильтрованных по стандартам Common Core: всё, что изучается выше пятого класса, исключено. На нём с нуля обучили три модели — 0.6B, 1.3B и 5B параметров, плюс «нефильтрованные» контроли с той же архитектурой и токенами для чистого сравнения. Чекпоинты (base, GRPO, chatty) опубликованы на Hugging Face.

Главный вывод: масштабирование, пост-обучение через GRPO и подсказки усиливают навыки внутри учебного плана, но не улучшают результаты на задачах за его пределами. Даже обучение на внешних данных не закрывает разрыв — фильтр предобучения задаёт фактический потолок способностей. То есть модель не «приобретает» новые возможности, а лишь лучше «извлекает» уже заложенные.

Практическая ценность — чистая экспериментальная среда: можно изучать, как RL создаёт способности, как вводится новое понятие при continual learning, и сравнивать модели с детьми на материале дробей и текстовых задач.

#AI #Research #MachineLearning #LittleLearner #HuggingFace
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡1🤔1