Индуктивно-дедуктивный синтез: ИИ научился создавать формально верифицированные системы
Исследователи из UC Berkeley представили метод Inductive Deductive Synthesis (IDS), который позволяет AI-агентам генерировать код с формальными доказательствами корректности. Это первый подход, решающий проблему, с которой не справляются даже лучшие современные кодинг-агенты.
Современные AI-системы (Codex с GPT-5.4 и Claude Code с Opus 4.6) успешно справляются лишь с 2 из 7 спецификаций распределённого key-value хранилища. IDS достигает 7/7 в среднем за 6.8 часов и $106 на спецификацию — это примерно в 200 раз быстрее работы эксперта-человека и на 17% дешевле SOTA-агентов.
Метод основан на совместном и инкрементальном синтезе реализации и доказательства. IDS учится на неудачных попытках, систематически перебирая перспективные стратегии. Система также интегрирует обратную связь по производительности, что даёт реализации до 3 раз быстрее опубликованных верифицированных систем.
Особенно важно для разработки распределённых систем, где свойства вроде консистентности чтения/записи должны гарантироваться при любом возможном чередовании событий. Формальная верификация, которая раньше требовала месяцев работы экспертов, теперь становится доступной AI-агентам.
#AI #Verification #Research #IDS
Исследователи из UC Berkeley представили метод Inductive Deductive Synthesis (IDS), который позволяет AI-агентам генерировать код с формальными доказательствами корректности. Это первый подход, решающий проблему, с которой не справляются даже лучшие современные кодинг-агенты.
Современные AI-системы (Codex с GPT-5.4 и Claude Code с Opus 4.6) успешно справляются лишь с 2 из 7 спецификаций распределённого key-value хранилища. IDS достигает 7/7 в среднем за 6.8 часов и $106 на спецификацию — это примерно в 200 раз быстрее работы эксперта-человека и на 17% дешевле SOTA-агентов.
Метод основан на совместном и инкрементальном синтезе реализации и доказательства. IDS учится на неудачных попытках, систематически перебирая перспективные стратегии. Система также интегрирует обратную связь по производительности, что даёт реализации до 3 раз быстрее опубликованных верифицированных систем.
Особенно важно для разработки распределённых систем, где свойства вроде консистентности чтения/записи должны гарантироваться при любом возможном чередовании событий. Формальная верификация, которая раньше требовала месяцев работы экспертов, теперь становится доступной AI-агентам.
#AI #Verification #Research #IDS
👍1
Стартап Pramaana Labs закрыл крупнейший seed-раунд в $27 млн от Khosla Ventures. Компания разрабатывает инструменты формальной верификации для ИИ-моделей — математически строгого доказательства корректности их работы.
Технология нацелена на критически важные сферы: юридические консультации, открытие лекарств и подготовку налоговых деклараций. В этих областях ошибки ИИ могут стоить миллионы или даже жизни. Формальная верификация позволяет гарантировать, что модель не выдаст неверный ответ в заданных границах входных данных.
Для разработчиков это означает появление инструмента, который можно интегрировать в CI/CD пайплайны для автоматической проверки моделей перед деплоем. В отличие от тестирования на бенчмарках, формальные методы дают математические гарантии — особенно важно для regulated industries.
#AI #Verification #Investing #KhoslaVentures #Startup
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥1
Anthropic запускает процедуру подтверждения личности для пользователей Claude. Компания заявляет, что это необходимо для предотвращения злоупотреблений, соблюдения политик использования и выполнения юридических обязательств. Верификация будет запрашиваться при доступе к определённым функциям, а также в рамках плановых проверок безопасности.
Для верификации выбран партнёр Persona Identities. Пользователю потребуется предоставить оригинал государственного удостоверения личности с фотографией (паспорт, водительские права и т.д.) — принимаются документы большинства стран. Копии и цифровые документы не подходят. Компания обещает, что данные используются только для подтверждения личности и не применяются в других целях.
Если верификация не пройдена (из-за нечёткого фото, просроченного документа или технической ошибки), пользователь может попробовать снова. В случае блокировки аккаунта после проверки предусмотрена процедура апелляции через форму на claude.ai.
#AI #Anthropic #Claude #Verification #Security
Please open Telegram to view this post
VIEW IN TELEGRAM
😱2
🤗 ProvenanceGuard: верификация с учётом источника для MCP-агентов
Multiverse Computing и Hugging Face представили ProvenanceGuard - слой пост-генерационной проверки для LLM-агентов на Model Context Protocol. Метод решает проблему cross-source conflation: утверждение верно где-то в доказательствах, но приписано не тому инструменту.
Обычные чекеры (RAGAS Faithfulness, MiniCheck, AlignScore, SummaC) объединяют данные в один пул и не показывают, какой вывод MCP-инструмента подтверждает конкретный claim. ProvenanceGuard читает trace агента, сохраняя source ID, и делает пять шагов: разбивает ответ на утверждения, находит релевантный источник, проверяет поддержку через DeBERTa NLI, сверяет его с названным в ответе и выдаёт вердикт по каждому claim плюс решение allow/block. Заблокированные ответы может переписать RARR-style repair. Конфигурация локальная: MiniLM и DeBERTa NLI.
На 281 реальной трассе медицинского агента и 361 claim, проверенном экспертами, поймано 138 из 139 невалидных утверждений; F1 на блокировку - 0.802 против 0.783 у MiniCheck. Точный источник определён примерно в 86% случаев, на сложном наборе похожих источников - 50.3%. Оверхед - около 0.5 секунды на ответ. Подход уже применён в NVIDIA NVFlow для финансового агента.
🎨 qvabo.studio/tg · картинки и видео
#Tech #AI #MCP #LLM #Agents #Verification #HuggingFace
Multiverse Computing и Hugging Face представили ProvenanceGuard - слой пост-генерационной проверки для LLM-агентов на Model Context Protocol. Метод решает проблему cross-source conflation: утверждение верно где-то в доказательствах, но приписано не тому инструменту.
Обычные чекеры (RAGAS Faithfulness, MiniCheck, AlignScore, SummaC) объединяют данные в один пул и не показывают, какой вывод MCP-инструмента подтверждает конкретный claim. ProvenanceGuard читает trace агента, сохраняя source ID, и делает пять шагов: разбивает ответ на утверждения, находит релевантный источник, проверяет поддержку через DeBERTa NLI, сверяет его с названным в ответе и выдаёт вердикт по каждому claim плюс решение allow/block. Заблокированные ответы может переписать RARR-style repair. Конфигурация локальная: MiniLM и DeBERTa NLI.
На 281 реальной трассе медицинского агента и 361 claim, проверенном экспертами, поймано 138 из 139 невалидных утверждений; F1 на блокировку - 0.802 против 0.783 у MiniCheck. Точный источник определён примерно в 86% случаев, на сложном наборе похожих источников - 50.3%. Оверхед - около 0.5 секунды на ответ. Подход уже применён в NVIDIA NVFlow для финансового агента.
🎨 qvabo.studio/tg · картинки и видео
#Tech #AI #MCP #LLM #Agents #Verification #HuggingFace
🤯1🤓1