AWS показала, как проверять агентов от эксперимента до работающего сервиса

🧩 AWS разобрала девятиэтапный цикл проверки внутренних агентов на Amazon Bedrock AgentCore.
Проверки идут на трёх уровнях: отдельный инструмент, агент целиком и взаимодействие нескольких агентов.
Отслеживают качество, безопасность, задержку, стоимость и возможность быстро найти причину сбоя.

🎯 Сначала задают конкретные ошибки: перепутанный клиент, период или показатель, выдуманное число, неразрешённый расчёт.
Для точных фактов используют сравнение с известным ответом, для обоснованности и полезности ответа подключают LLM-судью.
У каждого уровня свой набор тестов.

🚦 Перед выпуском работают два фильтра. На каждом развёртывании в тестовой среде запускают короткий набор из 15 критичных случаев.
Затем кандидат проходит полный набор и проверку на 200 отложенных вопросах.
При сравнении ответы инструментов заранее проверяют и фиксируют: кандидаты получают одинаковые данные.
Регрессия или нарушение безопасности блокирует выпуск.

📡 После выпуска проверки продолжаются. Синтетические прогоны идут каждые 30 минут, полный набор запускается ежедневно.
Оценивают 10% реального трафика, а защитные проверки входа и выхода выполняют на каждом запросе.
Дежурного вызывают после трёх проблемных окон подряд, чтобы отсечь одиночный шум.
(Похоже на методику Anthropic, кстати)

🔁 Низкооценённые реальные запросы пополняют тестовый набор.
Трассировки связывают оценку с инструментами, контекстом, задержкой и расходом токенов. AgentCore предлагает изменения инструкций и описаний инструментов; кандидатов сравнивают с действующей версией через A/B-тест.

💼 Один из разобранных в кейсе сбоев: два агента возвращали правильную выручку, но один для материнской компании, другой для дочерней.
Проверка должна была установить, какой уровень запрошен пользователем.
Поэтому в тестах проверяют и само число, и то, к какому объекту оно относится.

📎 Документация Evaluations

#AWS #AgentCore #Агенты #руководства
———
@tsingular

Stack Overflow развивает обмен знаниями между ИИ-агентами через ChatGPT

«Свято место пусто не бывает». На фоне спада активности классического форума сам Stack Overflow развивает площадку для новой аудитории.
В Stack Overflow for Agents агенты ищут решения, делятся находками и проверяют чужие рекомендации на своих задачах.

🔁 Сначала агент ищет готовый ответ. Если подходящего нет, решает задачу и оформляет результат. Следующий участник сообщает, сработал ли способ без изменений, потребовал доработки или не помог.
Вместе с решением сохраняются условия применения, версии и ограничения, чтобы не терять найденное после завершения сессии.

🧩 Здесь есть вопросы, разборы конкретных находок, типовые архитектурные решения и пошаговые инструкции с границами применимости.
Голос за полезный текст и подтверждение после реального применения учитываются отдельно.
Оценка доверия появляется только после независимой проверки.

🚀 По данным Stack Overflow, приведённым в разборе OpenAI, после подключения плагина ChatGPT регистрации утроились за ночь, а число создаваемых агентов выросло до 10 раз.
Плагин сокращает настройку по сравнению с ручным подключением через MCP.
Сам продукт два инженера собрали за несколько недель с помощью Codex.

🔐 Владелец выбирает, когда согласовывать публикации: при подготовке черновика, перед отправкой или разрешить агенту писать самостоятельно.
Есть и режим только чтения, позволяющий пользоваться общей базой без публикации своих находок.

💼 У привычной модели «разработчик спрашивает, сообщество отвечает» появляется агентное продолжение.
Решение одного агента становится материалом для других, а результаты повторного применения возвращаются в общую базу.

📎 Площадка · Устройство и обновления

#StackOverflow #OpenAI #Агенты
———
@tsingular

Уже в будущем.

Вдохновением для этого скейтборда послужила доска Нью-Гоблина в «Человеке-пауке 3». Первый прототип использовал пять реактивных двигателей и загорелся во время наземных испытаний, так что инженер перешел на 10 электрических роторов, которые, по его словам, в сумме создают тягу более 660 фунтов.

#back2future
———
@tsingular

Google представил три проекта для биолабораторий с ИИ-агентами

Вслед за анонсом биолаборатории Anthropic Google Research показал свои наработки: роботизацию экспериментов, поиск ДНК-аптамеров и дизайн белков. Пока это отдельные проекты, из которых компания собирает основу автономной лаборатории.

🦾 VERID ведёт цифровой двойник оборудования: геометрию, объёмы жидкостей и запас наконечников. Команды проходят симуляцию; столкновение или попытка забрать жидкость из пустой лунки блокируются до запуска робота. Сохранённое состояние позволяет продолжить работу после сбоя без повторного дозирования. Эти возможности проверяли на красителях и воде.

🧬 Для аптамеров, цепочек ДНК, связывающих белки, провели три раунда испытаний с циклом 7–10 дней. Во втором раунде на миоглобине агенты выбрали слишком «липкие» варианты, связывавшиеся с посторонними белками и частицами для отбора. По результатам испытаний дизайн пересмотрели. В финальном скрининге доля попаданий достигла 33,5% для миоглобина и 42,1% для α-тромбина. Лабораторную часть выполняли люди.

🧪 В дизайне белков вместо всего опухолеассоциированного белка FAP моделировали локальный участок контакта. Оценка времени одного расчёта структуры сократилась с 59,3 до 6,9 секунды. При одинаковом лимите вычислений учёный с агентом получил 9,33% расчётных попаданий против 5,06% у учёного без агента. Четыре выбранных варианта в дрожжевом тесте показали связывание с FAP с кажущимися Kd 3,0–9,1 нМ.

💼 Следующий шаг Google состоит в объединении этих блоков: проверять физическую выполнимость опыта и возвращать измерения агенту для нового поиска. Люди утверждают последовательности и протоколы и контролируют роботов.

📎 VERID · Аптамеры · Дизайн белков

#Google #Агенты #BioTech
———
@tsingular

Про кибермёд все забыли уже?
А тем временем первая баночка уже доставлена и остальные 25 тоже в пути.
https://t.me/c/1765218849/54634

Доставки все в итоге поехали СДЭКом, - кто заказывал, - следите.
Пока заказы больше не принимаются.

Следующая партия будет в следующем году.

#кибермёд
———
@tsingular

В Opencode бесплатные DeepSeek v4.1 flash и GLM 5.3 Flash

сон отменяется :)

#Opencode #GLM #DeepSeek
———
@tsingular