🔐 Агентный ИИ в безопасности: неверный контекст ведет к катастрофическим решениям
Агентный искусственный интеллект, на который все больше полагается кибербезопасность, способен принимать ошибочные решения с машинной скоростью из-за неполного или некорректного контекста. Как отмечает Эмануэль Салмона, CEO Nagomi Security, «автоматизация без проверенного контекста — это просто более быстрый способ ошибаться в масштабе».
В отличие от обычных LLM, которые работают с промптами и не имеют состояния, агентный ИИ обладает целью и stateful-контекстом. Если агенту не передана информация о критичности конкретного устройства для бизнеса, он может принять решение о его немедленном отключении, не осознавая катастрофических последствий. Агент не остановится, пока не достигнет цели — и если контекст неполон, он может «додумать» недостающие данные, что ведет к галлюцинациям и опасным действиям.
Избыток контекста тоже вреден: он замедляет рассуждения, вызывает потерю фокуса и зацикливание. Ключевая проблема — контекст должен постоянно обновляться в реальном времени, иначе агент будет действовать на устаревших данных. Для безопасного применения агентного ИИ необходимо точно определять границы контекста под каждую задачу, иначе автоматизированные решения принесут больше вреда, чем пользы.
#AI #Safety #Agent #LLM #CyberSecurity #Context #NagomiSecurity
Агентный искусственный интеллект, на который все больше полагается кибербезопасность, способен принимать ошибочные решения с машинной скоростью из-за неполного или некорректного контекста. Как отмечает Эмануэль Салмона, CEO Nagomi Security, «автоматизация без проверенного контекста — это просто более быстрый способ ошибаться в масштабе».
В отличие от обычных LLM, которые работают с промптами и не имеют состояния, агентный ИИ обладает целью и stateful-контекстом. Если агенту не передана информация о критичности конкретного устройства для бизнеса, он может принять решение о его немедленном отключении, не осознавая катастрофических последствий. Агент не остановится, пока не достигнет цели — и если контекст неполон, он может «додумать» недостающие данные, что ведет к галлюцинациям и опасным действиям.
Избыток контекста тоже вреден: он замедляет рассуждения, вызывает потерю фокуса и зацикливание. Ключевая проблема — контекст должен постоянно обновляться в реальном времени, иначе агент будет действовать на устаревших данных. Для безопасного применения агентного ИИ необходимо точно определять границы контекста под каждую задачу, иначе автоматизированные решения принесут больше вреда, чем пользы.
#AI #Safety #Agent #LLM #CyberSecurity #Context #NagomiSecurity
❌ Разрыв контекста: у корпоративных ИИ-агентов проблема доверия, а не поиска данных
Опрос VentureBeat Pulse Research среди 101 предприятия показал: 57% компаний за последние полгода сталкивались с тем, что их ИИ-агенты выдавали уверенные, но неверные ответы из-за отсутствующего или противоречивого бизнес-контекста. Более половины из них наблюдали такую ошибку неоднократно. Проблема не в галлюцинациях модели — агент ошибается, потому что контекст, которым его кормят, неполон или устарел.
RAG (retrieval-augmented generation) уже стал основным источником контекста для 38% предприятий, обогнав все остальные методы. При этом встроенные средства поиска от провайдеров — OpenAI File Search (40%) и Google Vertex AI Search (38%) — неожиданно обошли выделенные векторные базы данных. Однако 58% компаний либо уже внедряют, либо строят управляемый семантический слой для исправления ситуации, но у большинства он пока не в продакшене.
Рынок разрывается между предпочтениями и реальностью: 36% заявляют, что хотят сохранить независимые best-of-breed инструменты, но на практике скупают встроенные решения провайдеров. 57% планируют сменить или добавить провайдера в течение года. К концу 2026 года ожидается доминирование гибридного поиска (34%). Главный вывод: инфраструктура контекста строится быстрее, чем ей успевают доверять.
#AI #RAG #EnterpriseAI #Context #TrustIssues
Опрос VentureBeat Pulse Research среди 101 предприятия показал: 57% компаний за последние полгода сталкивались с тем, что их ИИ-агенты выдавали уверенные, но неверные ответы из-за отсутствующего или противоречивого бизнес-контекста. Более половины из них наблюдали такую ошибку неоднократно. Проблема не в галлюцинациях модели — агент ошибается, потому что контекст, которым его кормят, неполон или устарел.
RAG (retrieval-augmented generation) уже стал основным источником контекста для 38% предприятий, обогнав все остальные методы. При этом встроенные средства поиска от провайдеров — OpenAI File Search (40%) и Google Vertex AI Search (38%) — неожиданно обошли выделенные векторные базы данных. Однако 58% компаний либо уже внедряют, либо строят управляемый семантический слой для исправления ситуации, но у большинства он пока не в продакшене.
Рынок разрывается между предпочтениями и реальностью: 36% заявляют, что хотят сохранить независимые best-of-breed инструменты, но на практике скупают встроенные решения провайдеров. 57% планируют сменить или добавить провайдера в течение года. К концу 2026 года ожидается доминирование гибридного поиска (34%). Главный вывод: инфраструктура контекста строится быстрее, чем ей успевают доверять.
#AI #RAG #EnterpriseAI #Context #TrustIssues
⚡1👍1
В репозитории openai/codex появился PR #33972, который меняет метаданные модели в версии 0.144. Вместе с обновлением bundled model metadata произошло снижение лимита контекстного окна Codex — с 372 000 до 272 000 токенов. Это заметное сокращение, которое напрямую влияет на возможности агента при работе с большими кодовыми базами.
Изменение затронуло файлы конфигурации модели, которые поставляются в составе CLI-инструмента Codex. Ранее модель могла обрабатывать до 372k токенов за один запрос — этого хватало для анализа крупных файлов или нескольких файлов одновременно. Теперь же лимит снижен на 100k токенов, что может быть связано с оптимизацией стоимости инференса или изменением архитектуры модели. Для разработчиков, использующих Codex в CI/CD или в связке с Claude Code / Cursor, это означает необходимость более тщательно разбивать контекст на части.
Практически это значит, что задачи, требующие анализа больших монолитных файлов или множества зависимостей, теперь могут не помещаться в контекст. Разработчикам стоит пересмотреть стратегию подачи кода — возможно, активнее использовать файловую навигацию и разбивку на модули. С другой стороны, снижение контекста может ускорить ответы и снизить расходы на API.
#Business #OpenAI #Codex #Context #Development #AI
Please open Telegram to view this post
VIEW IN TELEGRAM
🧑🔬 ИИ-системы теряют инструкции пользователя при сжатии контекста
Исследователи из Penn State выяснили, что при автоматическом сжатии истории диалога модели теряют большинство пользовательских ограничений. В среднем после «компакции» сохраняется лишь 17% таких правил, как «подтверждай перед изменением» или «не используй моё имя».
Проблема в том, что системы сжатия оптимизированы под сохранение задачи и текущего состояния, а временные условия пользователя отбрасываются. Из-за этого агент может начать отправлять письма без согласия, раскрывать данные или пропускать обязательные проверки. Авторы представили набор COMPINT и протестировали популярные компакторы: большинство справляются хуже, чем работа без сжатия, а даже специальный промпт для сохранения ограничений даёт меньше 40% удержания.
Решение — небольшой модуль на базе Qwen3.5-9B, который сканирует входные сообщения, выделяет сессионные ограничения и добавляет их отдельным списком к итоговой сводке. Он не требует дообучения и изменений в системе. Удержание правил — 95,6% для траекторий агента, 95,1% для долгих исследовательских задач и 90,3% для многоходовых чатов. Код и набор COMPINT доступны на GitHub.
#AI #Context #Infromation #Research #LLM #Tech #COMPINT
Исследователи из Penn State выяснили, что при автоматическом сжатии истории диалога модели теряют большинство пользовательских ограничений. В среднем после «компакции» сохраняется лишь 17% таких правил, как «подтверждай перед изменением» или «не используй моё имя».
Проблема в том, что системы сжатия оптимизированы под сохранение задачи и текущего состояния, а временные условия пользователя отбрасываются. Из-за этого агент может начать отправлять письма без согласия, раскрывать данные или пропускать обязательные проверки. Авторы представили набор COMPINT и протестировали популярные компакторы: большинство справляются хуже, чем работа без сжатия, а даже специальный промпт для сохранения ограничений даёт меньше 40% удержания.
Решение — небольшой модуль на базе Qwen3.5-9B, который сканирует входные сообщения, выделяет сессионные ограничения и добавляет их отдельным списком к итоговой сводке. Он не требует дообучения и изменений в системе. Удержание правил — 95,6% для траекторий агента, 95,1% для долгих исследовательских задач и 90,3% для многоходовых чатов. Код и набор COMPINT доступны на GitHub.
#AI #Context #Infromation #Research #LLM #Tech #COMPINT
👍1👏1