CUA: оупенсорс Computer Use Агенты

Интересное открытое решение класса CUA — открытый комбайн с набором инструментов для запуска агентов, управляющих рабочими станциями.

Работает на macOS, Linux, Windows. В комплекте сэндбоксы для изоляции, SDK для кросс-платформенного взаимодействия с UI и бенчмарки для оценки.

Использует Docker и виртуализацию для безопасности, поддерживает мультимодальные модели и обучение через RL.

MIT лицензия. Репо активный - уже 227 релизов, 10К звёзд на гите.

Сайт разрабов trycua.com

#CUA #ComputerUse #Agents #trycua
———
@tsingular

Agent-Zero: ещё один опенсорсный агентский фреймворк со своей виртуалкой линукса

Agent Zero - открытый фреймворк работающий с любыми моделями и имеющий огромное количество готовых инструментов под капотом (включая MCP, навыки, личности, плагины, сабагенты, расписание и память), имеет одну очень крутую отличительную особенность, - он запускает полноценную Linux-машину внутри Docker-контейнера.

XFCE-десктоп, браузер, файловая система, терминал — агент работает за компьютером как обычный пользователь, но при этом она внутри изолированной песочницы.
Alan Majer из Linux Foundation назвал его «высокоавтономным агентом поверх централизованных и децентрализованных систем».

📋 Как устроен
• XFCE-десктоп в контейнере: агент видит экран и кликает, тот же интерфейс, что у человека, без скриншотов и пиксельных координат.
• Встроенный браузер с DOM-аннотациями: размечает страницу, заполняет веб-формы и собирает данные.
• Plugin Hub на 100+ расширений, AI-сканер безопасности при установке каждого плагина.
• CLI-коннектор как мост к хосту: реальные файлы и браузер за пределами Docker.
• Мультиагентное делегирование: головной агент дробит задачу на подчинённых, у каждого своя память и проект.

💼 Бизнесу на заметку
Операторские задачи в legacy-софте без API, документооборот через LibreOffice без ручного экспорта, пентесты, OSINT, визуальная аналитика данных.

Настоящий наблюдаемй Computer Use в агенте с удобным WebUI.
Если очень хочется, можно Краба или Hermes повесить как openai совместимый эндпоинт внутри а0.

📎 GitHub · Сайт · Десктоп-гайд · Видеообзор (176К)

#AgentZero #ComputerUse #aiagent #opensource
------
@tsingular

Computer Use — в Hermes Agent добавили фоновое управление для macOS, Windows и Linux

📋 Hermes Agent получил кроссплатформенный инструментарий computer_use: агент кликает, печатает, скроллит и перетаскивает элементы на macOS, Windows и Linux в фоновом режиме. Курсор пользователя не двигается, фокус клавиатуры не перехватывается, виртуальные рабочие столы не переключаются, - это позволяет человеку и агенту работать на одной машине параллельно.

Под капотом: open-source cua-driver, общающийся с Hermes по MCP через stdio. На macOS используются приватные SPI SkyLight (те же, что у Codex от OpenAI), на Windows — UIA, на Linux — AT-SPI.

💡 Три режима захвата экрана:
som (скриншот с нумерацией интерактивных элементов — основной),
vision (чистый скриншот),
ax (дерево доступности без изображения — для текстовых моделей).

Ключевое отличие от аналогов: computer_use работает с любой моделью, поддерживающей инструменты, — Claude, GPT, Gemini или открытая модель на vLLM.
Никакой привязки к Anthropic-схемам.

Установка:
hermes computer-use install,

статус:
hermes computer-use status.

💼 Оптимизация токенов: сессия из 20 действий на дисплее 1568×900 тратит ~30K токенов скриншотного контекста вместо ~600K.
Четыре слоя сжатия: удаление избыточных скриншотов, очистка старых вызовов, интеллектуальная обрезка.
Безопасность: блокировка опасных shell-паттернов в действиях type, запрет деструктивных команд, режим ручного подтверждения каждого действия через approvals.mode: manual.
Драйвер обновляется вместе с Hermes (hermes update) или принудительно (hermes computer-use install --upgrade).

📎
• Документация: hermes-agent.nousresearch.com/docs/user-guide/features/computer-use
• Навык агента: hermes-agent.nousresearch.com/docs/user-guide/skills/bundled/computer-use
• Драйвер: github.com/trycua/cua

#Hermes #ComputerUse #update
———
@tsingular