📱Cayu.

Cayu - это production-ready среда выполнения (agent runtime) для создания, масштабирования и надежной эксплуатации автономных ИИ-агентов на Python.

Собрать прототип агента на базе стандартных SDK сегодня несложно, но реальные проблемы в проде начинаются на стыках инфраструктуры: падение процесса прямо во время внешнего API-вызова, утечка учетных данных, переполнение контекста LLM, необходимость паузы для аппрува человеком или потеря истории расходов при ретраях. Cayu закрывает именно эти эксплуатационные вызовы, предоставляя надежные низкоуровневые примитивы без привязки к громоздким внешним оркестраторам.

🔹Ключевые возможности и примитивы рантайма:

🔘Durable Execution и контрольные точки: Сессии, события и транскрипты сохраняются в базу (SQLite локально или PostgreSQL в проде). Любой пайплайн агента можно поставить на паузу, безопасно форкнуть, прервать или возобновить (resume) после перезапуска сервиса.

🔘Human-in-the-Loop (HITL): Нативные механизмы согласований (approvals) и ручного вмешательства. Если модели требуется подтверждение опасного действия или дополнительный ввод от пользователя, выполнение встает на чекпоинт.

🔘Безопасность и виртуальный egress: Строгие политики вызова инструментов (ToolPolicy), типизированные эффекты и изоляция учетных данных. Агенты могут выполнять задачи (например, работу с Git/GitHub CLI), не получая прямого доступа к боевым токенам хоста.

🔘Изоляция окружений: Поддержка локальных воркспейсов, Docker-контейнеров, песочниц E2B и легковесных микро-ВМ (Microsandbox, AWS Lambda MicroVM).

🔘Контроль контекста и расходов: Автоматический подсчет токенов, алгоритмическое сжатие контекста (compaction), защита от переполнения окна модели и пошаговый учет стоимости каждого вызова.

🔘Встроенный Control Plane: Включает готовый сервер на FastAPI и веб-дашборд на React/TypeScript для мониторинга сессий, трейсов, артефактов и задач. Исходники дашборда можно в один клик извлечь для кастомизации (cayu dashboard eject).

🔘Мультипровайдерность: Поддержка OpenAI, Anthropic, AWS Bedrock, Google Cloud Vertex AI, OpenRouter, а также локальный режим авторизации через личную подписку ChatGPT.

💻Пример запуска агента на Python:

import asyncio
from cayu import (
    AgentSpec,
    CayuApp,
    Message,
    OpenAIProvider,
    RunRequest,
    run_to_completion,
)

async def main() -> None:
    app = CayuApp()
    # Регистрация провайдера (берет ключ из OPENAI_API_KEY)
    app.register_provider(OpenAIProvider(), default=True)
    app.register_agent(AgentSpec(name="assistant", model="gpt-4o"))

    # Надежный запуск с фиксацией событий в сессии
    outcome = await run_to_completion(
        app,
        RunRequest(
            agent_name="assistant",
            messages=[Message.text("user", "Объясни концепцию durable agent execution.")],
        ),
    )

    if outcome.ok:
        print(outcome.final_text)
    else:
        print(f"Ошибка {outcome.status}: {outcome.error}")

asyncio.run(main())

🚀Быстрый старт через CLI:

pip install cayu

# Генерация готового каркаса проекта
cayu new myagent
cd myagent

# Запуск проверок и тестов
cayu check --fail-on warning --json
pytest

✅Проект распространяется под открытой лицензией Apache 2.0.

#Python #Cayu #AIAgents #LLM #AgenticAI #DevTools #MachineLearning #OpenSource #Backend #SoftwareEngineering

📱Ссылка на репозиторий:
https://github.com/cayu-dev/cayu

📱Jeff.

Jeff - это сверхлегкая (0.8B параметров) открытая модель «Системы 1» (System 1), спроектированная для быстрого принятия решений и многоклассовой классификации в любых предметных областях за миллисекунды.

Вместо того чтобы тратить секунды и десятки гигабайт видеопамяти тяжелых генеративных LLM на выбор из нескольких вариантов, роутинг или валидацию, Jeff делает выбор за один прямой проход (forward pass) без генерации лишнего текста и возвращает строго откалиброванные вероятности.

🔹Ключевые возможности и сценарии:

🔘Тандем «Быстрый + Умный» (System 1 перед System 2): Jeff ставится как легковесный шлюз перед большой моделью (например, Qwen 3.8-27B). В подавляющем большинстве случаев Jeff принимает решение сам всего за 20–70 мс (в 28–35 раз быстрее!). К тяжелой 27B-модели система обращается только тогда, когда уверенность Jeff падает ниже пороговой. На тестах такая связка показала среднюю точность 95.0% против 86.6% у одиночной 27B-модели.

🔘Модульные адаптеры (v1.3): Базовая модель весит всего ~1.7 ГБ VRAM и поддерживает горячее переключение 15 компактных LoRA-адаптеров под узкие задачи:

✔️guard — защита от промпт-инъекций и джейлбрейков (точность 98.2%);

✔️tools — выбор вызываемого инструмента для агентов (97.2%);

✔️ground — проверка обоснованности ответа источниками (анти-галлюцинации);

✔️triage и support-intents — маршрутизация тикетов и определение намерений клиентов;

✔️legal-clauses, aml, sanctions, soc — доменные проверки для финтеха, комплаенса и ИБ.

🔘Jeff-Code для кодинг-агентов: В связке с Qwen 3.8-27B берет на себя рутинные подготовительные шаги (чтение файлов, grep, запуск тестов) и решает, когда большой модели действительно нужно включать режим глубокого рассуждения (thinking). Задачи выполняются на 47% быстрее при сохранении аналогичного Pass Rate (~62.4%).

🔘Аппаратная всеядность и GGUF: Работает через нативный бэкенд MLX на Apple Silicon, через PyTorch/CUDA на видеокартах NVIDIA, а также через llama.cpp с поддержкой квантованных GGUF-сборок (Q8_0 и Q4_K_M).

💻Пример использования в Python:

from jeff import Client
from jeff.client import choice_question, yes_no_question

# Подключение к локальному инстансу с нужным адаптером
jeff = Client("http://localhost:8765", model="triage")

# Мгновенная классификация тикета
answers = jeff.ask(
    "Посылка пришла разбитой, требую немедленный возврат денег.",
    {
        "team": choice_question(
            {
                "refunds": "Возвраты и финансовые вопросы",
                "parcels": "Поврежденные или утерянные посылки",
                "login": "Проблемы со входом и учетной записью",
            },
            instructions="Какая команда должна обработать тикет?",
        ),
        "angry": yes_no_question("Клиент выражает злость?"),
    },
)

# Получаем категорию с откалиброванной вероятностью
print(answers.choice("team").key)         # parcels
print(answers.choice("team").confidence)  # 0.94

🚀Быстрый старт:

git clone https://github.com/firelex/jeff && cd jeff
uv sync --no-default-groups --extra lora

# Скачивание базы и адаптеров
uv run hf download mstrasser/jeff-base --revision v1.3 --local-dir jeff-base-v1.3
uv run hf download mstrasser/jeff-adapter-triage --revision v1.3 --local-dir adapters/triage

# Запуск сервера
JEFF_CHECKPOINT=jeff-base-v1.3 JEFF_ADAPTERS=adapters PORT=8765 uv run --extra lora jeff-serve

✅Код проекта распространяется под лицензией MIT, веса моделей — Apache 2.0.

#Jeff #MachineLearning #LLM #DecisionModels #System1 #Qwen #Classification #AI #DevTools #OpenSource #LocalAI #AgenticAI

📱Ссылка на репозиторий:
https://github.com/firelex/jeff