📱SkyRL.

SkyRL - это модульная полнофункциональная (full-stack) библиотека обучения с подкреплением (Reinforcement Learning) для языковых моделей и ИИ-агентов, разработанная лабораторией Berkeley Sky Computing Lab (UC Berkeley).

Фреймворк специально оптимизирован для обучения агентов решению сложных многошаговых задач в реальном мире — от работы с терминалом и написания кода (SWE-Bench) до обработки SQL-запросов и интерактивного поиска с использованием внешних инструментов.

🔹Основные компоненты экосистемы:

🔘skyrl — единая библиотека для проведения RL-экспериментов на собственном железе. Объединяет оптимизированный движок обучения skyrl-train и кроссплатформенный бэкенд skyrl-tx с поддержкой Tinker API.

🔘skyrl-agent — специальный агентский слой для масштабируемого обучения и оценки многошаговых (multi-turn) агентов, рассчитанных на длительные сценарии взаимодействия (long-horizon).

🔘skyrl-gym — набор сред на базе стандартизированного Gymnasium API, содержащий готовые окружения для математики, кодинга, работы с базами данных и поиска.

🔻Главные фичи и достижения:

🔘SkyRL-SQL-7B: Модель, обученная всего на 653 примерах с использованием многошагового RL, обошла GPT-4o и o4-mini в задачах перевода текста в SQL (Text-to-SQL).

🔘Поддержка Tinker API: Можно запускать любые скрипты обучения, написанные под Tinker API, на локальных GPU без изменения кода.

🔘Интеграция с Harbor: Готовые инструменты для обучения автономных ИИ-агентов, работающих напрямую в консоли/терминале.

🔘Асинхронный пайплайн: Оптимизированный диспетчер параллельного генерации и обучения снижает простои GPU и ускоряет процесс сбора опыта.

🤝Проекты и поддержка.

✅На базе SkyRL создаются передовые исследовательские проекты (например, Biomni-R0, CodeScout, Endless Terminals), а сам проект разрабатывается при поддержке Anyscale, Databricks, NVIDIA, AMD, AWS и Lambda Labs.

#SkyRL #ReinforcementLearning #LLM #AIAgents #Python #UCBerkeley #OpenSource #DevTools #MachineLearning #ArtificialIntelligence

📱Ссылка на репозиторий:
https://github.com/NovaSky-AI/SkyRL