📱BioReason.

BioReason — это передовая модель искусственного интеллекта, разработанная для глубокого биологического рассуждения на основе данных ДНК. Она представляет собой интеграцию DNA foundation model с большой языковой моделью (LLM), что позволяет эффективно обрабатывать и анализировать геномные данные.

🔹Особенности:

🔘Интеграция LLM с ДНК-моделью — единая архитектура для reasoning по генетическим данным.

🔘Поддержка GRPO-тренировки: supervised + RL для интерпретируемых выводов.

🔘Бенчмарки на KEGG (болезненные пути, генные связи и др.).

🔘Увеличение точности до 97% (+15% к baseline).

🔘Вывод логических reasoning-трейсов: можно проследить, как модель пришла к выводу.

🔻Установка:

git clone https://github.com/bowang-lab/BioReason.git
cd BioReason
pip install -e .

✅Датасеты и модель доступны на HuggingFace (релиз чекпоинтов — до конца недели).

❓Что внутри:

🔘DNA-LLM — кастомная модель, обрабатывающая геномные последовательности.

🔘GRPO pipeline — гибкая система для биологического обучения с рассуждением.

🔘Интерпретируемый вывод — научно осмысленные, не "чёрные ящики".

#BioReason #GenAI #DNA #LLM #BiologyAI #GRPO #HuggingFace #KEGG #MultimodalAI #ReinforcementLearning #MLOps #AI4Science #Python #OpenScience #BiomedicalAI

📱Ссылка на репозиторий:
https://github.com/bowang-lab/BioReason

📱MiniMax-M1.

MiniMax-M1 — это первая в мире open-weight языковая модель с гибридной архитектурой внимания, рассчитанная на глубокое мышление и работу с длинным контекстом.

🔹Особенности:

🔘Построена на базе MiniMax-Text-01, MiniMax-M1 поддерживает до 1 млн токенов в контексте, что в 8 раз больше, чем DeepSeek R1.

🔘Благодаря lightning attention, модель генерирует текст на 100k токенов, используя всего 25% FLOPs от DeepSeek R1.

🔘Обучена с использованием масштабного reinforcement learning (RL) и новой стратегии CISPO.

🔘Отлично справляется с задачами по математике, программированию, логике, анализу длинных текстов и использованию внешних инструментов.

🔘Поддерживает Function Calling, доступна через Chatbot и API.

🔘Рекомендуется к развёртыванию с vLLM или Transformers.

✅В ряде задач MiniMax-M1-80k уверенно обходит DeepSeek-R1 и Qwen3-235B.

#MiniMax #MiniMaxM1 #AI #LLM #OpenWeight #DeepLearning #ReinforcementLearning #FunctionCalling #vLLM #Transformers #MachineLearning #Reasoning #LongContext #MathAI #CodeGeneration #AItools #AIresearch

📱Ссылка на репозиторий:
https://github.com/MiniMax-AI/MiniMax-M1

📱MimicKit.

MimicKit — это открытый, легковесный фреймворк для обучения контроллеров движения с помощью имитации движения и RL, в котором в одном месте собраны DeepMimic, AMP, ASE и ADD плюс PPO/AWR.

🔹Особенности:

🔘Чистый код и минимальные зависимости: одна кодовая база, в которой реализованы популярные motion‑imitation методы и RL‑алгоритмы для графики и робототехники.

🔘Модульная архитектура: отдельно описаны Agent, Model, Environment и Engine, что позволяет быстро пробовать другие персонажи, задачи и симуляторы.

🔘Поддержка разных physics‑движков (Isaac Gym, Isaac Lab, Newton) через engine_config, плюс векторизованные среды для массового параллелизма на GPU.

🔻Базовый workflow выглядит так:

🔘Установить движок (например, Isaac Gym) и зависимости, скачать data/ с ассетами и motion capture.

🔘Запустить обучение чем‑нибудь из коробки, вроде DeepMimic‑гуманоида:

  python mimickit/run.py \
    --mode train \
    --num_envs 4096 \
    --engine_config data/engines/isaac_gym_engine.yaml \
    --env_config data/envs/deepmimic_humanoid_env.yaml \
    --agent_config data/agents/deepmimic_humanoid_ppo_agent.yaml \
    --visualize true \
    --out_dir output/

🔘Для повторных запусков удобно крутить всё через arg_file с готовыми настройками.

Если нужно просто быстро проверить модели или потыкать анимации, есть режим test, просмотр motion‑клипов и готовые скрипты для логов и TensorBoard.

#MimicKit #DeepMimic #AMP #ASE #ADD #ReinforcementLearning #MotionControl #IsaacGym #Robotics #PhysicsSimulation

📱Ссылка на репозиторий:
https://github.com/xbpeng/MimicKit

📱ProtoMotions 3.

ProtoMotions 3 - это открытый высокопроизводительный фреймворк с GPU-ускорением, разработанный для симуляции, процедурной генерации и обучения движениям цифровых людей и гуманоидных роботов (Reinforcement Learning).

Проект выпущен под свободной лицензией Apache-2.0 и объединяет усилия исследователей в области анимации, робототехники и обучения с подкреплением, предоставляя модульную и масштабируемую платформу для быстрого прототипирования.

🔹Главные фичи и возможности:

🔘Масштабное обучение движениям: Позволяет обучить физически смоделированного персонажа моторным навыкам на основе огромного датасета анимаций AMASS (более 40 часов движения) всего за 12 часов на 4 видеокартах NVIDIA A100.

🔘Ретаргетинг в одну команду: Встроенный оптимизатор на базе PyRoki позволяет перенести базу движений человека на любого кастомного робота одной консольной командой (например, заменив параметр --robot-name=smpl на --robot-name=h1_2).

🔘Кросс-симуляционное тестирование (Sim2Sim): Переключение физических движков в один клик (--simulator=isaacgym ➔ newton ➔ mujoco). Это позволяет проверять алгоритмы управления роботами в разных условиях, используя только те сигналы датчиков, которые реально получить с «железа».

🔘Интеграция с генеративным ИИ: Поддерживает работу с ИИ-моделью NVIDIA Kimodo (генерация движений по текстовому промпту). Вы можете превратить текст в анимацию, а затем обучить робота выполнять это действие в симуляции.

🔘Фотореалистичный рендеринг: Полная интеграция с IsaacSim 5.0+ позволяет загружать красивое окружение, созданное с помощью трехмерного гауссового сплэттинга (Gaussian splatting).

🤖Из симуляции в реальность (Sim-to-Real).

Фреймворк успешно протестирован на аппаратном обеспечении. Универсальная политика трекинга обучается в симуляторе на датасете ~142 тысяч движений и переносится на реального гуманоидного робота Unitree G1 напрямую (zero-shot).

💡 Пайплайн развертывания экспортирует готовую ONNX-модель со встроенным вычислением параметров наблюдения. Фреймворкам на реальном роботе (тестировалось через RoboJuDo) достаточно просто скармливать модели сырые сигналы с датчиков — переписывать функции обработки данных вручную не нужно.

🛠Архитектурная модульность.

Вам не нужно писать монолитные тяжелые классы окружения. Например, задача управления движением собирается из независимых слоев:

🔘Контроллер (steering_control.py) — управляет целевым направлением и скоростью.

🔘Наблюдение (obs/steering.py) — тензорное ядро, переводящее цели в локальную систему координат робота.

🔘Награда (rewards/task.py) — рассчитывает функции вознаграждения за соблюдение курса и направления.

Добавить своего собственного робота так же просто: достаточно закинуть спецификацию .xml от MuJoCo в папку ассетов, заполнить конфигурационный файл и зарегистрировать его в фабрике роботов.

#ProtoMotions3 #NVIDIA #Robotics #Humanoids #ReinforcementLearning #SimToReal #UnitreeG1 #MuJoCo #AI #OpenSource #DevTools

📱Ссылка на репозиторий:
https://github.com/NVlabs/ProtoMotions

📱SkyRL.

SkyRL - это модульная полнофункциональная (full-stack) библиотека обучения с подкреплением (Reinforcement Learning) для языковых моделей и ИИ-агентов, разработанная лабораторией Berkeley Sky Computing Lab (UC Berkeley).

Фреймворк специально оптимизирован для обучения агентов решению сложных многошаговых задач в реальном мире — от работы с терминалом и написания кода (SWE-Bench) до обработки SQL-запросов и интерактивного поиска с использованием внешних инструментов.

🔹Основные компоненты экосистемы:

🔘skyrl — единая библиотека для проведения RL-экспериментов на собственном железе. Объединяет оптимизированный движок обучения skyrl-train и кроссплатформенный бэкенд skyrl-tx с поддержкой Tinker API.

🔘skyrl-agent — специальный агентский слой для масштабируемого обучения и оценки многошаговых (multi-turn) агентов, рассчитанных на длительные сценарии взаимодействия (long-horizon).

🔘skyrl-gym — набор сред на базе стандартизированного Gymnasium API, содержащий готовые окружения для математики, кодинга, работы с базами данных и поиска.

🔻Главные фичи и достижения:

🔘SkyRL-SQL-7B: Модель, обученная всего на 653 примерах с использованием многошагового RL, обошла GPT-4o и o4-mini в задачах перевода текста в SQL (Text-to-SQL).

🔘Поддержка Tinker API: Можно запускать любые скрипты обучения, написанные под Tinker API, на локальных GPU без изменения кода.

🔘Интеграция с Harbor: Готовые инструменты для обучения автономных ИИ-агентов, работающих напрямую в консоли/терминале.

🔘Асинхронный пайплайн: Оптимизированный диспетчер параллельного генерации и обучения снижает простои GPU и ускоряет процесс сбора опыта.

🤝Проекты и поддержка.

✅На базе SkyRL создаются передовые исследовательские проекты (например, Biomni-R0, CodeScout, Endless Terminals), а сам проект разрабатывается при поддержке Anyscale, Databricks, NVIDIA, AMD, AWS и Lambda Labs.

#SkyRL #ReinforcementLearning #LLM #AIAgents #Python #UCBerkeley #OpenSource #DevTools #MachineLearning #ArtificialIntelligence

📱Ссылка на репозиторий:
https://github.com/NovaSky-AI/SkyRL

📱Reef.

Reef - это первая открытая инфраструктура для создания непрерывно самосовершенствующихся ИИ-агентов (continually self-improving agents), объединяющая в единый контур инференс, сбор обратной связи, дообучение и версионированную доставку обновлений.

Большинство современных агентов статичны: они повторяют одни и те же ошибки, пока разработчик вручную не перепишет системный промпт или не дообучит новую модель. Reef автоматизирует этот цикл: агент учится прямо в процессе эксплуатации на основе взаимодействия с пользователями и внешними верификаторами.

🔄Как устроен 4-шаговый цикл обучения (Core Loop):

✔️Serve (Раздача): Обслуживание боевого трафика через OpenAI- и Anthropic-совместимый API. Каждому ответу присваивается уникальный идентификатор взаимодействия (x-reef-agent-record-id).

✔️Observe (Наблюдение): Сопоставление поступившей обратной связи (числовой скор, текстовые замечания или статус прохождения тестов) с записями сессий.

✔️Grow (Генерация обновлений): Обработка валидных данных по выбранному сценарию (рецепту) и запуск итерации обучения.

✔️Commit (Фиксация): Тестирование кандидатов, сохранение истории версий в Git LFS и бесшовная доставка обновлений в рантайм без перезапуска сервиса.

🧬Два пути эволюции:

🔘Обучение весов модели (Model Weight Training): Затачивает саму LLM под специфику задач с использованием RL-фреймворков (Slime, veRL, AReaL) и высокопроизводительного движка SGLang.

🔘Эволюция харнесса агента (Harness Optimization / Reefine): Если у вас нет кластера GPU, агент может оптимизировать свой «обвес» — системные инструкции, регламенты поведения и код кастомных инструментов/скиллов через обращение к внешнему API. Достаточно поставить задачу на естественном языке (например: «перед исправлением бага всегда пиши воспроизводящий падающий тест»), и агент сам внесет правки в свои правила и протестирует обновленную конфигурацию.

🔘Test-Time Training: Подходит для научных задач и сложных алгоритмических исследований с измеримым критерием корректности (успешно протестировано на задачах AIME, IMOAnswerBench и переборе математических конфигураций).

💻Пример взаимодействия и отправки фидбека:

import httpx

reef = httpx.Client(
    base_url="http://127.0.0.1:8900",
    headers={"Authorization": "Bearer reef-local", "x-reef-scenario": "customer-support"}
)

# 1. Отправляем стандартный запрос
response = reef.post(
    "/v1/chat/completions",
    json={
        "model": "Qwen/Qwen2.5-1.5B-Instruct",
        "messages": [{"role": "user", "content": "Помоги оформить возврат заказа #1234"}],
    },
)
response.raise_for_status()

# Забираем чек транзакции из заголовков
receipt_id = response.headers["x-reef-agent-record-id"]
answer = response.json()["choices"][0]["message"]["content"]

# 2. Отправляем оценку качества ответа для запуска цикла обучения
reef.post(
    "/reef/report",
    json={
        "score": 1.0,
        "feedback": "Отличный ответ: запросил детали чека и назвал корректные сроки",
        "references": [receipt_id],
    },
)

📦Установка:

# Требуется установленный git-lfs в системе
uv pip install reef-infra

Быстрый запуск сервера инференса:

uv run reef serve --inference.model-path Qwen/Qwen2.5-1.5B-Instruct

#Reef #Python #AIAgents #LLM #ReinforcementLearning #SGLang #Slime #MachineLearning #OpenSource #DevTools #PostTraining

📱Ссылка на репозиторий:
https://github.com/Human-Agent-Society/reef