📱AI Engineering from Scratch.

AI Engineering from Scratch — ультимативный опенсорс-курс по ИИ-инженерии!

От линейной алгебры до создания роев автономных агентов. Забудьте про скучные видеолекции и пассивное потребление. Это AI-native курс, где вы изучаете ИИ с помощью ИИ, создавая реальные проекты на Python, TypeScript, Rust и Julia.

🔹В чем главная фишка?

Классические курсы заканчиваются сертификатом и фразой: "Поздравляем, вы это выучили". Здесь каждый из 272+ уроков завершается созданием готового переиспользуемого артефакта:

🔘Prompts: продвинутые шаблоны для ИИ-ассистентов.
🔘Skills: навыки для ИИ-кодеров (Claude Code, Cursor).
🔘Agents: автономные воркеры, готовые к деплою.
🔘MCP Servers: серверы для Model Context Protocol.

❓Что внутри (20 фаз, ~306 часов):

🔘Фундамент: Математика для ML, классическое машинное обучение и Deep Learning.

🔘Модели: Computer Vision, NLP, звук, Трансформеры и создание LLM с нуля.

🔘Инженерия: Промпт-инжиниринг, RAG, Multimodal AI, интеграция инструментов (API, MCP).

🔘Агенты: Agent Engineering, Автономные системы безопасности и Мультиагентные рои (Swarms).

🐱Философия "Build It / Use It"

Вы не используете готовые фреймворки с первого дня. Сначала вы пишете архитектуру с нуля на чистом коде (понимая всю внутреннюю логику), и только потом переходите к "продакшен" инструментам вроде PyTorch или sklearn.

❓Как начать:

Курс адаптируется под вас. Новички могут начать с базовой математики (Phase 1), а сеньоры — сразу прыгнуть в разработку агентов (Phase 14). Если используете ИИ-кодеры, можно запустить команду /find-your-level, чтобы ИИ сам подобрал вам персональный путь.

#AI #MachineLearning #DeepLearning #LLM #AIAgents #Python #DataScience #OpenSource #Education #Programming

📱Ссылка на репозиторий:
https://github.com/rohitg00/ai-engineering-from-scratch

📱CodeBoarding.

CodeBoarding - это инструмент, который создает наглядную визуальную карту вашей кодовой базы.

Он помогает разработчикам и ИИ-агентам видеть архитектуру проекта целиком, чтобы понимать, как всё работает, еще до того, как неосторожный коммит что-нибудь сломает.

Проект объединяет классический статический анализ кода с логикой LLM. На выходе вы получаете архитектурные диаграммы, документацию на уровне компонентов и удобную навигацию прямо в вашей IDE, CI или документации.

🔹Главные фичи:

🔘Умные диаграммы: Генерирует как высокоуровневые схемы всей системы, так и глубокие разборы конкретных подсистем.

🔘Mermaid & Markdown: Все схемы выводятся в формате Mermaid, который легко встраивается в GitHub PR, Notion или любую Markdown-документацию (в папку .codeboarding/).

🔘Инкрементальные обновления: Утилита умеет обновлять схемы только для измененных участков кода, экономя время и токены.

🔘Широкий стек: Поддерживает код на Python, TypeScript, JavaScript, Java, Go, PHP, Rust и C#.

🔘Любые LLM: Работает с OpenAI, Anthropic, Google, Ollama (для локального запуска), OpenRouter и AWS Bedrock.

💡Зачем это нужно?

🔘Контроль над ИИ: Идеально для ревью кода, сгенерированного нейросетями. Вы сразу видите, как новые изменения вписываются в общую систему, и не даете ИИ накапливать скрытый технический долг.

🔘Онбординг: Позволяет быстрее въехать в устройство огромных незнакомых репозиториев (можно просто натравить утилиту на чужой GitHub-репозиторий).

🔘Синхронизация: Единая визуальная модель для локальной разработки, IDE и документации. Доступно в виде CLI, GitHub Action и расширения для VS Code.

🚀Быстрый старт (через CLI):

Удобнее всего ставить через изолированную среду pipx (потребуется Python 3.12+):

pipx install codeboarding --python python3.12
codeboarding-setup
codeboarding full --local /path/to/repo

(Для работы парсеров TypeScript, JavaScript, PHP и Python также потребуется установленный в системе Node.js)

#CodeBoarding #AI #Architecture #LLM #DevTools #VSCode #Mermaid #OpenSource #GitHub #Программирование

📱Ссылка на репозиторий:
https://github.com/CodeBoarding/CodeBoarding

📱EverOS.

EverOS - это open-source Python-фреймворк, который наделяет ИИ-агентов (Claude Code, Codex, OpenClaw и др.) саморазвивающейся долгосрочной памятью.
Главная идея проекта — ваш контекст, принятые решения и файлы должны следовать за вашей работой, а не оставаться запертыми внутри одного конкретного инструмента.

🔹Главные фишки релиза 1.0.0:

🔘Markdown как источник правды: Вся память сохраняется в обычные .md файлы. Вы можете читать их, редактировать, версионировать через Git или открывать как базу знаний прямо в Obsidian.

🔘Легковесный локальный стек: Работает полностью локально на связке Markdown + SQLite + LanceDB (для векторного и BM25 поиска). Никаких тяжеловесных MongoDB, Redis или Elasticsearch!

🔘Двойная память (Dual-Track): Данные логично разделяются на агентские (навыки, рабочие кейсы) и пользовательские (профили, история общения).

🔘Мультимодальность: Запоминает и осуществляет поиск не только по тексту, но и по картинкам, аудио, PDF, HTML и офисным документам.

🔘Саморазвитие: Агент учится на основе реального использования. Повторяющиеся паттерны автоматически превращаются в готовые переиспользуемые процессы без необходимости переобучения модели.

🚀Быстрый старт:

Установка и запуск занимают всего три команды:

pip install everos
everos init
everos server start

✅Инструмент полностью совместим с API OpenAI, поэтому вы легко можете направить его на OpenRouter, vLLM, Ollama или DeepInfra.

#EverOS #AI #Python #MachineLearning #LLM #OpenSource #DevTools #Нейросети #Разработка

📱Ссылка на репозиторий:
https://github.com/EverMind-AI/EverOS

📱Tracesage.

Tracesage — это легковесный инструмент локального мониторинга и визуализации мультиагентных систем, построенных на базе LangChain и LangGraph.

Достаточно добавить всего пару строк кода, чтобы запустить интерактивный трейсинг выполнения ИИ-агентов в реальном времени прямо в браузере. Инструмент перехватывает весь поток колбэков LangChain (запуски цепочек, вызовы инструментов, LLM-запросы, ретривал, ошибки) и наглядно раскладывает его по полочкам.

🔹Главные преимущества:

🔘Нулевая инфраструктура: Никакого Docker, Postgres или сторонних облачных сервисов. Только чистый pip install. Все данные сохраняются локально в SQLite, а веб-интерфейс работает полностью оффлайн.

🔘Интеграция в две строки: Вам не нужно менять логику работы ваших агентов. Просто добавьте колбэк-хэндлер в ваш метод ainvoke.

🔘Интерактивный граф (UI): Кастомный легковесный SVG-граф автоматически строит топологию вызовов. Вы можете кликать на любой шаг, изучать промпты, логи ответов, токены, задержки и ошибки.

🔘Поддержка MCP (Model Context Protocol): Утилита автоматически определяет, из каких именно MCP-серверов были подгружены инструменты, визуализируя их происхождение.

🔘Мост в продакшн (OpenTelemetry): Локальные трейсы можно легко экспортировать в виде OTel-спанов в ваши корпоративные системы мониторинга (Grafana Tempo, Jaeger, Datadog, Honeycomb).

🔘Безопасность (Crash-safe): Локальный обработчик изолирован и никогда не вызовет падение основного конвейера вашего приложения при сбоях.

🚀Быстрый старт:

Установка (для zsh обязательно берите в кавычки):

pip install "tracesage[langchain]"

Использование в синхронных скриптах или Jupyter-ноутбуках для автоматического глобального перехвата:

import tracesage

with tracesage.trace() as tl:
    # Трейсится автоматически, в консоль выводится кликабельная ссылка
    result = agent.invoke("Создай план поездки")
    input("Трейс готов — откройте ссылку в консоли и нажмите Enter для выхода.")

По умолчанию интерфейс поднимается на http://localhost:7842/ui.

🛠Инструменты разработчика (CLI и Тестирование):

tracesage предлагает мощные команды для отладки прямо из терминала:

🔘tracesage show <run_id> — отрисовать структуру выполнения в виде дерева в консоли.

🔘tracesage watch <run_id> — стриминг событий в реальном времени.

🔘tracesage diff <run_a> <run_b> — сравнение двух запусков по токенам, времени и ошибкам.

Также инструмент автоматически регистрирует фикстуру tracesage_capture для pytest, позволяя писать интеграционные тесты на поведение ИИ-агентов (например, проверять, вызывался ли конкретный инструмент и не превышен ли лимит токенов).

#Python #LangChain #LangGraph #AI #MultiAgent #Observability #DevTools #OpenSource #LLM

📱Ссылка на репозиторий:
https://github.com/kjgpta/tracesage

📱Graphify.

Graphify - это плагин для ИИ-ассистентов (Claude Code, Cursor, GitHub Copilot, Aider и др.), который мгновенно превращает весь ваш проект — код, документацию, PDF, изображения и видео — в интерактивный граф знаний (knowledge graph).

Вместо того чтобы прочесывать файлы через grep или скармливать нейросети тонны исходников, вы можете опрашивать структурированную базу данных вашего репозитория. Достаточно просто ввести в чате вашего ИИ-кодера: /graphify .

❓Что вы получаете на выходе:

После сканирования в проекте создается папка graphify-out/ с тремя файлами:

🔘graph.html — интерактивная визуализация для любого браузера. Можно кликать по узлам, искать скрытые связи и фильтровать компоненты.

🔘GRAPH_REPORT.md — выжимка главного: ключевые архитектурные концепты, неожиданные взаимосвязи между модулями и готовые подсказки для вопросов.

🔘graph.json — полная структура графа, к которой ИИ-ассистент обращается мгновенно без повторного перечитывания файлов.

🔹Главные фичи:

🔘Глубокая аналитика: Находит «God nodes» (центральные хабы проекта, через которые течет большая часть логики), скрытые зависимости и вытягивает из комментариев вроде # NOTE:, # WHY: или # HACK: контекст проектирования, связывая их с кодом.

🔘Поддержка 36+ языков: Локально извлекает синтаксическое дерево (AST) через tree-sitter. Этот этап работает полностью оффлайн и бесплатно. Нетекстовые файлы (медиа, PDF) анализируются через API модели вашего IDE-ассистента.

🔘Приватность на первом месте: Кодовая база обрабатывается на вашей машине. Архиватор также ведет детальный лог поисковых запросов локально в JSON Lines.

🔘Готовность к Git: Папку с графом можно коммитить в репозиторий, чтобы вся команда сразу получала карту проекта. Инструмент автоматически настраивает собственный git-драйвер слияния, чтобы у разработчиков при параллельной работе файлы graph.json объединялись без конфликтов.

🚀Быстрый старт:

Рекомендуется устанавливать через менеджер пакетов uv (обратите внимание, имя пакета на PyPI пишется с двойной «y» — graphifyy):

# Установка утилиты
uv tool install graphifyy

# Регистрация плагина в вашем ИИ-ассистенте
graphify install

🔻Полезные команды для терминала:

🔘graphify query "что связывает модуль авторизации с базой данных?" — точечный поиск по графу.

🔘graphify export callflow-html — генерация интерактивной архитектурной схемы на базе диаграмм Mermaid.

#Python #AI #KnowledgeGraph #DevTools #LLM #ClaudeCode #Cursor #Aider #OpenSource #SoftwareArchitecture

📱Ссылка на репозиторий:
https://github.com/safishamsi/graphify

📱Google Antigravity SDK.

Google Antigravity SDK - это официальный Python SDK для разработки автономных ИИ-агентов на базе технологий Antigravity и моделей Gemini.

Инструмент предоставляет безопасный, масштабируемый и сохраняющий состояние (stateful) слой инфраструктуры. Он полностью берет на себя оркестрацию «агентного цикла» (agentic loop), управление историей и вызов инструментов, позволяя разработчику сфокусироваться на бизнес-логике и поведении агента, а не на его рантайме.

SDK поддерживает как локальный запуск, так и бесшовную интеграцию с Gemini Enterprise Agent Platform (ранее известной как Vertex AI).

🔹Ключевые фичи и возможности:

🔘Мультимодальный ввод: Помимо текстовых промптов, агенту можно напрямую скармливать медиафайлы (изображения, видео, аудио) и тяжелые документы. SDK умеет считывать их как из путей файловой системы с автоматическим определением MIME-типов, так и в виде сырых байтов прямо из оперативной памяти.

🔘Глубокий стриминг рантайма: Вы можете в реальном времени асинхронно получать не только текстовые токены ответа, но и цепочки внутренних рассуждений модели (response.thoughts), а также события перехвата вызовов внешних инструментов (response.tool_calls).

🔘Кастомные инструменты и MCP: Любая стандартная Python-функция с docstring регистрируется как инструмент для агента в один клик. Также «из коробки» поддерживается интеграция со сторонними серверами протокола MCP (Model Context Protocol).

🔘Декларативные политики безопасности (Hooks & Policies): По умолчанию агент запускается в безопасном режиме read-only. Вы можете гибко настраивать правила доступа: например, разрешить чтение файлов, запретить любые сетевые запросы, а на выполнение терминальных команд повесить хук ask_user для обязательного подтверждения человеком.

🔘Фоновые триггеры: Позволяет запускать фоновые задачи, которые реагируют на внешние события и могут самостоятельно отправлять сообщения или инструкции в контекст агента по расписанию.

🔻Пример использования (Базовый асинхронный агент):

import asyncio
from google.antigravity import Agent, LocalAgentConfig

async def main():
    config = LocalAgentConfig(
        system_instructions="Ты эксперт по навигации в кодовой базе.",
    )
    # Высокоуровневый класс Agent сам управляет всем жизненным циклом
    async with Agent(config) as agent:
        response = await agent.chat("Какие файлы находятся в текущей директории?")
        print(await response.text())

if __name__ == "__main__":
    asyncio.run(main())

⚠️Важное примечание по установке: Google Antigravity SDK жестко опирается на скомпилированный бинарный файл рантайма, который поставляется исключительно внутри платформозависимых wheel-пакетов на PyPI. Простое клонирование GitHub-репозитория не сработает. Всегда устанавливайте инструмент через pip:

pip install google-antigravity

#Google #Gemini #VertexAI #AntigravitySDK #Python #AIAgents #LLM #DevTools #OpenSource #DataScience

📱Ссылка на репозиторий:
https://github.com/google-antigravity

📱Mellea.

Mellea - это библиотека для Python, которая позволяет создавать предсказуемые и надежные ИИ-приложения без гадания на кофейной гуще.

Мы все знаем, какое звено в любом ИИ-пайплайне самое нестабильное — это сам вызов LLM. Скрытые сбои, непредсказуемые ответы и полное отсутствие гарантий. Mellea предлагает заменить хрупкие промпты и капризных агентов на структурированные, жестко тестируемые рабочие процессы (workflows).

🔹Главные фичи библиотеки:

🔘Нативный структурированный вывод: Декоратор @generative превращает обычные функции с аннотациями типов в структурированные вызовы ИИ. Ваши докстринги автоматически становятся промптами, а тайп-хинты — схемами валидации. Схемы Pydantic форсируются прямо в момент генерации текста моделью.

🔘Проверка требований и самоисправление (Requirements & repair): Вы можете прикрепить к любому вызову условия на естественном языке. Mellea сама проверит результат выполнения и запустит автоматические повторные попытки (retries), если модель ошиблась.

🔘Умные стратегии сэмплинга: Нужна максимальная точность? Запустите генерацию несколько раз и выберите лучший результат, переключаясь между rejection sampling (выборка с отклонением), majority voting (голосование большинства) и другими стратегиями с помощью одного параметра.

🔘Мультиплатформенность: Из коробки поддерживаются Ollama, OpenAI, HuggingFace, WatsonX, LiteLLM и AWS Bedrock.

🔘Совместимость с MCP: Любую генеративную программу можно легко превратить в инструмент для экосистемы MCP (Model Context Protocol).

❓Как это выглядит в коде:

Вам больше не нужны громоздкие шаблоны и ручные парсеры ответов:

from pydantic import BaseModel
from mellea import generative, start_session

class UserProfile(BaseModel):
    name: str
    age: int

@generative
def extract_user(text: str) -> UserProfile:
    """Extract the user's name and age from the text."""

m = start_session()
user = extract_user(m, text="User log 42: Alice is 31 years old.")

print(user.name)  # Выведет: Alice
print(user.age)   # Выведет: 31 (гарантированно тип int)

🚀Быстрый старт:

Проект запущен командой IBM Research (Кембридж, Массачусетс) и распространяется под открытой лицензией Apache-2.0. Установить библиотеку со всеми расширениями можно одной командой:

uv pip install 'mellea[all]'

#Python #Mellea #AI #LLM #Pydantic #GenerativeAI #IBMResearch #OpenSource #DevTools #SoftwareEngineering

📱Ссылка на репозиторий:
https://github.com/generative-computing/mellea

📱NVIDIA-labs OO Agents.

NVIDIA-labs OO Agents - это инструмент от NVIDIA, который позволяет создавать ИИ-агентов с помощью обычных классов Python без использования громоздких сторонних конструкций.

Главный плюс фреймворка — он универсален и работает с любыми нейросетями: от облачных (ChatGPT, Claude) до локальных запущенных моделей (Ollama, vLLM).

❓В чем разница со стандартными фреймворками:

В большинстве других библиотек промпты (текстовые инструкции), функции-инструменты и логику работы агента приходится собирать из разных сложных кусков.

Здесь всё объединено в один привычный класс Python:

🔘Поля класса — хранят текущие данные и состояние агента.

🔘Обычные методы — выполняются строго по правилам Python.

🔘Методы с троеточием (...) — выполняет сама нейросеть во время работы.

🔘Описание функций и типы данных — служат понятной инструкцией для ИИ.

from nooa import Agent

class SupportAgent(Agent):
    """Ты агент технической поддержки."""

    # Данные и память агента
    order_db: OrderDB

    # Обычный метод Python: выполняется строго по вашему коду
    def is_refund_eligible(self, order: Order) -> bool:
        return order.delivered and order.days_since_delivery <= 30

    # Метод для ИИ: вместо кода стоят три точки (...).
    # Его логику нейросеть генерирует и выполняет сама!
    async def triage(self, message: str, order: Order) -> Ticket:
        """Проанализируй обращение и создай тикет поддержки."""
        ...

🔹Главные преимущества:

🔘 Без лишних настроек: Модель сама решает задачи, генерируя и сразу выполняя нужный Python-код. Вам больше не нужно вручную описывать сложные схемы данных для вызова функций.

🔘Свобода выбора модели: Инструмент не привязан к конкретному сервису — подключайте OpenAI, Anthropic, Ollama или vLLM.

🔘Наглядная отладка: Каждый вызов нейросети, написанный код и выполнение функций автоматически отслеживаются. В комплект входит удобный веб-интерфейс для просмотра всех шагов агента.

🔘Контроль и безопасность: Так как нейросеть сама пишет и исполняет код, разработчики рекомендуют запускать таких агентов в изолированной среде (например, в Docker), чтобы ИИ не затронул важные файлы на вашем ПК.

📦Установка:

Установка через менеджер пакетов uv:

uv add nooa

или через стандартный pip:

pip install nooa

#NVIDIA #Python #AIAgents #LLM #NOOA #Программирование #DevTools #OpenSource #ИИ

📱Ссылка на репозиторий:
https://github.com/nvidia-nemo/labs-OO-Agents

📱SkyRL.

SkyRL - это модульная полнофункциональная (full-stack) библиотека обучения с подкреплением (Reinforcement Learning) для языковых моделей и ИИ-агентов, разработанная лабораторией Berkeley Sky Computing Lab (UC Berkeley).

Фреймворк специально оптимизирован для обучения агентов решению сложных многошаговых задач в реальном мире — от работы с терминалом и написания кода (SWE-Bench) до обработки SQL-запросов и интерактивного поиска с использованием внешних инструментов.

🔹Основные компоненты экосистемы:

🔘skyrl — единая библиотека для проведения RL-экспериментов на собственном железе. Объединяет оптимизированный движок обучения skyrl-train и кроссплатформенный бэкенд skyrl-tx с поддержкой Tinker API.

🔘skyrl-agent — специальный агентский слой для масштабируемого обучения и оценки многошаговых (multi-turn) агентов, рассчитанных на длительные сценарии взаимодействия (long-horizon).

🔘skyrl-gym — набор сред на базе стандартизированного Gymnasium API, содержащий готовые окружения для математики, кодинга, работы с базами данных и поиска.

🔻Главные фичи и достижения:

🔘SkyRL-SQL-7B: Модель, обученная всего на 653 примерах с использованием многошагового RL, обошла GPT-4o и o4-mini в задачах перевода текста в SQL (Text-to-SQL).

🔘Поддержка Tinker API: Можно запускать любые скрипты обучения, написанные под Tinker API, на локальных GPU без изменения кода.

🔘Интеграция с Harbor: Готовые инструменты для обучения автономных ИИ-агентов, работающих напрямую в консоли/терминале.

🔘Асинхронный пайплайн: Оптимизированный диспетчер параллельного генерации и обучения снижает простои GPU и ускоряет процесс сбора опыта.

🤝Проекты и поддержка.

✅На базе SkyRL создаются передовые исследовательские проекты (например, Biomni-R0, CodeScout, Endless Terminals), а сам проект разрабатывается при поддержке Anyscale, Databricks, NVIDIA, AMD, AWS и Lambda Labs.

#SkyRL #ReinforcementLearning #LLM #AIAgents #Python #UCBerkeley #OpenSource #DevTools #MachineLearning #ArtificialIntelligence

📱Ссылка на репозиторий:
https://github.com/NovaSky-AI/SkyRL

📱Semantica.

Semantica - это открытая граф-ориентированная платформа («open-source аналог Palantir для ИИ-агентов»), созданная для управления контекстом, детерминированного логического вывода и аудита решений автономных агентов.

В критически важных и регулируемых сферах (финансы, медицина, юриспруденция, госсектор) агент не может быть «черным ящиком».

Semantica решает проблему отсутствия прозрачности: вместо плоских векторных эмбеддингов она выстраивает структурированные графы контекста (Context Graphs), фиксирует причинно-следственные связи каждого действия и формирует строгий аудиторский след.

🔹Ключевые возможности платформы:

🔘Decision Intelligence: Каждое решение агента сохраняется как полноценный узел графа. Вы можете отследить всю причинно-следственную цепочку (trace_decision_chain), найти похожие прецеденты в прошлом и оценить влияние решения на систему.

🔘Детерминированный логический вывод: Для построения графа, связей и проверки правил не обязательна LLM. Платформа использует алгоритмы Rete, прямой логический вывод (Forward chaining), Datalog и SPARQL, гарантируя 100% повторяемость и объяснимость.

🔘Стандарты аудита и комплаенса: Полная поддержка спецификации W3C PROV-O для отслеживания происхождения данных, валидация через SHACL-шейпы и экспорт аудиторских отчетов в форматах RDF/Turtle, JSON-LD или Parquet.

🔘Полиглотное хранение (Polyglot Graph Storage): Поддерживает работу с графами свойств (Neo4j, FalkorDB, AWS Neptune, Apache AGE), RDF-хранилищами (встроенный Oxigraph, Apache Jena, Blazegraph) и векторными базами данных (FAISS, Qdrant, Pinecone).

🔘Enterprise-коннекторы: Прямая интеграция с Databricks (Unity Catalog + Delta Lake) и Snowflake — данные превращаются в граф без промежуточного экспорта в сторонние SaaS-сервисы.

🔘MCP и мультиагентность: Включает встроенный сервер протокола MCP (Model Context Protocol), интеграцию с фреймворком Agno (единый граф памяти для команды агентов) и плагины для Cursor и Claude Code.

🔻Пример использования в коде:

from semantica.context import ContextGraph

# Инициализируем граф контекста
graph = ContextGraph(advanced_analytics=True)

# Фиксируем решение агента как структурированный узел
decision_id = graph.record_decision(
    category="credit_underwriting",
    scenario="Заявка на кредит, доход 120k, DTI 28%",
    reasoning="Доход стабильный, кредитная история чистая за последние 36 мес.",
    outcome="approved",
    confidence=0.95,
)

# Анализируем цепочку причин и влияние решения
causal_chain = graph.trace_decision_chain(decision_id)
impact = graph.analyze_decision_impact(decision_id)

🚀Быстрый старт:

pip install semantica
# Или со всеми зависимостями:
pip install "semantica[all]"

#Semantica #AIAgents #KnowledgeGraph #GraphRAG #LLM #DecisionIntelligence #Compliance #MachineLearning #Python #OpenSource #DevTools #EnterpriseAI

📱Ссылка на репозиторий:
https://github.com/semantica-agi/semantica

📱SGLang.

SGLang - это высокопроизводительный движок и фреймворк для инференса и развертывания больших языковых (LLM) и мультимодальных моделей (VLM), разработанный сообществом LMSYS.

Проект оптимизирован как для запуска моделей на одиночных потребительских видеокартах, так и для масштабирования на гигантские серверные кластеры. SGLang стал де-факто индустриальным стандартом для инференса MoE-архитектур (включая модели линейки DeepSeek) и генерации роллаутов (rollout engine) на этапе обучения с подкреплением (RL).

🔹Ключевые возможности и архитектурные решения:

🔘RadixAttention: Умное автоматическое кэширование KV-кэша по дереву префиксов (Radix tree). Ускоряет инференс в разы в сценариях с общими системными промптами, few-shot примерами, агентскими циклами и multi-turn диалогами.

🔘Архитектура PD Disaggregation: Разделение стадий prefill (обработка входного контекста) и decode (потоковая генерация токенов) по разным GPU-нодам для максимальной утилизации вычислительной мощности.

🔘Параллелизм масштаба дата-центров: Полная поддержка Tensor, Pipeline, Data и масштабируемого Expert Parallelism (EP) для MoE-моделей на десятках и сотнях GPU (включая стойки NVIDIA GB200/GB300 NVL72).

🔘Быстрый структурированный вывод: Генерация строгого JSON и следование схемам до 3 раз быстрее аналогов благодаря оптимизированным конечным автоматам (Compressed FSM).

🔘Day-0 поддержка новейших моделей: Мгновенная адаптация топовых открытых моделей (DeepSeek-V3/R1/V4, Kimi K3, Nemotron 3, GLM, LLaVA, диффузионных генераторов видео и изображений WAN и Qwen-Image).

🔘Аппаратная всеядность: Оптимизирован под архитектуры NVIDIA (от RTX 4090/5090 до H100/B200/GB300), AMD Instinct (MI300X, MI355), Google TPU (через бэкенд на JAX) и Intel Xeon.

🔘Основа для RL и Post-Training: Служит высокоскоростным бэкендом генерации ответов во фреймворках обучения с подкреплением (verl, Miles, AReaL, slime).

💻Быстрый старт:

Установка:

pip install "sglang[all]"

Запуск OpenAI-совместимого сервера инференса:

python -m sglang.launch_server \
  --model-path deepseek-ai/DeepSeek-V3 \
  --port 30000 \
  --tp 8

Отправка запроса через Python:

import openai

client = openai.Client(base_url="http://127.0.0.1:30000/v1", api_key="None")

response = client.chat.completions.create(
    model="default",
    messages=[{"role": "user", "content": "Объясни квантовые вычисления простыми словами."}],
    temperature=0.7,
)
print(response.choices[0].message.content)

#SGLang #LLM #AI #Inference #MachineLearning #DeepSeek #NVIDIA #AMD #OpenSource #DevTools #Python #DataScience

📱Ссылка на репозиторий:
https://github.com/sgl-project/sglang

📱Cayu.

Cayu - это production-ready среда выполнения (agent runtime) для создания, масштабирования и надежной эксплуатации автономных ИИ-агентов на Python.

Собрать прототип агента на базе стандартных SDK сегодня несложно, но реальные проблемы в проде начинаются на стыках инфраструктуры: падение процесса прямо во время внешнего API-вызова, утечка учетных данных, переполнение контекста LLM, необходимость паузы для аппрува человеком или потеря истории расходов при ретраях. Cayu закрывает именно эти эксплуатационные вызовы, предоставляя надежные низкоуровневые примитивы без привязки к громоздким внешним оркестраторам.

🔹Ключевые возможности и примитивы рантайма:

🔘Durable Execution и контрольные точки: Сессии, события и транскрипты сохраняются в базу (SQLite локально или PostgreSQL в проде). Любой пайплайн агента можно поставить на паузу, безопасно форкнуть, прервать или возобновить (resume) после перезапуска сервиса.

🔘Human-in-the-Loop (HITL): Нативные механизмы согласований (approvals) и ручного вмешательства. Если модели требуется подтверждение опасного действия или дополнительный ввод от пользователя, выполнение встает на чекпоинт.

🔘Безопасность и виртуальный egress: Строгие политики вызова инструментов (ToolPolicy), типизированные эффекты и изоляция учетных данных. Агенты могут выполнять задачи (например, работу с Git/GitHub CLI), не получая прямого доступа к боевым токенам хоста.

🔘Изоляция окружений: Поддержка локальных воркспейсов, Docker-контейнеров, песочниц E2B и легковесных микро-ВМ (Microsandbox, AWS Lambda MicroVM).

🔘Контроль контекста и расходов: Автоматический подсчет токенов, алгоритмическое сжатие контекста (compaction), защита от переполнения окна модели и пошаговый учет стоимости каждого вызова.

🔘Встроенный Control Plane: Включает готовый сервер на FastAPI и веб-дашборд на React/TypeScript для мониторинга сессий, трейсов, артефактов и задач. Исходники дашборда можно в один клик извлечь для кастомизации (cayu dashboard eject).

🔘Мультипровайдерность: Поддержка OpenAI, Anthropic, AWS Bedrock, Google Cloud Vertex AI, OpenRouter, а также локальный режим авторизации через личную подписку ChatGPT.

💻Пример запуска агента на Python:

import asyncio
from cayu import (
    AgentSpec,
    CayuApp,
    Message,
    OpenAIProvider,
    RunRequest,
    run_to_completion,
)

async def main() -> None:
    app = CayuApp()
    # Регистрация провайдера (берет ключ из OPENAI_API_KEY)
    app.register_provider(OpenAIProvider(), default=True)
    app.register_agent(AgentSpec(name="assistant", model="gpt-4o"))

    # Надежный запуск с фиксацией событий в сессии
    outcome = await run_to_completion(
        app,
        RunRequest(
            agent_name="assistant",
            messages=[Message.text("user", "Объясни концепцию durable agent execution.")],
        ),
    )

    if outcome.ok:
        print(outcome.final_text)
    else:
        print(f"Ошибка {outcome.status}: {outcome.error}")

asyncio.run(main())

🚀Быстрый старт через CLI:

pip install cayu

# Генерация готового каркаса проекта
cayu new myagent
cd myagent

# Запуск проверок и тестов
cayu check --fail-on warning --json
pytest

✅Проект распространяется под открытой лицензией Apache 2.0.

#Python #Cayu #AIAgents #LLM #AgenticAI #DevTools #MachineLearning #OpenSource #Backend #SoftwareEngineering

📱Ссылка на репозиторий:
https://github.com/cayu-dev/cayu

📱Engrim.

Engrim - это универсальный открытый стандарт эпизодической памяти для ИИ-агентов и кодинг-ассистентов, позволяющий свободно переключаться между различными инструментами и моделями (Claude Code, Cursor, Codex CLI, Google Antigravity, GitHub Copilot CLI, OpenCode, Windsurf) на одной кодовой базе без потери архитектурных решений, ограничений и проектного контекста.

Главная проблема современных чат-сессий при разработке — «ловушка 200k-токенов»: повторная отправка сотен тысяч токенов сырых логов размывает внимание LLM, вызывает галлюцинации и раздувает стоимость вызовов, а очистка чата (/clear) сбрасывает контекст до нуля. Engrim решает это заменой сырой истории диалога на компактный, высокоточный пак рабочей памяти (~4000 символов, менее 1000 токенов / <1% окна контекста), который хранится локально в SQLite.

🔹Ключевые возможности:

🔘Воркфлоу Continue-As-Clear: Когда контекстное окно забивается или модель начинает «плыть», вы просто очищаете чат командой /clear. Следующая сессия автоматически подхватывает актуальные архитектурные решения, состояние проекта и указатель [▶️ RESUME HERE].

🔘100% Local-First и приватность: Данные хранятся исключительно на вашей машине в файле ~/.engrim/memory.db (режим SQLite WAL, права доступа POSIX 0600). Никакой телеметрии, облачной синхронизации и риска утечки проприетарного кода в сторонние SaaS-сервисы.

🔘Отслеживание авторства решений (Provenance Tracking): Запоминает, какой именно агент инициировал изменение (origin_agent: claude-code, cursor, antigravity, codex и т.д.). В памяти четко видно, кто переключил базу данных на PostgreSQL или стандартизировал схемы Pydantic.

🔘Быстрый гибридный поиск (~30 мс на CPU): Комбинирует полнотекстовый лексический поиск (BM25 / FTS5) и легковесные векторные эмбеддинги (model2vec), работая полностью на процессоре без необходимости в GPU.

🔘Самоисцеление окружений (engrim doctor --fix): Проводит аудит базы данных, проверяет статус хуков жизненного цикла во всех средах и автоматически исправляет пути к бинарникам при смене каталогов или переносе конфигов между машинами.

🔘Нативный MCP-сервер: Из коробки реализует протокол Model Context Protocol с инструментами engrim_add, engrim_recall, engrim_context и engrim_review.

💻Быстрый старт:

Установка:

pip install engrim

Автоматическая настройка всех сред разработки на машине:

# Сам находит установленные Claude Code, Cursor, Codex, Copilot и др. и прописывает хуки/MCP
engrim setup

# Диагностика и автоматическое исправление путей:
engrim doctor --fix

Добавление важного архитектурного решения вручную:

engrim add -t decision -s "Перешли на PostgreSQL и нормализовали схемы данных"

✅Проект распространяется под открытой лицензией MIT.

#Engrim #Python #AIAgents #ClaudeCode #Cursor #Codex #LLM #DevTools #OpenSource #SoftwareEngineering #Architecture #MCP

📱Ссылка на репозиторий:
https://github.com/timgordontg/engrim

📱Hyperresearch.

Hyperresearch - это специализированная среда и фреймворк (research harness) для Claude Code, превращающий ассистента в автономного агента глубоких исследований (Deep Research Agent) с автоматической верификацией источников и защитой от галлюцинаций.

Инструмент берет один исследовательский промпт и прогоняет его через адаптивный 16-шаговый пайплайн: от декомпозиции запроса и поиска сотен источников до параллельной критики черновиков и точечного патчинга финального отчета. Все собранные материалы сохраняются в локальное постоянное хранилище, благодаря чему агент «умнеет» от сессии к сессии.

🔹Главные фичи и архитектурные решения:

🔘250+ источников за один прогон: Масштабный охват предметной области с автоматическим поиском пробелов (gap-fill) и отслеживанием цепочек цитирований (citation chasing).

🔘Аудит независимости (Independence Audit): Система группирует синонимичные копии и перепечатки — пять повторов одного пресс-релиза в разных СМИ считаются за один источник, исключая иллюзию консенсуса.

🔘Верификация цитат и проверка отзывов (Retraction Check): Встроенный скептический модуль проверяет, действительно ли источник подтверждает написанный тезис. Выдуманные цитаты или ссылки на отозванные научные статьи блокируют выпуск отчета.

🔘Враждебная критика (Adversarial by design): Четыре агента-критика параллельно атакуют готовый драфт (по диалектике, глубине, ширине охвата и соответствию задаче). Агент-патчер ограничен правами [Read, Edit] и может вносить только точечные хирургические правки — переписать отчет целиком он физически не может.

🔘Академический поиск в один запрос: Команда hpr scholar search одновременно опрашивает OpenAlex, Crossref, CORE, DOAB, ClinicalTrials.gov, SEC EDGAR и FRED, возвращая единый дедуплицированный список (статьи, монографии, клинические испытания, отчеты регуляторов).

🔘Легальный доступ к полным текстам (Open Access): При обнаружении пейволла Hyperresearch автоматически ищет легальные открытые копии через Unpaywall, Europe PMC и CORE, выгружая полный текст вместо короткого абстракта.

🔘Постоянное хранилище (Vault): Статьи и заметки сохраняются в формате Markdown + SQLite (с поддержкой FTS, PageRank-графа ссылок и векторного поиска). Хранилище доступно вне Claude Code через встроенный MCP-сервер и локальный веб-интерфейс.

🔘Защита от Prompt Injection: Весь спарсенный веб-контент изолируется в теги <untrusted-source>, гарантируя, что внедренные на страницах инструкции не перехватят управление агентом.

⏱️Режимы работы (Tiers):

🔘Light (~30–40 мин): Компактный 5-шаговый маршрут для фактологических справок и экспресс-сравнений.

🔘Full (~1.5–2.5 ч): Полный 16-шаговый цикл с глубоким анализом, оппонирующими критиками и аудитом цитирований (55–130 источников).

🔘Dissertation (экспериментальный, ~4–8 ч): Разбивка на 4–10 глав, анализ 300–450 источников и формирование объемных документов на 25 000 – 80 000 слов.

💻Быстрый старт:

Установка:

cd your-project
pip install hyperresearch && hyperresearch install

Запуск исследования в интерфейсе Claude Code:

/hyperresearch Объясни состояние рынка квантовых вычислений на ионных ловушках

✅Проект написан на Python (3.11–3.14) и распространяется под открытой лицензией MIT.

#Hyperresearch #ClaudeCode #DeepResearch #AIAgents #Anthropic #Python #Research #LLM #OpenSource #DevTools #DataScience

📱Ссылка на репозиторий:
https://github.com/jordan-gibbs/hyperresearch

🎓Claude Academy - это официальный интерактивный обучающий трек от компании Anthropic, посвященный эффективному освоению и практическому применению консольного ИИ-агента Claude Code.

Большинство инженеров привыкли к ИИ в виде чатов или расширений для автодополнения в IDE. Claude Code переносит агента прямо в терминал: он умеет самостоятельно исследовать архитектуру проекта, читать и редактировать файлы, выполнять тесты, диагностировать логи сборки и работать с Git.

Обучающая программа Claude Academy помогает перейти от поверхностного использования к продвинутым паттернам агентной разработки.

📚Чему учит курс:

🔘Архитектура и базовый воркфлоу: Принципы работы терминального агента, индексация репозиториев любого размера и эффективная постановка задач на естественном языке.

🔘Модель разрешений и безопасность: Управление политиками выполнения команд (bash, модификация файлов, работа с Git), настройка уровней автономности и безопасная изоляция окружения.

🔘Управление контекстом и долговременная память: Тонкости работы с файлами инструкций CLAUDE.md, оптимизация расхода токенов, алгоритмическое сжатие сессий (/compact) и сброс контекста без потери ключевых архитектурных договоренностей.

🔘Расширение возможностей через MCP: Подключение внешних баз данных, поисковых систем, документаций и API через открытый протокол Model Context Protocol прямо в рабочий цикл агента.

🔘Реальные инженерные кейсы: Практика рефакторинга монолитов, расследование сложных плавающих багов, автоматизация написания тестов и подготовка PR.

💻Быстрый старт с инструментом:

# Глобальная установка Claude Code
npm install -g @anthropic-ai/claude-code

# Запуск в корне вашего репозитория
cd my-project
claude

⬇️Пройти интерактивные модули и практические руководства можно бесплатно на портале Anthropic Academy.

#ClaudeCode #Anthropic #Claude #ClaudeAcademy #AIAgents #CLI #DevTools #Programming #LLM #SoftwareEngineering #MCP

📱Kev.

Kev - это семейство открытых компактных моделей принятия решений (decision models) на базе Qwen3.5 и Qwen3.8, вдохновленное архитектурой Jev и API TypeSafe System One.

Вместо того чтобы гонять тяжелые генеративные LLM ради простых задач классификации, роутинга и скоринга, Kev выполняет быстрый направленный анализ текста и возвращает строго калиброванные вероятности по каждому вопросу. Это позволяет коду автоматически маршрутизировать уверенные кейсы и передавать пограничные ситуации операторам-людям.

🔹Ключевые возможности:

🔘Три типа вопросов в одном запросе:

noul — бинарные вопросы (да/нет) с выдачей точной вероятности.

choice — множественный выбор из списка вариантов с распределением вероятностей и метрикой уверенности.

score — рейтинговая шкала оценки (например, уровень срочности или тональности) со средним баллом.

🔘Истинная калибровка вероятностей: В каждый чекпоинт встроена подобранная температура (temperature scaling), благодаря чему процент уверенности модели отражает реальную статистическую вероятность ошибки, а не завышенные «галлюцинации».

🔘Полная совместимость с TypeSafe / Jev: Работает как drop-in замена коммерческого API System One — вы можете направить официальный typesafe-sdk на свой локальный инстанс Kev без изменения клиентского кода.

🔘Четыре размера под любые ресурсы:

Kev-0.8B — работает на ноутбуках и Apple Silicon через нативный бэкенд MLX.

Kev-4B и Kev-9B — оптимальный баланс точности и скорости (работают на картах уровня L40S, A100, H100).

Kev-27B — флагман на базе Qwen3.8 для 80 ГБ GPU, практически не уступающий проприетарному Jev по качеству на сложных задачах.

🔘Экстремальная скорость инференса: Kev-4B обрабатывает 6 вопросов по тексту за ~18 мс на H100 (или ~40 мс на L40S). При повторных вопросах к тому же документу контекст берется из кэша.

🔘Простой дообучение (Fine-Tuning): Модель легко дообучается на собственных размеченных данных через LoRA (--init_from). Также доступен готовый агентский скилл (kev-finetune) для запуска цикла обучения и деплоя в облаке Modal.

💻Пример использования в Python (через typesafe-sdk):

from typesafe_sdk import Choice, Noul, Score, TypeSafeClient

# Подключение к локальному серверу Kev
client = TypeSafeClient(
    api_key="local",
    base_url="http://127.0.0.1:8009",
    model="kev-latest",
)

# Анализ тикета службы поддержки
response = client.system_one(
    state="Заказ задержался на 2 недели, привезли не тот размер. Еще и списали деньги дважды!",
    questions={
        "billing": Noul(instructions="Вопрос связан с оплатой или списанием средств?"),
        "department": Choice(
            instructions="В какой отдел направить тикет?",
            criteria={
                "billing": "Счета, оплаты и возвраты денег",
                "shipping": "Статус доставки, задержки курьера",
                "returns": "Обмен и возврат бракованного товара",
            },
        ),
        "urgency": Score(
            instructions="Оцените срочность тикета",
            criteria=["может подождать", "в течение недели", "срочно сегодня"],
        ),
    },
)

# Извлечение результатов
print("Вероятность проблемы с биллингом:", response.nouls["billing"].noul)
print("Целевой отдел:", response.choices["department"].choice)
print("Срочность:", response.scores["urgency"].score)

🚀Быстрый запуск:

Локальный запуск через uv:

git clone https://github.com/jaredpalmer/kev.git && cd kev
uv sync --extra serve

# Запуск сервера (CUDA / ROCm / Apple Silicon MLX подхватятся автоматически):
uv run --extra serve python -m kev.serve --run jaredpalmer/kev-4b --port 8009

✅Проект распространяется под открытой лицензией Apache 2.0.

#Kev #MachineLearning #LLM #DecisionModels #Qwen #NLP #Classification #Python #MLX #OpenSource #DevTools

📱Ссылка на репозиторий:
https://github.com/jaredpalmer/kev

📱Reef.

Reef - это первая открытая инфраструктура для создания непрерывно самосовершенствующихся ИИ-агентов (continually self-improving agents), объединяющая в единый контур инференс, сбор обратной связи, дообучение и версионированную доставку обновлений.

Большинство современных агентов статичны: они повторяют одни и те же ошибки, пока разработчик вручную не перепишет системный промпт или не дообучит новую модель. Reef автоматизирует этот цикл: агент учится прямо в процессе эксплуатации на основе взаимодействия с пользователями и внешними верификаторами.

🔄Как устроен 4-шаговый цикл обучения (Core Loop):

✔️Serve (Раздача): Обслуживание боевого трафика через OpenAI- и Anthropic-совместимый API. Каждому ответу присваивается уникальный идентификатор взаимодействия (x-reef-agent-record-id).

✔️Observe (Наблюдение): Сопоставление поступившей обратной связи (числовой скор, текстовые замечания или статус прохождения тестов) с записями сессий.

✔️Grow (Генерация обновлений): Обработка валидных данных по выбранному сценарию (рецепту) и запуск итерации обучения.

✔️Commit (Фиксация): Тестирование кандидатов, сохранение истории версий в Git LFS и бесшовная доставка обновлений в рантайм без перезапуска сервиса.

🧬Два пути эволюции:

🔘Обучение весов модели (Model Weight Training): Затачивает саму LLM под специфику задач с использованием RL-фреймворков (Slime, veRL, AReaL) и высокопроизводительного движка SGLang.

🔘Эволюция харнесса агента (Harness Optimization / Reefine): Если у вас нет кластера GPU, агент может оптимизировать свой «обвес» — системные инструкции, регламенты поведения и код кастомных инструментов/скиллов через обращение к внешнему API. Достаточно поставить задачу на естественном языке (например: «перед исправлением бага всегда пиши воспроизводящий падающий тест»), и агент сам внесет правки в свои правила и протестирует обновленную конфигурацию.

🔘Test-Time Training: Подходит для научных задач и сложных алгоритмических исследований с измеримым критерием корректности (успешно протестировано на задачах AIME, IMOAnswerBench и переборе математических конфигураций).

💻Пример взаимодействия и отправки фидбека:

import httpx

reef = httpx.Client(
    base_url="http://127.0.0.1:8900",
    headers={"Authorization": "Bearer reef-local", "x-reef-scenario": "customer-support"}
)

# 1. Отправляем стандартный запрос
response = reef.post(
    "/v1/chat/completions",
    json={
        "model": "Qwen/Qwen2.5-1.5B-Instruct",
        "messages": [{"role": "user", "content": "Помоги оформить возврат заказа #1234"}],
    },
)
response.raise_for_status()

# Забираем чек транзакции из заголовков
receipt_id = response.headers["x-reef-agent-record-id"]
answer = response.json()["choices"][0]["message"]["content"]

# 2. Отправляем оценку качества ответа для запуска цикла обучения
reef.post(
    "/reef/report",
    json={
        "score": 1.0,
        "feedback": "Отличный ответ: запросил детали чека и назвал корректные сроки",
        "references": [receipt_id],
    },
)

📦Установка:

# Требуется установленный git-lfs в системе
uv pip install reef-infra

Быстрый запуск сервера инференса:

uv run reef serve --inference.model-path Qwen/Qwen2.5-1.5B-Instruct

#Reef #Python #AIAgents #LLM #ReinforcementLearning #SGLang #Slime #MachineLearning #OpenSource #DevTools #PostTraining

📱Ссылка на репозиторий:
https://github.com/Human-Agent-Society/reef

📱Ollaya.

Ollaya - это CLI-утилита и локальный демон для запуска открытых моделей принятия решений (decision models), работающий по тому же принципу и с тем же удобством, как Ollama запускает генеративные LLM.

Модели принятия решений принципиально отличаются от привычных чат-ботов: они не генерируют текст токен за токеном. Вместо этого модель принимает входящий контекст (письмо, тикет техподдержки, произвольный JSON) и список типизированных вопросов, а затем за один прямой проход (forward pass) за миллисекунды возвращает математически откалиброванные вероятности по каждому пункту.

🔹Ключевые возможности:

🔘Экстремальная скорость без генерации: Оценка параметров происходит в разы быстрее классических LLM. Легковесные энкодеры вроде laya:en (на базе ModernBERT) отвечают на 5 вопросов за 8–10 мс на RTX 4090 и доли секунды на обычном CPU.

🔘Три типа вопросов:

choice — множественный выбор категории с распределением вероятностей;

noul — бинарные вопросы (да/нет);

score — оценка по шкале (уровень злости клиента, срочность и т.д.).

🔘Совместимость с TypeSafe / Jev: Демон полностью воспроизводит протокол /v1/systemone. Код, написанный под SDK TypeSafe, переключается на локальный инстанс простой установкой переменной TYPESAFE_BASE_URL=http://localhost:11435.

🔘Знакомый интерфейс в стиле Ollama: Единый бинарный файл с привычными командами управления: ollaya run, ollaya pull, ollaya list, ollaya ps, ollaya rm.

🔘Честная калибровка вероятностей: В отличие от сырых моделей, Ollaya учитывает индивидуальную температуру каждого чекпоинта, выдавая доверительные интервалы, на которые действительно можно опираться при автоматизации бизнес-логики.

🔘Готовность к работе с ИИ-агентами: Встроенная поддержка протокола Model Context Protocol (ollaya mcp) позволяет в одну команду подключить локальные классификаторы к Claude Code, Cursor или Claude Desktop.

🔘Поддержка кастомных Modelfile: Можно упаковать фиксированный набор вопросов в собственную модель:

Dockerfile:

FROM laya
QUESTIONS ./triage.json
PARAMETER precision fp32

🧢Каталог моделей:

✔️winnow:e4b — рекомендуемая флагманская модель (файнтьюн Gemma 4 в формате GGUF через llama.cpp). Точность 0.722, время ответа ~89 мс на RTX 4090.

✔️laya / laya:en / laya:multilingual — быстрый роутер и энкодеры для мгновенной классификации на 100+ языках даже на слабом процессоре.

✔️kev (kev:4b, kev:9b) — открытые откалиброванные модели принятия решений на базе архитектуры Qwen3.5.

✔️qwen3guard — специализированная модель фильтрации контента и безопасности (safe / controversial / unsafe).

💻Пример использования в терминале:

# Мгновенная классификация тикета саппорта
ollaya run winnow:e4b --preset triage "Уже третий раз за год списываете деньги дважды! Верните платеж сегодня же или я ухожу к конкурентам."

Вывод модели:

intent            refund                                ███████████████░ 0.91
is_urgent         yes                                   ███████████████░ 0.92
frustration       2.89 / 3  very angry or using stron…  ██████████████░░ 0.86
refund_requested  yes                                   ████████████████ 0.99
churn_risk        yes                                   ████████████████ 0.99

🚀Установка:

Linux / macOS (Apple Silicon):

curl -fsSL https://ollaya.dev/install.sh | sh

Windows (PowerShell):

irm https://ollaya.dev/install.ps1 | iex

✅Также доступны Docker-образы с поддержкой CUDA и официальное десктопное приложение для управления моделями из системного трея.

#Ollaya #MachineLearning #DecisionModels #Ollama #Classification #NLP #AI #DevTools #OpenSource #LocalAI #LLM

📱Ссылка на репозиторий:
https://github.com/ollaya-dev/ollaya

📱Taste-Bench.

Taste-Bench - это бенчмарк для языковых моделей и ИИ-агентов, оценивающий их инженерную интуицию и «вкус» (taste) — способность выбирать верное направление на ключевых развилках при решении сложных долгосрочных задач (long-horizon tasks).

В длительных циклах автономной разработки или ML-исследований неверное решение на раннем этапе часто кажется вполне логичным в моменте, но в итоге заводит агента в тупик и сжигает весь бюджет контекста. Taste-Bench проверяет, способна ли модель почувствовать правильный вектор развития еще до того, как последствия станут очевидными.

🧩Как устроен датасет:

Модели на вход подается описание задачи, накопленный контекст работы агента до развилки (до 64k токенов) и два альтернативных варианта следующего действия (A и B). Задача — выбрать шаг, который в скрытом продолжении реальной траектории привел к успеху.

Все 502 вопроса бенчмарка добыты напрямую из логов реальных запусков без ручной разметки экспертами:
✔️
• 🔀 Параллельные развилки (Parallel forks): Независимые попытки решить одну задачу, разошедшиеся в определенной точке с противоположным итоговым результатом (одна прошла тесты, вторая упала).

🔘Развилки с откатом (Detour forks): Ситуации, где агент выбрал ложный путь, столкнулся с ошибкой, откатился и нашел рабочее решение. Сравнивается тупиковое действие и правильный корректирующий шаг.

🔘Строгая фильтрация: Исключены тривиальные развилки (где очевиден выбор без контекста) и спорные случаи (где судьи-модели не сошлись в оценке). 390 вопросов взяты из SWE-bench и SWE-bench Pro (software engineering), а 112 — из METR MALT / RE-Bench / HCAST (ML-исследования).

⚖️Бескомпромиссный протокол тестирования:

Оценка проводится по протоколу paired_order_v1: каждый вопрос задается дважды с перестановкой вариантов (A/B и B/A). Балл засчитывается только при верном выборе в обоих случаях.
• Случайное угадывание дает всего 25%.
• Стратегия «всегда выбирать A» дает 0%.

🏆Результаты лидерборда (Frontier Models):
Даже ведущие модели с трудом преодолевают планку в 50–60% точности:

✔️GPT-5.6 Sol — 59.7%

✔️GPT-5.5 — 59.5%

✔️Claude Opus 5 — 55.5%

✔️Grok 4.5 — 54.6%

✔️GLM-5.2 — 53.9%

✔️Claude Sonnet 5 — 51.6%

✔️DeepSeek V4 Flash — 43.3%

💻Быстрый старт:

git clone https://github.com/wbopan/tastebench && cd tastebench
uv sync

# Загрузка датасета (требуется доступ на Hugging Face)
uv run tb download

# Запуск оценки модели через OpenAI-совместимый эндпоинт
export TASTEBENCH_API_KEY="your-key"
uv run tb run --model gpt-5.5 --api https://api.openai.com/v1/chat/completions

# Подсчет итогового скора
uv run tb score runs/gpt-5.5/<date>

Датасет доступен в библиотеке datasets:

from datasets import load_dataset
rows = load_dataset("wenbopan/taste-bench", "engineering", split="test", revision="v1.0")

✅Код бенчмарка распространяется под лицензией MIT, данные — под CC BY 4.0.

#TasteBench #Benchmark #AIAgents #LLM #MachineLearning #SWEbench #SoftwareEngineering #DataScience #OpenSource #DevTools #Eval

📱Ссылка на репозиторий:
https://github.com/wbopan/tastebench

📱Jeff.

Jeff - это сверхлегкая (0.8B параметров) открытая модель «Системы 1» (System 1), спроектированная для быстрого принятия решений и многоклассовой классификации в любых предметных областях за миллисекунды.

Вместо того чтобы тратить секунды и десятки гигабайт видеопамяти тяжелых генеративных LLM на выбор из нескольких вариантов, роутинг или валидацию, Jeff делает выбор за один прямой проход (forward pass) без генерации лишнего текста и возвращает строго откалиброванные вероятности.

🔹Ключевые возможности и сценарии:

🔘Тандем «Быстрый + Умный» (System 1 перед System 2): Jeff ставится как легковесный шлюз перед большой моделью (например, Qwen 3.8-27B). В подавляющем большинстве случаев Jeff принимает решение сам всего за 20–70 мс (в 28–35 раз быстрее!). К тяжелой 27B-модели система обращается только тогда, когда уверенность Jeff падает ниже пороговой. На тестах такая связка показала среднюю точность 95.0% против 86.6% у одиночной 27B-модели.

🔘Модульные адаптеры (v1.3): Базовая модель весит всего ~1.7 ГБ VRAM и поддерживает горячее переключение 15 компактных LoRA-адаптеров под узкие задачи:

✔️guard — защита от промпт-инъекций и джейлбрейков (точность 98.2%);

✔️tools — выбор вызываемого инструмента для агентов (97.2%);

✔️ground — проверка обоснованности ответа источниками (анти-галлюцинации);

✔️triage и support-intents — маршрутизация тикетов и определение намерений клиентов;

✔️legal-clauses, aml, sanctions, soc — доменные проверки для финтеха, комплаенса и ИБ.

🔘Jeff-Code для кодинг-агентов: В связке с Qwen 3.8-27B берет на себя рутинные подготовительные шаги (чтение файлов, grep, запуск тестов) и решает, когда большой модели действительно нужно включать режим глубокого рассуждения (thinking). Задачи выполняются на 47% быстрее при сохранении аналогичного Pass Rate (~62.4%).

🔘Аппаратная всеядность и GGUF: Работает через нативный бэкенд MLX на Apple Silicon, через PyTorch/CUDA на видеокартах NVIDIA, а также через llama.cpp с поддержкой квантованных GGUF-сборок (Q8_0 и Q4_K_M).

💻Пример использования в Python:

from jeff import Client
from jeff.client import choice_question, yes_no_question

# Подключение к локальному инстансу с нужным адаптером
jeff = Client("http://localhost:8765", model="triage")

# Мгновенная классификация тикета
answers = jeff.ask(
    "Посылка пришла разбитой, требую немедленный возврат денег.",
    {
        "team": choice_question(
            {
                "refunds": "Возвраты и финансовые вопросы",
                "parcels": "Поврежденные или утерянные посылки",
                "login": "Проблемы со входом и учетной записью",
            },
            instructions="Какая команда должна обработать тикет?",
        ),
        "angry": yes_no_question("Клиент выражает злость?"),
    },
)

# Получаем категорию с откалиброванной вероятностью
print(answers.choice("team").key)         # parcels
print(answers.choice("team").confidence)  # 0.94

🚀Быстрый старт:

git clone https://github.com/firelex/jeff && cd jeff
uv sync --no-default-groups --extra lora

# Скачивание базы и адаптеров
uv run hf download mstrasser/jeff-base --revision v1.3 --local-dir jeff-base-v1.3
uv run hf download mstrasser/jeff-adapter-triage --revision v1.3 --local-dir adapters/triage

# Запуск сервера
JEFF_CHECKPOINT=jeff-base-v1.3 JEFF_ADAPTERS=adapters PORT=8765 uv run --extra lora jeff-serve

✅Код проекта распространяется под лицензией MIT, веса моделей — Apache 2.0.

#Jeff #MachineLearning #LLM #DecisionModels #System1 #Qwen #Classification #AI #DevTools #OpenSource #LocalAI #AgenticAI

📱Ссылка на репозиторий:
https://github.com/firelex/jeff