📱Ollaya.

Ollaya - это CLI-утилита и локальный демон для запуска открытых моделей принятия решений (decision models), работающий по тому же принципу и с тем же удобством, как Ollama запускает генеративные LLM.

Модели принятия решений принципиально отличаются от привычных чат-ботов: они не генерируют текст токен за токеном. Вместо этого модель принимает входящий контекст (письмо, тикет техподдержки, произвольный JSON) и список типизированных вопросов, а затем за один прямой проход (forward pass) за миллисекунды возвращает математически откалиброванные вероятности по каждому пункту.

🔹Ключевые возможности:

🔘Экстремальная скорость без генерации: Оценка параметров происходит в разы быстрее классических LLM. Легковесные энкодеры вроде laya:en (на базе ModernBERT) отвечают на 5 вопросов за 8–10 мс на RTX 4090 и доли секунды на обычном CPU.

🔘Три типа вопросов:

choice — множественный выбор категории с распределением вероятностей;

noul — бинарные вопросы (да/нет);

score — оценка по шкале (уровень злости клиента, срочность и т.д.).

🔘Совместимость с TypeSafe / Jev: Демон полностью воспроизводит протокол /v1/systemone. Код, написанный под SDK TypeSafe, переключается на локальный инстанс простой установкой переменной TYPESAFE_BASE_URL=http://localhost:11435.

🔘Знакомый интерфейс в стиле Ollama: Единый бинарный файл с привычными командами управления: ollaya run, ollaya pull, ollaya list, ollaya ps, ollaya rm.

🔘Честная калибровка вероятностей: В отличие от сырых моделей, Ollaya учитывает индивидуальную температуру каждого чекпоинта, выдавая доверительные интервалы, на которые действительно можно опираться при автоматизации бизнес-логики.

🔘Готовность к работе с ИИ-агентами: Встроенная поддержка протокола Model Context Protocol (ollaya mcp) позволяет в одну команду подключить локальные классификаторы к Claude Code, Cursor или Claude Desktop.

🔘Поддержка кастомных Modelfile: Можно упаковать фиксированный набор вопросов в собственную модель:

Dockerfile:

FROM laya
QUESTIONS ./triage.json
PARAMETER precision fp32

🧢Каталог моделей:

✔️winnow:e4b — рекомендуемая флагманская модель (файнтьюн Gemma 4 в формате GGUF через llama.cpp). Точность 0.722, время ответа ~89 мс на RTX 4090.

✔️laya / laya:en / laya:multilingual — быстрый роутер и энкодеры для мгновенной классификации на 100+ языках даже на слабом процессоре.

✔️kev (kev:4b, kev:9b) — открытые откалиброванные модели принятия решений на базе архитектуры Qwen3.5.

✔️qwen3guard — специализированная модель фильтрации контента и безопасности (safe / controversial / unsafe).

💻Пример использования в терминале:

# Мгновенная классификация тикета саппорта
ollaya run winnow:e4b --preset triage "Уже третий раз за год списываете деньги дважды! Верните платеж сегодня же или я ухожу к конкурентам."

Вывод модели:

intent            refund                                ███████████████░ 0.91
is_urgent         yes                                   ███████████████░ 0.92
frustration       2.89 / 3  very angry or using stron…  ██████████████░░ 0.86
refund_requested  yes                                   ████████████████ 0.99
churn_risk        yes                                   ████████████████ 0.99

🚀Установка:

Linux / macOS (Apple Silicon):

curl -fsSL https://ollaya.dev/install.sh | sh

Windows (PowerShell):

irm https://ollaya.dev/install.ps1 | iex

✅Также доступны Docker-образы с поддержкой CUDA и официальное десктопное приложение для управления моделями из системного трея.

#Ollaya #MachineLearning #DecisionModels #Ollama #Classification #NLP #AI #DevTools #OpenSource #LocalAI #LLM

📱Ссылка на репозиторий:
https://github.com/ollaya-dev/ollaya

📱Jeff.

Jeff - это сверхлегкая (0.8B параметров) открытая модель «Системы 1» (System 1), спроектированная для быстрого принятия решений и многоклассовой классификации в любых предметных областях за миллисекунды.

Вместо того чтобы тратить секунды и десятки гигабайт видеопамяти тяжелых генеративных LLM на выбор из нескольких вариантов, роутинг или валидацию, Jeff делает выбор за один прямой проход (forward pass) без генерации лишнего текста и возвращает строго откалиброванные вероятности.

🔹Ключевые возможности и сценарии:

🔘Тандем «Быстрый + Умный» (System 1 перед System 2): Jeff ставится как легковесный шлюз перед большой моделью (например, Qwen 3.8-27B). В подавляющем большинстве случаев Jeff принимает решение сам всего за 20–70 мс (в 28–35 раз быстрее!). К тяжелой 27B-модели система обращается только тогда, когда уверенность Jeff падает ниже пороговой. На тестах такая связка показала среднюю точность 95.0% против 86.6% у одиночной 27B-модели.

🔘Модульные адаптеры (v1.3): Базовая модель весит всего ~1.7 ГБ VRAM и поддерживает горячее переключение 15 компактных LoRA-адаптеров под узкие задачи:

✔️guard — защита от промпт-инъекций и джейлбрейков (точность 98.2%);

✔️tools — выбор вызываемого инструмента для агентов (97.2%);

✔️ground — проверка обоснованности ответа источниками (анти-галлюцинации);

✔️triage и support-intents — маршрутизация тикетов и определение намерений клиентов;

✔️legal-clauses, aml, sanctions, soc — доменные проверки для финтеха, комплаенса и ИБ.

🔘Jeff-Code для кодинг-агентов: В связке с Qwen 3.8-27B берет на себя рутинные подготовительные шаги (чтение файлов, grep, запуск тестов) и решает, когда большой модели действительно нужно включать режим глубокого рассуждения (thinking). Задачи выполняются на 47% быстрее при сохранении аналогичного Pass Rate (~62.4%).

🔘Аппаратная всеядность и GGUF: Работает через нативный бэкенд MLX на Apple Silicon, через PyTorch/CUDA на видеокартах NVIDIA, а также через llama.cpp с поддержкой квантованных GGUF-сборок (Q8_0 и Q4_K_M).

💻Пример использования в Python:

from jeff import Client
from jeff.client import choice_question, yes_no_question

# Подключение к локальному инстансу с нужным адаптером
jeff = Client("http://localhost:8765", model="triage")

# Мгновенная классификация тикета
answers = jeff.ask(
    "Посылка пришла разбитой, требую немедленный возврат денег.",
    {
        "team": choice_question(
            {
                "refunds": "Возвраты и финансовые вопросы",
                "parcels": "Поврежденные или утерянные посылки",
                "login": "Проблемы со входом и учетной записью",
            },
            instructions="Какая команда должна обработать тикет?",
        ),
        "angry": yes_no_question("Клиент выражает злость?"),
    },
)

# Получаем категорию с откалиброванной вероятностью
print(answers.choice("team").key)         # parcels
print(answers.choice("team").confidence)  # 0.94

🚀Быстрый старт:

git clone https://github.com/firelex/jeff && cd jeff
uv sync --no-default-groups --extra lora

# Скачивание базы и адаптеров
uv run hf download mstrasser/jeff-base --revision v1.3 --local-dir jeff-base-v1.3
uv run hf download mstrasser/jeff-adapter-triage --revision v1.3 --local-dir adapters/triage

# Запуск сервера
JEFF_CHECKPOINT=jeff-base-v1.3 JEFF_ADAPTERS=adapters PORT=8765 uv run --extra lora jeff-serve

✅Код проекта распространяется под лицензией MIT, веса моделей — Apache 2.0.

#Jeff #MachineLearning #LLM #DecisionModels #System1 #Qwen #Classification #AI #DevTools #OpenSource #LocalAI #AgenticAI

📱Ссылка на репозиторий:
https://github.com/firelex/jeff