Jev от TypeSafe: модель без генерации текста, зато в 200 раз быстрее и без галлюцинаций

Инженер, работавший над методами, которые легли в основу ChatGPT, два года строил модель, которая использует новый принцип генерации ответов.
Модель Jev работает в 20-200 раз быстрее, в 40-400 раз дешевле, выходные токены бесплатны, галлюцинации исключены.

⚙️ Что это:
«System One» модель по Канеману. Вместо строк выдаёт типизированные решения с калиброванными вероятностями. Не замена LLM, а «умные if-выражения»: классификация, маршрутизизация, извлечение, ветки кода.
На вход подаются неструктурированные данные, на выходе получаем типизированные структуры.

🧠 В чём трюк:
LLM пишут текст последовательно, токен за токеном: дорого, медленно, и всегда есть шанс галлюцинации.
Jev отказывается от строк и считает вероятности параллельно.
Ошибки типов исключены математически, уверенность откалибрована.
Назван в честь парадокса Джевонса: чем дешевле интеллект, тем больше на него спрос.

💼 Зачем бизнесу:
Для кода LLM это узкое место: ответ за 3-300 секунд плюс разбор строк. Jev отвечает за 70-500 мс готовой структурой.
Применимо к маршрутизации, скорингу, модерации, разметке данных. $0,042 за миллион входных токенов, выход бесплатный.

Пока доступна только запись в очередь на пробу.

🔗 Ссылки:
- Блог TypeSafe
- Тред на X

#AI #модели #Jev #TypeSafe
------
@tsingular

Head of AI @ Elastic ,- Han Xiao собрал 1000 вариантов применения Jev за прошедшую неделю.

Изучаем тут:
https://hanxiao.io/all-about-jev/

#Jev
------
@tsingular

Интересный пример использования Jev для категоризации URL для threat intel по Адмиральской системе

Система практически в реальном времени определяет насколько источник достоверен и надёжен, к какой поверхности атаки относится, ловится ли EDR/SIEM

Система Admiralty родилась в британской военно-морской разведке в начале XX века: Адмиралтейству требовался единый способ сопоставлять донесения из разных источников, которые могли приходить с разницей в недели и месяцы. Позже подход переняли другие разведслужбы и НАТО, а сегодня его применяют в CTI: отдельно оценивают надёжность источника (A–F) и достоверность самой информации (1–6).

Тут подробнее про Адмиральскую систему

#Admirality #Jev #cybersecurity
------
@tsingular

Jev не нужен! NVIDIA с учёными из университета, который с прошлого года запрещено упоминать, выпустила свой аналог Jev

📋 NVIDIA выпустила CLM-8B,- еще одного представителя класса контрастных языковых моделей.
Модель, как и Jev, не пишет ответ по токенам: она превращает текущее состояние и каждый возможный вариант действия в векторы и выбирает самый близкий.
Веса под лицензией Apache 2.0.

⚙️ Как устроено. В основе замороженный Qwen3-8B, поверх которого обучены две проекции примерно по 20 млн параметров, одна для состояний, другая для действий.
Учили в три этапа: 60 млн пар вопрос-ответ Nemotron, 30 млн правдоподобных неверных вариантов, 1 млн траекторий реальных агентов.
В работе модель считает близость состояния и действий и превращает её в вероятности.

📊 Скорость. В игре T-Rex решение занимает всего 16,5 мс против 149,8 мс у закрытой модели Jev, почти в 9 раз быстрее.
В Super Mario 33,5 мс против 132,6 мс.
Векторы действий считаются заранее и лежат в памяти: при смене состояния они не меняются.
На одной RTX 4090 повторный заход в ту же ситуацию падает с 1,7 мс до 0,6 мс, а при тысяче вариантов действий модель обгоняет Jev в 13 раз.

⚖️ Ограничение. Новых действий модель придумать не может, она выбирает только из готового набора.
Схема получается такая: языковая модель порождает варианты, CLM быстро выбирает, агент выполняет.
По точности выигрыш не везде: в вызове инструментов CLM набирает 95,2% против 99,2% у Jev, в WikiRacing решает 26 задач из 30 против 30 из 30.
Быстрее при этом везде.

💼 Зачем бизнесу. Обучаемой части всего около 40 млн параметров, весит она 75 МБ и работает на одной видеокарте. Для агентов, которые много раз выбирают из одного набора действий, это ускоряет работу без переобучения основной модели.

📎 Ссылки:
• Блог проекта
• Веса на Hugging Face
• Код на GitHub

Очень похоже на RSI эксперимент, который мы делали с Гермесом на той неделе, только у меня было 4 разных области задач, - змейка, тетрис, текст и картинки, а тут заточка под 1 задачу, что ещё проще.
потому и скорость выше в 10 раз.

#LLM #агенты #Jev #CLM #NVidia
———
@tsingular

Ollama 0.35 теперь поддерживает локальные классификаторы

В Ollama 0.35 появилась поддержка decision models по образцу Jev.
Триаж тикетов, маршрутизация запросов, модерация контента: всё это теперь решает модель Nimble, локально на вашей машине.

Установка одной командой: ollama pull nimble.

На видео Nimble в реальном времени управляет машинкой в Ollama racer через новый локальный API /v1/systemone: решения принимаются на лету, без облака и задержек сети.

Я кстати вчера потестил еще несколько таких моделей, скину отчёт чуть позже.

#JEV #ollama #Nimble #агенты
———
@tsingular

JevBench: бенч классификаторов в котором умная GPT-5.6 лишь на 14м месте

📋 TypeSafe AI,- стартап экс-исследователя OpenAI Диогу Алмейды, соавтора RLHF, с $40 млн от DCVC, в середине сентября после двух лет скрытой разработки выпустила модель Jev (название отсылает к парадоксу Джевонса: чем дешевле ресурс, тем больше его потребляют). Модель получает состояние и типизированные вопросы, а коду возвращает готовое решение с вероятностями, текст не генерируя вовсе.

За считанные дни вокруг вырос класс открытых аналогов, и у класса появился собственный бенчмарк JevBench: 52 системы, 534 решения, открытые задачи и методика под MIT.

📊 Балл сворачивается из четырёх осей равного веса: интеллект (точность выше угадывания), калибровка (сбывается ли «уверен на 80%» в 80% случаев), скорость и цена за тысячу решений, а не за токены.
Итог считается средним геометрическим, поэтому одна слабая ось топит балл, и точность за деньги уже не выкупишь.

Jev впереди с 74,4. Открытая пересборка SemIf на Qwen3.5-4B отстаёт на 1,3 пункта при почти вдвое меньшей цене, а обычный Qwen3-32B без всякого обучения под решения идёт шестым.
GPT-5.6 Luna показала лучший интеллект рейтинга, 95,3, и лишь 14-е место: 24 цента за тысячу решений против четырёх у Jev.
Реранкеры bge и GTE застряли около нуля.

💼 Для классификации, маршрутизации и оценки внутри продукта, где большая LLM дорога и медленна, это уже рабочий класс моделей: одно решение Jev читает в среднем 950 входных токенов, выходные токены бесплатны.
Открытые пересборки подобрались к оригиналу на 1,3 пункта, так что спор скоро сместится с цены на калибровку и стабильность.

Чёт я не думал, что их уже так много, в том числе открытых бесплатных.

Лицо инвесторов TypeSafe, которые залили в Jev $40 млн неделю назад предствили? :)

📎 GitHub · Документация Jev

#Jev #бенчмарк
———
@tsingular

Unsloth: натренируй свой Jev на 8 ГБ VRAM

Unsloth открыли возможность тренировать собственные decision-модели, как Jev от TypeSafe или Laya.
Берёшь обычную Qwen3.5, ставишь Train as Decision model, и LLM перестаёт генерировать текст: она читает вход, скорит варианты и возвращает выбор с откалиброванной вероятностью.

Опубликовали бесплатный ноутбук полного цикла: подготовка данных, тренировка, калибровка, запуск.

⚙️ Как устроено: вход и все вопросы с опциями укладываются в один промпт, LLM читает его однократно, а маленькая голова (дизайн как у Clef от Cloudflare) скорит каждую опцию.
Модель не пишет текст, поэтому не тратит память на предсказание слов.
Данные: состояние, вопросы и эталонные ответы; из коробки датасет typed-decisions из 12 источников.

🔗 Экосистема и цифры:
Qwen3.5-0.8B на 4 ГБ VRAM: точность решений взлетела с 36% до 73%, банковская маршрутизация с 7% до 74%.
Qwen3.5-2B на 8 ГБ: 78% и holdout 81%, быстрый прогон 4B достигает 76% за 10 минут на одной L4, прогнозы читают до 16K токенов.
Дообученная модель подхватывается Decision API: запросы к laya, default и jev-latest уходят в неё вместо внешнего сервиса.
Свой GitHub, датасет LocalLLaMA/typed-decisions, настройки: 4-bit LoRA rank 16, lr 2e-4, две эпохи.

💼 Зачем бизнесу: утром MLflow 3.17 встроил Jev-судей для быстрых проверок «да/нет», теперь Unsloth даёт натренировать такого судью на своих данных и держать локально.
Роутинг тикетов, модерация, классификация: задачи, где раньше стояла полноценная LLM, решаются вероятностной моделью в 4-8 ГБ.
Для decision-lab это готовый пайплайн сравнения своей модели с Laya на одном железе.

Как быстро обесценился Jev. Инвесторы, наверное, "в восторге"

#Unsloth #Jev #Qwen
———
@tsingular

LLM-Wiki-V2: вики для агентов, которая перестаёт дорожать с ростом базы

Известная идея использования LLM-вики вместо классического RAGа известна давно: документы перераспределяются в структуру, читаемую и агентами, и людьми, дерево папок вместо непрозрачного векторного индекса.
Проблема всегда была в масштабировании: каждый новый документ означает новые LLM-вызовы, и каждый перечитывает всё больше вики.
Федерико Чезарини и Марко Сассарини разглядели, что большинство этих вызовов ничего не пишут, они принимают решения: куда положить документ, с какими заметками его связать, какие заметки отвечают на вопрос и выпустили обновленную версию RAG на Wiki.

🧠 CROW (Classifier-Routed Organization of LLM Wikis): слой решений на типизированном классификаторе вроде Jev.
Классификатор берёт маршрутизацию и консолидацию, а LLM вызывается только там, где нужно писать текст: суммаризация источника, имена новых папок, перезапись изменившейся заметки.

Поиск тоже идёт через классификатор: он выбирает релевантные заметки, LLM пишет только финальный ответ со ссылками на источники.

📊 Цифры на бенчмарке в 525 документов: нужная заметка найдена в 89% случаев против 62% у классической вики, обработка документа быстрее в 2,1 раза (18,4 с против 38,6 с), токенов LLM на 68% меньше (5 508 против 17 324).
Стоимость на документ остаётся плоской при росте вики, и именно это снимает потолок масштабирования.

🐧 Пакет: 100% локально, без векторной БД и эмбеддинг-пайплайна, данные не покидают машину. Установка через uv, перетащил PDF и заметки на страницу, и вики организует их сама. Веб-интерфейс с живой картой папок, заметок и связей, заметки лежат обычным Markdown в ~/llm-wiki.
Провайдеры любые на выбор: OpenRouter, OpenAI, Gemini, Ollama.
Авторы гоняли twil-lm3 как LLM и Kev 0.8B как классификатор на MacBook Pro с 24 ГБ RAM.
Бонус: zero-shot кластеризация, куча несортированных документов превращается в категории автоматически.
Лицензия AGPL v3+.

💼 Зачем бизнесу: третья история за неделю вырисовывает общую тенденцию: дешёвый типизированный классификатор принимает решения, дорогая LLM только пишет ответ.
MLflow встроил Jev-судей, Unsloth дал тренировать свои классификаторы, а теперь классификатор маршрутизирует базу знаний целиком.

📎 Статья CROW на Zenodo · GitHub

#LLMWiki #CROW #RAG #Jev #агенты
———
@tsingular