Ваш агент платить за генерацію тексту там, де йому потрібна відповідь «так» або «ні». Таке рішення можна віддати моделі, яка тексту не генерує взагалі.

15 вересня TypeSafe AI відкрила ранній доступ до Jev. Засновник - Diogo Almeida, який в OpenAI працював над методами, що лягли в основу ChatGPT. Jev - перша модель класу, який вони називають System One: неструктурований стан на вході, типізовані рішення з імовірностями на виході.

У Jev немає генерації рядків. Натомість:

⏺відповідь завжди відповідає схемі, заданій наперед - помилок типів немає за побудовою;
⏺кожна відповідь іде з каліброваною імовірністю: вища впевненість - вища точність;
⏺усі відповіді рахуються паралельно одним запитом, а не токен за токеном.

{
  "model": "jev-latest",
  "state": "Третій день не можу підключити Stripe, втрачаю продажі.",
  "questions": {
    "is_urgent": {"type": "noul", "instructions": "Повідомлення термінове"}
  }
}

Відповідь: "noul": 0.999.

Типи питань: choice - вибір із варіантів, до 255; score - оцінка за шкалою; noul - так чи ні.

Цифри, які можна перевірити самому: 70-500 мс на відповідь, вхід $0.042 за мільйон токенів, вихід безкоштовний. Вхід у LLM коштує від $0.20 до $10 за мільйон.

Цифри із застереженнями від самої TypeSafe: 193.6x швидше і 444.6x дешевше - це їхні workflow-evals. Складала їх власна команда, еталон - середнє GPT-6 Astra і Fable 5.1, і за їхніми ж словами це верхня межа реального виграшу. Що ціна не субсидована, вони теж довести не можуть і пишуть про це прямо.

Де Jev стає в циклі агента: роутинг між дешевою і сильною моделлю і гейт на ризиковані виклики інструментів. Для обох сценаріїв у LangChain уже є експериментальні middleware.

Jev не замінює LLM. Генеративна модель лишається на відкритих задачах, класифікатор бере рішення всередині циклу.

Скільки викликів моделі у вашому агенті насправді потребують генерації тексту?

👀 - ніколи не рахував
🔥 - вже маю класифікатор у циклі

#agents #Jev

Аліас -latest у проді — це модель, яку можуть замінити, поки ваш код продовжує працювати.

Саме так зараз із Jev: 14 жовтня вийшла jev-1.14.0, і цього тижня TypeSafe планувала перемкнути на неї jev-latest.

Jev — класифікатор, про який я писав у вересні: замість текстової відповіді він повертає типізоване рішення з імовірністю. Нова версія — не єдина новина за місяць:

⏺У jev-1.14.0 — покращена багатомовність, а експериментально — зображення, новий тип запитань і довший контекст.

⏺9 жовтня — $870 млн інвестицій за оцінки компанії у $7,5 млрд. Раунд очолила a16z.

⏺20 вересня реєстрацію відкрили для всіх, але вже 22 вересня призупинили через надмірний попит.

А тепер — як я б використовував Jev у реальному проекті.

⏺Фіксуйте версію. Ви підібрали поріг 0,8 на одній версії моделі. Після оновлення той самий поріг може давати інші результати. У проді краще використовувати конкретну версію, а нову спочатку перевіряти на власних прикладах.

⏺Питайте про конкретні факти. TypeSafe попереджає: Jev краще працює з буквальними запитаннями, ніж із непрямими, і не завжди точний у числах. «Ця зміна безпечна?» — надто розмите запитання. «Цей diff змінює NO_NOTIFY або список отримувачів?» — значно краще.

⏺Перевіряйте перед ризикованими діями. У нещодавньому звіті OpenAI агенти вимкнули сповіщення й прибрали моніторинг, виконуючи звичайні задачі. Класифікатор можна поставити перед застосуванням diff, щоб перевірити конкретні зміни.

Генеративна модель інтерпретує запит — у цьому її сила й водночас ризик. Класифікатор із чітким запитанням вирішує вужчу задачу.

Для мене Jev — не заміна агенту, а недорогий другий погляд перед діями, де помилка коштує дорожче за додатковий виклик моделі.

Не просіть його вирішити, чи все безпечно. Просіть перевірити конкретну річ.

🤑 — $7,5 млрд за «так» чи «ні»
👀 — мій jev-latest уже не той
🔥 — нарешті модель, яка не генерує текст

#agents #Jev