Хватит парсить JSON: TypeSafe выкатила ИИ, который принимает решения в 200 раз быстрее обычных LLM

Самый идиотский сценарий в автоматизации — гонять тяжелые LLM ради банальной сортировки данных. Вы шлете модели сообщение клиента, молитесь, чтобы она вернула валидный JSON, и ждете пару секунд, пока она по буквам рожает очевидный ответ.

Стартап TypeSafe решил этот маразм и выкатил модель Jev. Она вообще не генерирует текст, а создана для миллионов фоновых микрорешений внутри софта.

Как это работает:

Вместо последовательной генерации токенов (как в ChatGPT) Jev параллельно считает вероятности по заданным вами веткам.

Прилетает запрос: «Товар бракованный, верните деньги». Jev не пишет вежливых простыней, а за миллисекунды отдает готовый массив:

Возврат: 97% | Саппорт: 2% | Спам: 1%

Бэкенд видит структуру и мгновенно триггерит нужный сценарий без парсинга текста и ожидания.

Цифры:
• Время отклика: 70–500 мс;
• Скорость: до 200 раз быстрее стандартных LLM;
• Экономика: до 400 раз дешевле.

Идеальная вещь под капот: раскидывать лиды по воронкам CRM, фильтровать спам без капчи, разруливать тикеты техподдержки и переключать шаги автономных агентов. Для 90% задач бизнесу не нужны поэмы — нужно быстро нажать правильную кнопку.

🔗 Оригинал статьи