Jev - System One
TypeSafe AI переизобрели классификацию и подают это как превосходящую альтернативу LLM (на задачах классификации и скоринга)
Обычные LLM пишут ответ токен за токеном и отдают строку. Ее надо парсить и валидировать, а модель в любой момент может сойти с рельсов и выдать галлюцинацию. У Jev структура ответа задана схемой заранее, варианты просчитываются параллельно одним запросом, на выходе типизированные данные с калиброванными вероятностями.
Классификация и скоринг: до 200 раз быстрее и в 450 раз дешевле классических LLM. Вход стоит $0,042 за миллион токенов, выход бесплатный.
Для бэкенда и автоматизации это готовое решение с уровнем уверенности, а не текст для разбора. Софт получает вероятности напрямую - как вызов функции с интеллектом.
Автор - выходеw из OpenAI, участвовавший в работе над методами, которые легли в основу ChatGPT
#automation #rlcd #decision
TypeSafe AI переизобрели классификацию и подают это как превосходящую альтернативу LLM (на задачах классификации и скоринга)
Обычные LLM пишут ответ токен за токеном и отдают строку. Ее надо парсить и валидировать, а модель в любой момент может сойти с рельсов и выдать галлюцинацию. У Jev структура ответа задана схемой заранее, варианты просчитываются параллельно одним запросом, на выходе типизированные данные с калиброванными вероятностями.
Классификация и скоринг: до 200 раз быстрее и в 450 раз дешевле классических LLM. Вход стоит $0,042 за миллион токенов, выход бесплатный.
Для бэкенда и автоматизации это готовое решение с уровнем уверенности, а не текст для разбора. Софт получает вероятности напрямую - как вызов функции с интеллектом.
Автор - выходеw из OpenAI, участвовавший в работе над методами, которые легли в основу ChatGPT
#automation #rlcd #decision
🔥10👍7❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Needle 3
Модель автоматизации для крошечных устройств. Не для чата, а для вызова функций, извлечения структурированных данных и управления устройствами. Один файл весит 8-29 МБ, работает локально
• вызов функций - выбирает нужный инструмент и заполняет аргументы из речи
• структурированное извлечение - инвойсы, брони, формы в типизированные поля
• текстовые эмбеддинги - поиск, матчинг и маршрутизация на устройстве
• калиброванный скор уверенности в каждом ответе
• до 4000 токенов/сек декодинга на Raspberry Pi 5
После дообучения под свой набор инструментов версии от 4 слоев обходят DeepSeek V4 Flash на DroidCall
Гитхаб
HF
Спасибо @Endorpheen @p0lygon
#automation #mobile #driving
MAX
Модель автоматизации для крошечных устройств. Не для чата, а для вызова функций, извлечения структурированных данных и управления устройствами. Один файл весит 8-29 МБ, работает локально
• вызов функций - выбирает нужный инструмент и заполняет аргументы из речи
• структурированное извлечение - инвойсы, брони, формы в типизированные поля
• текстовые эмбеддинги - поиск, матчинг и маршрутизация на устройстве
• калиброванный скор уверенности в каждом ответе
• до 4000 токенов/сек декодинга на Raspberry Pi 5
После дообучения под свой набор инструментов версии от 4 слоев обходят DeepSeek V4 Flash на DroidCall
Гитхаб
HF
Спасибо @Endorpheen @p0lygon
#automation #mobile #driving
MAX
👍14