Llama.cpp тоже добавили поддержку моделей типа SystemOne
https://huggingface.co/blog/ggml-org/decision-models-in-llamacpp
Новый стандарт по факту.
Кстати, что интересно,- есть и модели с глазками:
llama serve -hf ggml-org/OpenJev-GGUF
на базе OpenJev
#llamacpp #systemone
------
@tsingular
https://huggingface.co/blog/ggml-org/decision-models-in-llamacpp
Новый стандарт по факту.
Кстати, что интересно,- есть и модели с глазками:
llama serve -hf ggml-org/OpenJev-GGUF
на базе OpenJev
#llamacpp #systemone
------
@tsingular
🔥10❤2⚡2✍2👍1
This media is not supported in your browser
VIEW IN TELEGRAM
transformers serve теперь позволяет превратить любую LLM или VLM в модель принятия решений с помощью конечной точки
/v1/systemone Т.е. вам больше не нужно тренировать свой Jev, - просто берёте любую модель и дёргаете её через эту ручку и она ведёт себя как Jev, - не генерит токены, а сразу даёт вероятности ответа.
HuggingFace тащит. Скоро во всех инференсах мира.
#systemone #Jev #HuggingFace #transformers
———
@tsingular
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥20🤯2🤩2