Llama.cpp тоже добавили поддержку моделей типа SystemOne
https://huggingface.co/blog/ggml-org/decision-models-in-llamacpp
Новый стандарт по факту.
Кстати, что интересно,- есть и модели с глазками:
llama serve -hf ggml-org/OpenJev-GGUF
на базе OpenJev
#llamacpp #systemone
------
@tsingular
https://huggingface.co/blog/ggml-org/decision-models-in-llamacpp
Новый стандарт по факту.
Кстати, что интересно,- есть и модели с глазками:
llama serve -hf ggml-org/OpenJev-GGUF
на базе OpenJev
#llamacpp #systemone
------
@tsingular
🔥11❤2⚡2✍2👍1
This media is not supported in your browser
VIEW IN TELEGRAM
transformers serve теперь позволяет превратить любую LLM или VLM в модель принятия решений с помощью конечной точки
/v1/systemone Т.е. вам больше не нужно тренировать свой Jev, - просто берёте любую модель и дёргаете её через эту ручку и она ведёт себя как Jev, - не генерит токены, а сразу даёт вероятности ответа.
HuggingFace тащит. Скоро во всех инференсах мира.
#systemone #Jev #HuggingFace #transformers
———
@tsingular
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥20🤯2🤩2
This media is not supported in your browser
VIEW IN TELEGRAM
NVIDIA выпустила модель класса SystemOne для роботов
🎯 NVIDIA выпустила VFlash, модель типа SystemOne, но для роботов: она больше не пишет координаты по одному токену, а выдаёт весь визуальный план сразу - рамку, 2D- или 3D-траекторию, плотное движение.
В итоге на Jetson Thor шаг планирования сократился
с 3 552,7 до 703,3 мс.
🔍 Визуальные примитивы имеют известную длину: у рамки шесть токенов, у траектории руки из десяти точек - пятьдесят четыре.
Вызов инструмента описывает длину, тип задаёт раскладку координат, а черновик на пяти слоях трансформера заполняет примитив за один проход; целевая модель только проверяет результат.
⚡ На Thor одно декодирование ускорилось в 12 раз,- с 3 107,6 до 258,2 мс.
При авторегрессии на него уходило 75-87% времени шага.
На DGX Spark шаг сократился с 3 356,5 до 649,9 мс.
📐 Вместе со скоростью выросла и точность.
Средняя ошибка 3D-смещения снизилась на 42,6%, ошибка путевых точек - на 28-61%.
Манипуляции в MolmoSpaces дали 70,2% успеха против 62,6% у базовой линии, а авторегрессионные планы - 61,0%.
Получается скорость реакции роботов и автопилотов следующих поколений вырастет в десятки раз даже без смены железа.
#NVIDIA #VFlash #PhysicalAI #SystemOne
-------
@tsingular
🎯 NVIDIA выпустила VFlash, модель типа SystemOne, но для роботов: она больше не пишет координаты по одному токену, а выдаёт весь визуальный план сразу - рамку, 2D- или 3D-траекторию, плотное движение.
В итоге на Jetson Thor шаг планирования сократился
с 3 552,7 до 703,3 мс.
🔍 Визуальные примитивы имеют известную длину: у рамки шесть токенов, у траектории руки из десяти точек - пятьдесят четыре.
Вызов инструмента описывает длину, тип задаёт раскладку координат, а черновик на пяти слоях трансформера заполняет примитив за один проход; целевая модель только проверяет результат.
⚡ На Thor одно декодирование ускорилось в 12 раз,- с 3 107,6 до 258,2 мс.
При авторегрессии на него уходило 75-87% времени шага.
На DGX Spark шаг сократился с 3 356,5 до 649,9 мс.
📐 Вместе со скоростью выросла и точность.
Средняя ошибка 3D-смещения снизилась на 42,6%, ошибка путевых точек - на 28-61%.
Манипуляции в MolmoSpaces дали 70,2% успеха против 62,6% у базовой линии, а авторегрессионные планы - 61,0%.
Получается скорость реакции роботов и автопилотов следующих поколений вырастет в десятки раз даже без смены железа.
#NVIDIA #VFlash #PhysicalAI #SystemOne
-------
@tsingular
🔥16🤯3🤩2