Технозаметки Малышева
13.4K subscribers
5.81K photos
2.21K videos
44 files
5.7K links
Новости инноваций из мира Искусственного Интеллекта. 🤖 [РКН: 7021469833 ]

Всё об ИИ, ИТ трендах и Технологической Сингулярности.

🤖: @ai_gptfreebot [бесплатный бот]
✍️: @tsingular_bot [каталог ботов и курсов]

💸: https://pay.cloudtips.ru/p/c8960bbb
Download Telegram
Llama.cpp тоже добавили поддержку моделей типа SystemOne

https://huggingface.co/blog/ggml-org/decision-models-in-llamacpp

Новый стандарт по факту.

Кстати, что интересно,- есть и модели с глазками:
llama serve -hf ggml-org/OpenJev-GGUF
на базе OpenJev

#llamacpp #systemone
------
@tsingular
🔥11❤2⚡2✍2👍1
This media is not supported in your browser
VIEW IN TELEGRAM
🤯
transformers serve теперь позволяет превратить любую LLM или VLM в модель принятия решений с помощью конечной точки
/v1/systemone

Т.е. вам больше не нужно тренировать свой Jev, - просто берёте любую модель и дёргаете её через эту ручку и она ведёт себя как Jev, - не генерит токены, а сразу даёт вероятности ответа.

HuggingFace тащит. Скоро во всех инференсах мира.

#systemone #Jev #HuggingFace #transformers
———
@tsingular
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥20🤯2🤩2
This media is not supported in your browser
VIEW IN TELEGRAM
NVIDIA выпустила модель класса SystemOne для роботов

🎯 NVIDIA выпустила VFlash, модель типа SystemOne, но для роботов: она больше не пишет координаты по одному токену, а выдаёт весь визуальный план сразу - рамку, 2D- или 3D-траекторию, плотное движение.
В итоге на Jetson Thor шаг планирования сократился
с 3 552,7 до 703,3 мс.

🔍 Визуальные примитивы имеют известную длину: у рамки шесть токенов, у траектории руки из десяти точек - пятьдесят четыре.
Вызов инструмента описывает длину, тип задаёт раскладку координат, а черновик на пяти слоях трансформера заполняет примитив за один проход; целевая модель только проверяет результат.

⚡ На Thor одно декодирование ускорилось в 12 раз,- с 3 107,6 до 258,2 мс.
При авторегрессии на него уходило 75-87% времени шага.
На DGX Spark шаг сократился с 3 356,5 до 649,9 мс.

📐 Вместе со скоростью выросла и точность.
Средняя ошибка 3D-смещения снизилась на 42,6%, ошибка путевых точек - на 28-61%.
Манипуляции в MolmoSpaces дали 70,2% успеха против 62,6% у базовой линии, а авторегрессионные планы - 61,0%.

Получается скорость реакции роботов и автопилотов следующих поколений вырастет в десятки раз даже без смены железа.

#NVIDIA #VFlash #PhysicalAI #SystemOne
-------
@tsingular
🔥16🤯3🤩2