Рубрика - управление железом.

Давным-давно, во времена Doom2 и DOS пользовались мы RAMdrive утилитами, размещая игру в диске в оперативке, чтобы, значит, загружалась она не 3 минуты, а 30 секунд.

И тут прям флэшбэк:

В общем, представьте, что у вас есть 1 видеокарта и 2-3 модели ИИ (текст, картинка и звук, допустим) и вам их нужно быстро переключать.

Решение "в лоб", - это загрузка с диска, но даже самый быстрый SSD вам даст, скажем, 10гигов в секунду на чтение, а модели у вас 20гигов (да, мало, но видеокарта, допустим больше не поместит за раз)

Получается, что на смену "обоймы" вам нужно около 3х секунд, что невероятно долго для пользователя.

Решение - разместить модели на виртуальном диске в оперативке.
Она-то явно быстрее, чем любой ССД.

Так вот, - Клод за 10 минут накидал 250 строк скрипта, который создаёт такой диск и сразу сервис под него, который пересоздает его при перезагрузке.
Оставлю в комментариях.

#RAMdrive #devops #linux
———
#tsingular

XHAND: Новые руки для роботов от RobotEra

Китайская компания RobotEra представила новую версию рук для роботов с тактильными датчиками на пальцах.
Подушечки каждого пальца собирают не только давление на сам палец, но и векторную карту перемещения объекта по подушечке с достаточно высоким разрешением.

Руки тренируют в виртуальной среде и дальше проверяют на реальных кошках :)

Точность поражает, - пластиковые стаканы с водой не мнутся, кошка жива.
🤖

#XHAND #RobotEra #Beijing #Китай
———
#tsingular

квака появилась в ollama

https://ollama.com/library/qwq

20 гигов - т.е. взлетит на 1 карте.
и есть режим tools - т.е. можно прикрутить к агентам!!

ещё есть 32b-fp16 на 66GB, но это уже для Nvidia digits или M3Ultra прибережём

#QwQ
———
#tsingular

DeepMind запустил на Kaggle бенчмарк SimpleQA для проверки фактологической точности ИИ

Google DeepMind выпустил новый датасет и рейтинг на Kaggle для оценки фактологической точности ИИ-систем в задачах вопросов-ответов.

Бенчмарк фокусируется на коротких фактических вопросах с однозначными ответами и измеряет "калибровку" моделей - способность понимать уверенность в собственных знаниях.

Т.е. модели должны не просто отвечать, но и указывать процент уверенности в ответе.

Интересно, что даже GPT-4 показал неожиданно низкие результаты по сравнению с другими оценками.

Методология включает техники снижения предвзятости и использует RAG для имитации реальных сценариев поиска информации.

Наконец-то можно будет объективно мерить, когда ИИ выдумывает, а когда просто не знает. Хотя если GPT-4 провалился, то что говорить о остальных.

Имеет смысл, конечно, такие бенчи разворачивать локально, чтобы они показывали наглядную картинку именно на ваших данных.
Тут Каггл может выступать наглядным примером.

#DeepMind #SimpleQA #Kaggle #обучение
———
#tsingular