TIPS v2

Пониматор картинок от Google DeepMind с пространственным чутьем. Если CLIP понимает ЧТО на картинке, то TIPS еще и ГДЕ это. Признаки считаются не только для всего изображения, а для каждого участка (патча) отдельно

- Zero-shot классификация по текстовым описаниям без дообучения
- Пространственные признаки с каждого патча: скармливаешь их в сегментацию, оценку глубины, детекцию - позиции объектов не теряются
- Работает на других разрешениях через интерполяцию позиционных эмбеддингов

- 1.1B vision-параметров, 389M текстовых, эмбеддинг 1536, разрешение 448
- Вся линейка: от S/14 (22M) до g/14 low-res, есть вариант под слабое железо
- ~2B параметров суммарно, лицензия Apache 2.0

Гитхаб
HF
Демо

#vlm #image2features