AutoGaze: мгновенные анализ видео от NVIDIA

Ученые из NVlabs (NVIDIA) и UC Berkeley представили AutoGaze. Компактная модель на 3 млн параметров повторяет механику человеческого глаза. Она находит важные фрагменты и отсекает фон до передачи данных в основную нейросеть.

👁 Эмуляция внимания: Человек воспринимает мир фрагментарно. Мы фокусируемся на движении и контурах, игнорируя статичное окружение. AutoGaze копирует этот паттерн: он адаптивно выбирает минимальный набор фрагментов для сохранения смысла. Похожим образом работают различные кодеки для видео, - фиксируя только дельту изменений в кадре.

🚀 Глубокая оптимизация: Алгоритм снижает вычислительную нагрузку в 4-100 раз. Модели ViT и MLLM ускоряются до 19 раз. Это открывает возможность анализировать 4K-видео на 1000 кадров на доступном железе.

📊 Бенчмарк HLVid: Исследователи ввели High-Resolution Long-Form Video QA — первый тест для длинных роликов высокого качества. Модель NVILA-8B в связке с AutoGaze работает на 10% точнее базовой версии при кратном ускорении.

💼 Зачем бизнесу: Снижение стоимости распознавания видео потоков сверхвысокой четкости.
- мониторинг безопасности,
- автономный транспорт,
- складская логистика,
- машинное зрение у роботов и дронов.
Все это получает стократный буст.
Т.е. теперь нужно или в сто раз меньше мощностей, чтобы распознавать видео или можно работать с видеопотоком максимального качества без лишних расходов на железо.

Paper | GitHub | HF | Demo

#NVIDIA #AI #ComputerVision #AutoGaze
───
@tsingular