Moondream распознает видео в реальном времени

От понимания картинок к пониманию потокового видео

Может работать с веб-камерами, камерами безопасности, дронами и другими источниками видео.

Может запускать оповещения, логировать события и управлять системами.

Применяется в безопасности, контроле качества, мониторинге безопасности и розничной аналитике.

Работает по API

Гитхаб
Демо по ссылке в шапке. Там можно подключить свою вебку или закинуть видеофал

#vlm #captioning #detection #moe #cv #image2text

BBoxMaskPose: Detection, Pose Estimation and Segmentation for Multiple Bodies: Closing the Virtuous Circle

Обнаружение, сегментация и оценка поз для изображений с большим количеством людей

Гитхаб
Демо

#detection #segmentation #image2pose #HPR

GeCo2 - Generalized-Scale Object Counting with Gradual Query Aggregation

модель для подсчёта и обнаружения объектов на изображениях. Она особенно хорошо работает с объектами разного размера, которые плотно расположены друг к другу

Гитхаб
HF
Демо

#detection

S3T-Former

Модель для распознавания действий по скелету человека

На входе данные о скелете человека — координаты суставов и информация о костях. Это могут быть данные, полученные, например, с помощью Kinect

На выходе — конечное количество классов действий, не текстовое описание.

было бы интересно узнать если найдете этому применение

#captioning #classification #detection

Boxer

Проект от Meta (запрещено в РФ), инструмент для преобразования двухмерных обнаружений (рамок) объектов в трёхмерные ориентированные ограничивающие рамки - боксы.

Модель работает с изображениями и полуплотными облаками точек, особенно хорошо справляется с обнаружением объектов внутри помещений

Умеет отслеживать объекты в режиме онлайн и объединять обнаружения из разных кадров

Гитхаб
HF

#detection #3d #segmentation

OmniShotCut

Модель для обнаружения склеек в видео (shot boundary detection) на базе Transformer с shot‑query.

Учитывает внутрикадровые и межкадровые отношения

Обучена на 300 тыс. синтетических видео

#SOTA по точности, полноте, F1‑мере, IoU и точности внезапных скачков

Гитхаб
HF
Демо

#editdetection #detection #videoediting

UniGenDet

Единый фреймворк на базе BAGEL для генерации изображений и обнаружения изображений, сгенерированных любыми ИИ

• генерирует изображения с учётом критериев аутентичности
• детектирует сгенерированные изображения
• обменивается сигналами между генерацией и детекцией
• повышает реализм генерируемых картинок
• улучшает интерпретируемость детекции

Точность детекции на FakeClue — 98 %, F1‑score — 97,7 %

Гитхаб
HF

#detection #t2i #realism

LocateAnything

3B vision‑language модель от NVIDIA Research для поиска объектов, текста и элементов интерфейса на изображениях по текстовому запросу.

• находит объекты, текст и элементы интерфейса на картинке
• локализует области через Parallel Box Decoding
• выдаёт координаты рамки целиком (не собирает токен за токеном)


• 3 B параметров
• прирост скорости до 2,5×
• обучена на 12 млн изображений
• 138 млн запросов и 785 млн bounding boxes
• лицензия — некоммерческая (для исследований и разработки)

huggingface.co/nvidia/LocateAnything-3B

Спасибо @Endorpheen

#detection vlm

RF-DETR keypoints

Roboflow выпустили модель для детекции ключевых точек (поз и суставов) на видео в реальном времени.

Выдает 2D-эллипс неопределённости для каждой точки, сразу видно зоны неуверенности

• 71,8 AP на COCO, задержка 9,7 мс на T4
• обгоняет YOLO11-pose и YOLO26-pose при схожей задержке

Гитхаб

#detection #video2pose #poseestimation #realtime

SenseNova‑Vision

Мультимодальная генеративная модель для компьютерного зрения (7B, MoT)

• решает сразу несколько задач без отдельных голов под каждую: детекция, OCR, сегментация, ключевые точки, нормали, глубина, поза камеры
• принимает инструкции на естественном языке
• генерирует текст, изображения или смешанные выходы
• единый подход вместо набора узкоспециализированных моделей

Гитхаб
HF
Демо

#vlm #multimodal #t2i #i2t #detection #segmentation #image2depth #image2normals

NVIDIA Synthetic Video Detector

На SIGGRAPH показали инструмент для отлова ИИ-видео

Предполагается использование в СМИ и новостных редакциях для быстрой проверки видео когда на глаз не разобрать.

Система режет ролик на кадры 504×504 и прогоняет через DINOv2 и DINOv3, выдаёт оценку вероятности ИИшного происхождения от 0 до 1, потом считает среднее по видео.

Точность: 92 % на несжатом, 87 % при сжатии на 15 %, 82 % - на 50 %.

На RTX ролик в 1080p обрабатывается примерно за 22 мс, но нужен кодек NVENC, поэтому на A100, H100 и других серверных GPU не запустится

Сейчас детектор в закрытой программе AI for Media, но есть демо

NVIDIA планирует внедрить детектор в прямых трансляциях с Wowza

Демо

#detection

Agent Detection-1 от Resemble AI

Модель system-one для распознавания агентов на сайте. Различает человека и агента, называет агента по имени и решает, что с ним делать

• определяет человека или агента и какого именно - Muse, Claude Code, Codex и другие
• полезные агенты направляются на MCP-сервер или llms.txt
• плохие - скрейперы и credential stuffer - останавливаются
• каждый визит пишется в дашборд Resemble

Отличие от привычных решений: Cloudflare и Akamai агентов блокируют, аналитика их не отличает от людей. Эта модель отвечает на вопрос, кто пришел, в момент визита

Подключение - одна строка скрипта, 3 шага за 5 минут. Цена от 1 доллара за 1000 посетителей. Есть скилл, который ставит детект в кодовую базу

#rlcd #decision #detection #skill

MAX

SynthID Detector

Google открыл всем детектор для проверки картинок и видео на ИИ. Раньше SynthID был доступен только избранным партнёрам и инструментам Google, теперь попробовать может любой.

#detection #watermark

MAX

GroundingPI

4B фундаментальная модель на визуальных примитивах для локализации объектов — детекция, позиция, OCR и другие.

• Локализация точками и боксами как квантованные координаты в общем словаре
• Несколько grounding-задач: детекция, pointing, OCR, layout, GUI
• Как визуальный бэкбон улучшает робоманипуляцию и автопилот
• #SOTA на 34 бенчмарках, 11 возможностей восприятия: средний 73.68% против 71.54% у GPT-6 Astra

GroundAnything
Быстрая локализация через параллельное декодирование на диффузии

GroundAnything VLM
Высокая точность локализации авторегрессивной VLM

github.com/groundingpi/GroundAnything
huggingface.co/GroundingPI
huggingface.co/spaces/GroundingPI/groundanything-vlm

#vlm #ocr #detection

MAX