👁 Новая модель Count Anything считает объекты на любых изображениях — от спутниковых снимков до микроскопии

Исследователи из Университета Цинхуа представили модель Count Anything, которая решает давнюю проблему компьютерного зрения: подсчёт объектов на изображениях разного типа. Система работает с текстовыми запросами и отмечает каждый найденный объект, будь то люди в толпе, автомобили на спутниковых снимках, клетки в медицинских сканах или бактериальные колонии.

Ключевая инновация — комбинация двух подходов: один детектор выделяет крупные объекты ограничивающими рамками, второй ставит точки на мелких и плотно упакованных элементах. Результаты объединяются, а дубли удаляются по принципу наибольшей уверенности. Модель построена на базе SAM3 с добавлением лёгких адаптеров — полное переобучение не потребовалось.

Для обучения авторы собрали датасет CLOC — крупнейший на сегодня набор для текст-управляемого подсчёта: 220 000 изображений, 619 категорий, 15 млн размеченных объектов в шести доменах (общие сцены, спутниковые снимки, гистопатология, микроскопия, сельское хозяйство, микробиология). На тестах Count Anything ошибается в среднем на 9 объектов на категорию — лучшие конкуренты ошибаются более чем вдвое чаще. Код опубликован на GitHub.

#Tech #AI #ComputerVision #Research #NewModel