OmniStream
А тут универсальная модель для работы с визуальными данными
Понимание видео, анализ, сегментирование, предсказание глубины и геометрии сцены - пишут что в рилтайме и без пожирания памяти
Гитхаб
HF
#vlm #realtime #video2scene #video2depth #segmentation
Нейронавт в MAX
А тут универсальная модель для работы с визуальными данными
Понимание видео, анализ, сегментирование, предсказание глубины и геометрии сцены - пишут что в рилтайме и без пожирания памяти
Гитхаб
HF
#vlm #realtime #video2scene #video2depth #segmentation
Нейронавт в MAX
❤11
V-JEPA 2.1
Очередная JEPA от facebookreserach
Понимает видео и изображения без явных подсказок и разметки
выдаёт качественные и согласованные во времени признаки
Может работать одновременно и с изображениям и с видео
Прикольно они на диаграмме подписали V-JEPA 2.5, опечатка или палево?
#segmentation #video2mask #video2feature
Очередная JEPA от facebookreserach
Понимает видео и изображения без явных подсказок и разметки
выдаёт качественные и согласованные во времени признаки
Может работать одновременно и с изображениям и с видео
Прикольно они на диаграмме подписали V-JEPA 2.5, опечатка или палево?
#segmentation #video2mask #video2feature
😁13🌚3👍2❤1
This media is not supported in your browser
VIEW IN TELEGRAM
NVPanoptix-3D
Реконструкция 3D интерьеров по одному фото от NVIDIA на базе Uni-3D.
За один проход выполняет паноптическую сегментацию, предсказывает глубину и геометрию
HF
#imageto3d #image2scene #segmentation #image2depth
Реконструкция 3D интерьеров по одному фото от NVIDIA на базе Uni-3D.
За один проход выполняет паноптическую сегментацию, предсказывает глубину и геометрию
HF
#imageto3d #image2scene #segmentation #image2depth
👍4
SAM 3.1
Обновили SAM 3
Object Multiplex - реализован подход с общей памятью для совместного отслеживания нескольких объектов, который значительно ускоряет процесс без ущерба для точности.
Теперь до 16 объектов за один проход.
На 128 объектах - всемеро быстрее чем SAM 3 на одном H100
Кроме этого улучшили оптимизацию вывода (inference), уменьшив синхронизацию CPU и GPU и улучшив поддержку torch.compile. Повысили эффективность пакетной обработки и использования GPU
Гитхаб
HF - россиян не любят
#segmentation #imageto3d #humanreconstruction
Обновили SAM 3
Object Multiplex - реализован подход с общей памятью для совместного отслеживания нескольких объектов, который значительно ускоряет процесс без ущерба для точности.
Теперь до 16 объектов за один проход.
На 128 объектах - всемеро быстрее чем SAM 3 на одном H100
Кроме этого улучшили оптимизацию вывода (inference), уменьшив синхронизацию CPU и GPU и улучшив поддержку torch.compile. Повысили эффективность пакетной обработки и использования GPU
Гитхаб
HF - россиян не любят
#segmentation #imageto3d #humanreconstruction
👍9
See-through: Single-image Layer Decomposition for Anime Characters
Разбирает статичные иллюстрации на семантические куски (до 23 слоев) с восстановлением скрытых областей и превращает в анимируемые 2.5D модели
Результат экспортирует в PSD-файл.
Демо
#image2psd #imageediting #animation #segmentation #image2rgba #image2layers
Разбирает статичные иллюстрации на семантические куски (до 23 слоев) с восстановлением скрытых областей и превращает в анимируемые 2.5D модели
Результат экспортирует в PSD-файл.
Демо
#image2psd #imageediting #animation #segmentation #image2rgba #image2layers
🔥12👍4
This media is not supported in your browser
VIEW IN TELEGRAM
INSID3
Контекстная сегментация на лету на основе одной замороженной модели DINOv3, без дообучения, декодеров сегментации или вспомогательных моделей.
Достаточно аннотировать один или несколько примеров эталонной категории, и INSID3 сегментирует эту категорию на новых изображениях.
работает быстрее аналогов: например, обгоняет GF-SAM в 3,4 раза, а Matcher — в 29,8 раза
#segmentation
Контекстная сегментация на лету на основе одной замороженной модели DINOv3, без дообучения, декодеров сегментации или вспомогательных моделей.
Достаточно аннотировать один или несколько примеров эталонной категории, и INSID3 сегментирует эту категорию на новых изображениях.
работает быстрее аналогов: например, обгоняет GF-SAM в 3,4 раза, а Matcher — в 29,8 раза
#segmentation
🔥5❤1
Media is too big
VIEW IN TELEGRAM
Boxer
Проект от Meta (запрещено в РФ), инструмент для преобразования двухмерных обнаружений (рамок) объектов в трёхмерные ориентированные ограничивающие рамки - боксы.
Модель работает с изображениями и полуплотными облаками точек, особенно хорошо справляется с обнаружением объектов внутри помещений
Умеет отслеживать объекты в режиме онлайн и объединять обнаружения из разных кадров
Гитхаб
HF
#detection #3d #segmentation
Проект от Meta (запрещено в РФ), инструмент для преобразования двухмерных обнаружений (рамок) объектов в трёхмерные ориентированные ограничивающие рамки - боксы.
Модель работает с изображениями и полуплотными облаками точек, особенно хорошо справляется с обнаружением объектов внутри помещений
Умеет отслеживать объекты в режиме онлайн и объединять обнаружения из разных кадров
Гитхаб
HF
#detection #3d #segmentation
52❤6🔥3👍1
WildDet3D: Scaling Promptable 3D Detection in the Wild
#SOTA детектор объектов от Allen AI для изображений и видео в реальном времени.
— Распознаёт 3D-объекты по текстовым подсказкам
— Преобразует 2D-рамки в 3D
— Находит похожие объекты по примеру
— Работает с точками на изображении
— Использует монокулярные изображения
— Применяет данные о глубине для точного позиционирования
Гитхаб
HF
Демо
iOS
#detection #3d #segmentation #mobile #ios #realtime
#SOTA детектор объектов от Allen AI для изображений и видео в реальном времени.
— Распознаёт 3D-объекты по текстовым подсказкам
— Преобразует 2D-рамки в 3D
— Находит похожие объекты по примеру
— Работает с точками на изображении
— Использует монокулярные изображения
— Применяет данные о глубине для точного позиционирования
Гитхаб
HF
Демо
iOS
#detection #3d #segmentation #mobile #ios #realtime
❤6🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Sapiens2
Семейство высокоразрешающих трансформерных моделей от Meta (запрещено в РФ)
• оценивает позу (308 ключевых точек)
• сегментирует части тела (29 классов)
• рассчитывает нормали поверхности
• создаёт pointmap
Веса от 0,4B до 5 B параметров, разрешение до 4K (4096×3072)
Сгодится для создания аватаров, AR/VR и реконструкции человека
GitHub: https://github.com/facebookresearch/sapiens2
Hugging Face: https://huggingface.co/facebook/sapiens2
#hmr #humanreconstruction #video2normals #segmentation #video2pose
Семейство высокоразрешающих трансформерных моделей от Meta (запрещено в РФ)
• оценивает позу (308 ключевых точек)
• сегментирует части тела (29 классов)
• рассчитывает нормали поверхности
• создаёт pointmap
Веса от 0,4B до 5 B параметров, разрешение до 4K (4096×3072)
Сгодится для создания аватаров, AR/VR и реконструкции человека
GitHub: https://github.com/facebookresearch/sapiens2
Hugging Face: https://huggingface.co/facebook/sapiens2
#hmr #humanreconstruction #video2normals #segmentation #video2pose
🔥8
X2SAM
Мультимодальная модель для сегментации объектов на изображениях и видео на базе SAM
Показывает высокие результаты в COCO, сильна в LongVideoBench
• обрабатывает изображения и видео
• работает с текстовыми инструкциями и визуальными подсказками (точки, bounding boxes, маски)
• хранит визуальные признаки в модуле Mask Memory - поддерживает временную согласованность масок в видео
Гитхаб
HF
Демо
#segmentation
Мультимодальная модель для сегментации объектов на изображениях и видео на базе SAM
Показывает высокие результаты в COCO, сильна в LongVideoBench
• обрабатывает изображения и видео
• работает с текстовыми инструкциями и визуальными подсказками (точки, bounding boxes, маски)
• хранит визуальные признаки в модуле Mask Memory - поддерживает временную согласованность масок в видео
Гитхаб
HF
Демо
#segmentation
❤3👍3
Z-Image-SAM-ControlNet
ControlNet #zimage для генерации фотореалистичных изображений из сегментных масок SAM
Обучен на 220 K сегментированных изображений (laion2b-squareish-1536px), разрешение обучения — 1024×1024, лучшее качество вывода — от 1536×1536.
#controlnet #mask2image #segmentation
ControlNet #zimage для генерации фотореалистичных изображений из сегментных масок SAM
Обучен на 220 K сегментированных изображений (laion2b-squareish-1536px), разрешение обучения — 1024×1024, лучшее качество вывода — от 1536×1536.
#controlnet #mask2image #segmentation
👍8🔥2💯1
SenseNova‑Vision
Мультимодальная генеративная модель для компьютерного зрения (7B, MoT)
• решает сразу несколько задач без отдельных голов под каждую: детекция, OCR, сегментация, ключевые точки, нормали, глубина, поза камеры
• принимает инструкции на естественном языке
• генерирует текст, изображения или смешанные выходы
• единый подход вместо набора узкоспециализированных моделей
Гитхаб
HF
Демо
#vlm #multimodal #t2i #i2t #detection #segmentation #image2depth #image2normals
Мультимодальная генеративная модель для компьютерного зрения (7B, MoT)
• решает сразу несколько задач без отдельных голов под каждую: детекция, OCR, сегментация, ключевые точки, нормали, глубина, поза камеры
• принимает инструкции на естественном языке
• генерирует текст, изображения или смешанные выходы
• единый подход вместо набора узкоспециализированных моделей
Гитхаб
HF
Демо
#vlm #multimodal #t2i #i2t #detection #segmentation #image2depth #image2normals
👍9❤1
Media is too big
VIEW IN TELEGRAM
SAM-MT
Мультизадачная версия SAM для сегментации - отслеживает одновременно несколько целей. Адаптация под разные типы данных и сценарии без переобучения.
• рилтайм: 36+ fps при 10 целях на одном RTX A6000
• работа с разными типами изображений и модальностей
• улучшенная сегментация сложных объектов
• экономия памяти при инференсе
Гитхаб
HF
#segmentation #tracking #realtime
Мультизадачная версия SAM для сегментации - отслеживает одновременно несколько целей. Адаптация под разные типы данных и сценарии без переобучения.
• рилтайм: 36+ fps при 10 целях на одном RTX A6000
• работа с разными типами изображений и модальностей
• улучшенная сегментация сложных объектов
• экономия памяти при инференсе
Гитхаб
HF
#segmentation #tracking #realtime
👍9
ReChannel
Лоры к #klein
Извлекают глубину, нормали, альфу и сегментацию из одного кадра
33K обучаемых параметров на задачу
Гитхаб
HF
#lora #image2depth #image2normals #segmentation #rgb2rgba #image2matte
Лоры к #klein
Извлекают глубину, нормали, альфу и сегментацию из одного кадра
33K обучаемых параметров на задачу
Гитхаб
HF
#lora #image2depth #image2normals #segmentation #rgb2rgba #image2matte
👍15❤1
SAM2Matting
Матирование по сегментации (SAM2, SAM3)
В отличие от сегментной маски, матирование содержит информацию не только о границе объекта, но и о мягкости/полупрозрачности краев
Поддержка разных промптов - маски, точки, боксы, текст
Обучен только на изображениях, но уверенно работает на видео
Гитхаб
HF
Демо
#video2matte #segmentation #rgb2rgba #matting #image2matte
Матирование по сегментации (SAM2, SAM3)
В отличие от сегментной маски, матирование содержит информацию не только о границе объекта, но и о мягкости/полупрозрачности краев
Поддержка разных промптов - маски, точки, боксы, текст
Обучен только на изображениях, но уверенно работает на видео
Гитхаб
HF
Демо
#video2matte #segmentation #rgb2rgba #matting #image2matte
🔥10🤔1
IGGT4D
Онлайн-понимание 4D-сцен в видеопотоке. Строит единую модель сцены на лету - геометрия, движение камеры, объекты.
• сегментирование и олтслеживание объектов, глубина
• обрабатывает кадры по очереди
• переиспользует прошлый контекст через causal spatial-temporal modeling. Всю историю не хранит для экономии памяти
• обновляет представление сцены инкрементально
• чётко выделяет отдельные объекты.
код / веса ждем
#vlm #tracking #segmentation #videoto4d #vidfeo2depth
Онлайн-понимание 4D-сцен в видеопотоке. Строит единую модель сцены на лету - геометрия, движение камеры, объекты.
• сегментирование и олтслеживание объектов, глубина
• обрабатывает кадры по очереди
• переиспользует прошлый контекст через causal spatial-temporal modeling. Всю историю не хранит для экономии памяти
• обновляет представление сцены инкрементально
• чётко выделяет отдельные объекты.
код / веса ждем
#vlm #tracking #segmentation #videoto4d #vidfeo2depth
🔥3👍2
UniD
модель для плотной разметки видео, сразу несколько свойств сцены в одном прогоне
• глубина
• нормали поверхности
• семантическая сегментация
• границы объектов
• части тела человека
• альбедо
• затенение
• материалы
• единый backbone, один проход для всех задач
• стабильная согласованность по кадрам
Гитхаб ждем
#material #video2depth #video2normals #segmentation #relighting
модель для плотной разметки видео, сразу несколько свойств сцены в одном прогоне
• глубина
• нормали поверхности
• семантическая сегментация
• границы объектов
• части тела человека
• альбедо
• затенение
• материалы
• единый backbone, один проход для всех задач
• стабильная согласованность по кадрам
Гитхаб ждем
#material #video2depth #video2normals #segmentation #relighting
👍8
MaskVidExperiments
Кастом пак #ComfyUI по работе с масками в видео.
Обработка замаскированного объекта внутри движущегося кропа, с последующей вставкой обратно в кадр без дерганья и видимых швов
- Subject Crop: стабильный кроп вокруг объекта по всему клипу — не дёргается от шума маски, окклюзий и кратких уходов, следует только за устойчивым движением
- Subject Uncrop: пиксельно точная вставка результата обратно с мягкой кромкой
- Mask Cleanup: чистит мусор и мерцающие пятна из видеомаски, сохраняя настоящий объект
- Mask To Latent Space: честно приводит маску к латентному разрешению через VAE - без размазывания трилинейным resize, чистая инпейнт-область (пример: машина → овчарка в LTX)
- Audio Mask To Latent: регенерация выбранных временных отрезков в аудио-латент (для MiniMax H3, LTX-2)
- Differential Diffusion (Soft): мягкие кромки в масках денойза на каждом шаге, стабильно по времени
Спасибо @m_franz
#segmentation
Кастом пак #ComfyUI по работе с масками в видео.
Обработка замаскированного объекта внутри движущегося кропа, с последующей вставкой обратно в кадр без дерганья и видимых швов
- Subject Crop: стабильный кроп вокруг объекта по всему клипу — не дёргается от шума маски, окклюзий и кратких уходов, следует только за устойчивым движением
- Subject Uncrop: пиксельно точная вставка результата обратно с мягкой кромкой
- Mask Cleanup: чистит мусор и мерцающие пятна из видеомаски, сохраняя настоящий объект
- Mask To Latent Space: честно приводит маску к латентному разрешению через VAE - без размазывания трилинейным resize, чистая инпейнт-область (пример: машина → овчарка в LTX)
- Audio Mask To Latent: регенерация выбранных временных отрезков в аудио-латент (для MiniMax H3, LTX-2)
- Differential Diffusion (Soft): мягкие кромки в масках денойза на каждом шаге, стабильно по времени
Спасибо @m_franz
#segmentation
🔥10👍1🫡1
Object Concepts Emerge from Motion
Метод учит нейросеть видеть объекты на картинке без ручной разметки просто наблюдая за движением
Идея из детской психологии: младенец понимает, что части двигаются вместе, значит это один объект. Авторы применили то же к ИИ: если кусок видео движется как единое целое, считаем его объектом. Разметка не нужна, видео в интернете полно.
Результат: на готовом фото модель сама разделяет машины, людей, тротуары. Сравнима с конкурентами, которых учили на дорогой размеченной разметке.
Главное применение - автономное вождение: глубина, 3D-детекция, планирование пути
Гитхаб
HF
#segmentation #video2feature
VK | MAX
Метод учит нейросеть видеть объекты на картинке без ручной разметки просто наблюдая за движением
Идея из детской психологии: младенец понимает, что части двигаются вместе, значит это один объект. Авторы применили то же к ИИ: если кусок видео движется как единое целое, считаем его объектом. Разметка не нужна, видео в интернете полно.
Результат: на готовом фото модель сама разделяет машины, людей, тротуары. Сравнима с конкурентами, которых учили на дорогой размеченной разметке.
Главное применение - автономное вождение: глубина, 3D-детекция, планирование пути
Гитхаб
HF
#segmentation #video2feature
VK | MAX
👍7🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
ENEAS (Speridlabs)
Метод сегментации по текстовому описанию, который не путает настоящий объект с его двойником. Если SAM 3 теряет цель при перекрытии и хватается за статую или отражение, ENEAS держит правильный объект, даже когда он уходит из кадра и возвращается
- Трекинг конкретного объекта по текстовому запросу
- Semantic discovery: «стул» - находит все стулья в сцене, не путая с картиной стула или отражением
- Работает с видео (упорядоченным) и с коллекцией несвязанных кадров
Гитхаб
Демо
#segmentation
VK | MAX
Метод сегментации по текстовому описанию, который не путает настоящий объект с его двойником. Если SAM 3 теряет цель при перекрытии и хватается за статую или отражение, ENEAS держит правильный объект, даже когда он уходит из кадра и возвращается
- Трекинг конкретного объекта по текстовому запросу
- Semantic discovery: «стул» - находит все стулья в сцене, не путая с картиной стула или отражением
- Работает с видео (упорядоченным) и с коллекцией несвязанных кадров
Гитхаб
Демо
#segmentation
VK | MAX
👍7