Нейронавт | Нейросети в творчестве

LangSplatV2: High-dimensional 3D Language Gaussian Splatting with 450+ FPS

Модель умеет быстро обрабатывать и понимать изображения в трёхмерном пространстве, используя язык. Находит объекты на картинках и определяет их местоположение с высокой точностью.

Был похожий проект

Код

#video2mask #segmentation #gaussian

👍10🔥1

1.95K views12:16

MoVieS: Motion-Aware 4D Dynamic View Synthesis in One Second

Создает динамические 4D-изображения из обычных видео всего за одну секунду. При участии ByteDance

Умеет:
- видео с нового ракурса

- реконструкция геометрии сцены

- отслеживание 3D-точек

- оценка потока сцены (не знаю о чем речь)

- сегментация движущихся объектов

Код ждем

#novelview #stabilize #video2scene #video2mask #segmentation #tracking #video2depth

👍12❤1

1.97K viewsedited 08:11

3:46

Media is too big

SeC: Advancing Complex Video Object Segmentation via Progressive Concept Construction

Сегментатор объектов на видео. Под капотом визуально-языковая модель #vlm

На показанных примерах Точно узнает объект который исчез и снова появился, тогда как SAM 2 теряет его и ошибочно цепляется за другой.

Код
Веса ~15Гб

#segmentation #video2mask

👍13😱1

2.12K views08:12

1:25

DINOv3: Self-supervised learning for vision at unprecedented scale

Новая версия модели от запрещенной в РФ Meta AI

Модель универсальная, подходит почти для любых задач компьютерного зрения: детекция, сегментация, предсказание глубины, плотности

Использует метод самообучения (SSL) без необходимости в данных с метками, что позволяет ей обучаться на огромных объёмах изображений без человеческого участия.

Благодаря этому превосходит даже специализированные модели

Есть несколько вариантов весов под разные вычислительные мощности

Гитхаб
HF

#image2depth #segmentation #video2mask #video2depth

🔥9👍2❤1

2.63K views06:16

0:45

Media is too big

ReferDINO: Referring Video Object Segmentation with Visual Grounding Foundations

Июньская #SOTA в сегментировании объектов на видео по текстовому описанию

Код
Демо

#segmentation #video2mask

👍2

1.98K views10:13

ComfyUI SeC Nodes

Кастом ноды июльского сегментатора SeC

Новые веса модели - удобно как мы любим, в одном фале. Есть fp16, fp8, bf16, fp32

Туториал от ArtOficial
воркфлоу

#workflow #tutorial #segmentation #video2mask

🔥9👍6

2.26K views11:14

0:35

Slapshot.ai

онлайн маски, карты глубины, ретайм.
А теперь еще завезли трекинг камеры.

#tracking #video2mask #video2depth

👍6

1.82K views07:11

0:47

Generative Omnimatte: Learning to Decompose Video into Layers

Модель от Google DeepMind раскладывает видео на слои (omnimatte-слои), где каждый слой содержит полностью видимый объект и связанные с ним эффекты, например, тени и отражения.

Использует генеративные и семантические данные для дополнения скрытых пикселей и точного связывания эффектов с объектами

Код - тут неофициальная реимплементация на основе CogVideoX и Wan2.1, которая, как признают авторы, чуть слабее чем официальная Casper на основе Lumiere

Спасибо @Ildar_Idrisov

#video2matte #video2mask #rgb2rgba #segmentation

🔥12👍4

2.84K views10:13

0:04

FlowFeat: Pixel-Dense Embedding of Motion Profiles

Конкурент DINO и V-JEPA, создаёт детализированные представления видеоданных на уровне пикселей, используя информацию о движении.

В принципе должно работать для сегментации

Интересно где сравнение с DINO v3

Гитхаб

#segmentation #video2mask

❤5👍2🤔1🤯1

2.22K views16:19

0:03

Segment Anything Across Shots (SAAS)

Сегментатор для выделения объектов на нескольких разных шотах (кусочках видео).
На базе SAM 2

Гитхаб

#segmentation #video2mask

🔥6👍2🤯2

2.42K views14:17

0:47

MatAnyone 2: Scaling Video Matting via a Learned Quality Evaluator

Матирование человеков на видео с пиксельной точностью, вторая версия. Первая тут

DINOv3 используется для извлечения признаков

Код ждем

#segmentation #matting #video2matte #video2mask

🔥8👍3

2.52K views14:23

SAM3-DMS: Decoupled Memory Selection for Multi-target Video Segmentation of SAM3

Развитие модели SAM 3 для одновременного выделения нескольких объектов в видео

Вместо усреднения по группам оценивает каждый объект отдельно

Гитхаб

#segmentation #video2mask

🔥8👍6

2.61K views08:28

3AM: 3egment Anything with Geometric Consistency in Videos

И еще 3D-базированный сегментатор объектов на видео на MUSt3R и SAM2 с фокусом на работе даже при сильных изменениях ракурса и условиях съёмки

Код ждем
Демо

#segmentation #video2mask

👍9

3.02K views10:45

Segment anything ... Fast

команда PyTorch переписала модель SAM от Meta и ускорила её в 8 раз без потери точности, используя оптимизации PyTorch

Гитхаб

#optimization #segmentation #video2mask #image2mask

❤16🔥12👍1

2.29K views11:14

Опубликован код и веса MoVieS - генератора динамических 4D видео из обычных видео

Код
HF

Спасибо @Dmitriy_Ru6ts0v

#novelview #stabilize #video2scene #video2mask #segmentation #tracking #video2depth #4d #videoto4d

👍6❤2🔥1

2.7K views10:43

0:47

0:04

0:04

Опубликован код и веса отделятора человеков от фона MatAnyone 2

Гитхаб
HF
Демо

#segmentation #matting #video2matte #video2mask

Нейронавт в MAX

👍10🔥3❤1😁1😱1

2.38K views07:05

1:08

ONYX Ai Matte v2.1

Коммерческий плагин к Nuke / Fusion /daVinci для отделения объектов от фона на базе VitMatte

Есть несколько режимов - по точкам, по рамке, по тексту. Умеет улучшать края ротоскопа

Есть триалка

#segmentation #matting #video2matte #video2mask #desktop #nuke #plugin #davinci

Нейронавт в MAX

👍3😁3

2.42K views08:11

ComfyUI-CorridorKey

кастом ноды кеера от Corridor Digital

#comfyui #keying #video2mask #matting #compositing

Нейронавт в MAX

👍11🤔1👀1

3.03K views11:49