Any Resolution Any Geometry: From Multi-View To Multi-Patch
Генератор нормалей и глубины по одному изображению в любом разрешении - хоть 2K, хоть 8K, с глобальной связностью геометрии
Разбивают изображение на патчи и обрабатывают совместно
Демонстрационные результаты сильно лучше Depth Anything v2 и Metric 3Dv2
Гитхаб
HF
#image2depth #image2normals
Нейронавт в MAX 📲
Генератор нормалей и глубины по одному изображению в любом разрешении - хоть 2K, хоть 8K, с глобальной связностью геометрии
Разбивают изображение на патчи и обрабатывают совместно
Демонстрационные результаты сильно лучше Depth Anything v2 и Metric 3Dv2
Гитхаб
HF
#image2depth #image2normals
Нейронавт в MAX 📲
❤7👍6
TIPSv2
Гугл выпустил модель предсказания плотности а потом "впустил обратно" - страница модели выдает 404
Но поисковые ИИшки помнят как ее устанавливать. Наверняка ничего не получится без доступа к модели
TIPSv2 предсказывает визуальные признаки, согласованные с текстовыми эмбеддингами, дальше с ними могут работать визуальные пониматоры
[UPDATE] Найдено на ModelScope, как я и надеялся, спасибо @p0lygon
#image2depth #image2normals
Гугл выпустил модель предсказания плотности а потом "впустил обратно" - страница модели выдает 404
Но поисковые ИИшки помнят как ее устанавливать. Наверняка ничего не получится без доступа к модели
TIPSv2 предсказывает визуальные признаки, согласованные с текстовыми эмбеддингами, дальше с ними могут работать визуальные пониматоры
[UPDATE] Найдено на ModelScope, как я и надеялся, спасибо @p0lygon
#image2depth #image2normals
🤔3👍2
SenseNova‑Vision
Мультимодальная генеративная модель для компьютерного зрения (7B, MoT)
• решает сразу несколько задач без отдельных голов под каждую: детекция, OCR, сегментация, ключевые точки, нормали, глубина, поза камеры
• принимает инструкции на естественном языке
• генерирует текст, изображения или смешанные выходы
• единый подход вместо набора узкоспециализированных моделей
Гитхаб
HF
Демо
#vlm #multimodal #t2i #i2t #detection #segmentation #image2depth #image2normals
Мультимодальная генеративная модель для компьютерного зрения (7B, MoT)
• решает сразу несколько задач без отдельных голов под каждую: детекция, OCR, сегментация, ключевые точки, нормали, глубина, поза камеры
• принимает инструкции на естественном языке
• генерирует текст, изображения или смешанные выходы
• единый подход вместо набора узкоспециализированных моделей
Гитхаб
HF
Демо
#vlm #multimodal #t2i #i2t #detection #segmentation #image2depth #image2normals
👍9❤1
PointDiT
Модель от Google, Microsoft и ко для оценки геометрии по одному изображению. Восстановливает 3D-структуру из монокулярного кадра.
• работа в пиксельном пространстве
• оценка глубины и нормалей
• стабильная генерация геометрических карт без доп. сенсоров
Непонятно будет опенсорс или нет
галерея
#image2depth #image2normals #imageto3d
Модель от Google, Microsoft и ко для оценки геометрии по одному изображению. Восстановливает 3D-структуру из монокулярного кадра.
• работа в пиксельном пространстве
• оценка глубины и нормалей
• стабильная генерация геометрических карт без доп. сенсоров
Непонятно будет опенсорс или нет
галерея
#image2depth #image2normals #imageto3d
❤4👍3
ReChannel
Лоры к #klein
Извлекают глубину, нормали, альфу и сегментацию из одного кадра
33K обучаемых параметров на задачу
Гитхаб
HF
#lora #image2depth #image2normals #segmentation #rgb2rgba #image2matte
Лоры к #klein
Извлекают глубину, нормали, альфу и сегментацию из одного кадра
33K обучаемых параметров на задачу
Гитхаб
HF
#lora #image2depth #image2normals #segmentation #rgb2rgba #image2matte
👍15❤1
Mage-Flow
У нас новый игрок в опенсорсе для работы с картинками
Компактная модель от Microsoft для создания и редактирования изображений. 4B параметров
• генерация изображений по тексту
• редактирование по инструкциям
• работа с разрешением от 512 до 2048
• поддержка любых пропорций
• высокая скорость генерации
• семантическое редактирование
• трансформация внешнего вида
• реставрация изображений
Выпущен в трёх вариантах: Base, RL-aligned и Turbo. На A100 генерирует изображение за 0.59 секунды, редактирование - за 1.02 секунды. Используют Mage-VAE для эффективного кодирования
Гитхаб
HF
Демо
Демо VL
#t2i #i2i #imageediting #image2normals
У нас новый игрок в опенсорсе для работы с картинками
Компактная модель от Microsoft для создания и редактирования изображений. 4B параметров
• генерация изображений по тексту
• редактирование по инструкциям
• работа с разрешением от 512 до 2048
• поддержка любых пропорций
• высокая скорость генерации
• семантическое редактирование
• трансформация внешнего вида
• реставрация изображений
Выпущен в трёх вариантах: Base, RL-aligned и Turbo. На A100 генерирует изображение за 0.59 секунды, редактирование - за 1.02 секунды. Используют Mage-VAE для эффективного кодирования
Гитхаб
HF
Демо
Демо VL
#t2i #i2i #imageediting #image2normals
👍24😱2
Комфиорг выложил готовые к использованию веса Mage-Flow
Веса
Спасибо @m_franz
———
ComfyUI-MageFlow
какойто кастом пак с поддержкой модели
#t2i #i2i #imageediting #image2normals #comfyui
Веса
Спасибо @m_franz
———
ComfyUI-MageFlow
какойто кастом пак с поддержкой модели
#t2i #i2i #imageediting #image2normals #comfyui
Telegram
Нейронавт | Нейросети в творчестве
Mage-Flow
У нас новый игрок в опенсорсе для работы с картинками
Компактная модель от Microsoft для создания и редактирования изображений. 4B параметров
• генерация изображений по тексту
• редактирование по инструкциям
• работа с разрешением от 512 до…
У нас новый игрок в опенсорсе для работы с картинками
Компактная модель от Microsoft для создания и редактирования изображений. 4B параметров
• генерация изображений по тексту
• редактирование по инструкциям
• работа с разрешением от 512 до…
👍8❤4🔥2
Marigold V2
Оценка глубины по одному изображению, переработанная версия Marigold
Превращает DiT в инструмент оценки глубины. Выглядит многообещающе
- Глубина в один шаг: дистилляция из многошаговой flow-matching модели, с квантованием опционально
- Решает проблему размытия: шерсть, листья, тонкие края — то, что раньше размазывалось, теперь резкое
- Обобщается на непохожие данные
- Не только глубина: те же приемы дают #SOTA на оценке нормалей и разложении изображения на компоненты
- Два ключевых приtма: выравнивание внутренних представлений с семантикой + двухстадийный финтюн с Sinkhorn-лоссом
Гитхаб
HF
Демо
#image2depth #image2normals #image2pbr
Оценка глубины по одному изображению, переработанная версия Marigold
Превращает DiT в инструмент оценки глубины. Выглядит многообещающе
- Глубина в один шаг: дистилляция из многошаговой flow-matching модели, с квантованием опционально
- Решает проблему размытия: шерсть, листья, тонкие края — то, что раньше размазывалось, теперь резкое
- Обобщается на непохожие данные
- Не только глубина: те же приемы дают #SOTA на оценке нормалей и разложении изображения на компоненты
- Два ключевых приtма: выравнивание внутренних представлений с семантикой + двухстадийный финтюн с Sinkhorn-лоссом
Гитхаб
HF
Демо
#image2depth #image2normals #image2pbr
👍8❤3🔥2