TIPS v2

Пониматор картинок от Google DeepMind с пространственным чутьем. Если CLIP понимает ЧТО на картинке, то TIPS еще и ГДЕ это. Признаки считаются не только для всего изображения, а для каждого участка (патча) отдельно

- Zero-shot классификация по текстовым описаниям без дообучения
- Пространственные признаки с каждого патча: скармливаешь их в сегментацию, оценку глубины, детекцию - позиции объектов не теряются
- Работает на других разрешениях через интерполяцию позиционных эмбеддингов

- 1.1B vision-параметров, 389M текстовых, эмбеддинг 1536, разрешение 448
- Вся линейка: от S/14 (22M) до g/14 low-res, есть вариант под слабое железо
- ~2B параметров суммарно, лицензия Apache 2.0

Гитхаб
HF
Демо

#vlm #image2features

FLUX Video Upscale

Апскейл от Black Forest Labs для видео до 4K. Достраивает детали в новом разрешении. Работает как отдельный FLUX Tool и API-эндпоинт

- Два режима через параметр creativity: Precise (0) - точно сохраняет источник, чистое повышение резкости. Creative (1) - агрессивно восстанавливает и придумывает детали
- Понимает нативно выход FLUX 3: чинит смазанные лица, грид-артефакты на текстурах вроде воды и травы, которые обычные апскейлеры пропускают
- Нативный паскейл: 1080p, 2K, 4K
- Принимает видео от 480p и выше

- Precise: 4 шага, $0.07/mp/s — быстрее и дешевле
- Creative: больше шагов — сильнее детализация, дороже

- Апскейл из hd до 4K за один проход без промежуточных ступеней
- Лица и продукты в Creative могут уплывать, для них Precise

Ппробовать
API

#upscale #4k

CMD (Context-Matched Distillation)

Метод дистилляции для авторегрессивной генерации видео от NVIDIA. #SOTA среди авторегрессивных методов

Учитель и ученик получают одинаковый контекст: кадр оценивается по тому же префиксу и контролю, что был у студента при генерации. Раньше учитель видел весь клип целиком включая будущие кадры которых студент не видел, и супервизия разъезжалась с реальными условиями генерации

В итоге меньше шагов на генерацию, можно интерактивно вмешиваться в процесс генерации, задавать движение камеры и получать длинные сцены без поплывшего хвоста

- База: Cosmos-Predict2.5 2B
- Шесть чекпоинтов: chunk-1 и chunk-4 (короткие/длинные + камера-контроль)

Гитхаб
HF
Демо

#optimization #cameracontrol #interactive #t2v #i2v

DeepSeek-V4-Flash-Vision-Exp

Экспериментальная мультимодальная Vision модель DeepSeek для агентов. Текст на уровне V4-Flash, плюс зрение. По визуальным агентским бенчмаркам вплотную к Opus 4.8 при ценах Flash

- Читает скриншоты, документы, анализирует графики и диаграммы - стандартные агентские сценарии с экраном
- Текстовые способности не просели относительно V4-Flash
- Смешанный ввод: текст + изображение в одном запросе
- Три способа передачи картинки: base64 inline, внешний URL, Files API с переиспользованием файлов
- Совместима с OpenAI и Anthropic API

- Форматы: JPEG, PNG, GIF, WebP
- До 384 токенов за изображение - по цене V4-Flash
- До 600 картинок в одном запросе, до 64 МБ на файл
- DeepSeek Harness 0.1.1 поддерживает из коробки

API

#api #vlm

VK | MAX

SenseNova-U1.5-8B-MoT

Превью мультимодалки от SenseNova. Полную ждем

Понимание и генерация картинок в одном трансформере. Никакого VAE, текстового энкодера и DiT

- Текст и картинка используют разные веса в смеси трансформеров, но аттендят друг на друга
- Нативный 4K
- Уверенный рендер текста на китайском и английском
- Точное редактирование
- Понимает структурированные длинные промпты без отдельного обучения

- на Qwen-Image Bench - уровень Nano Banana 2
- на ImgEdit-Bench и GEdit-Bench обходит Nano-Banana и Qwen-Image-2

Гитхаб
HF
Есть 8-шаговая лора
Попробовать
Comfyui

#4k #vlm #imageediting

VK | MAX