Vista4D

Еще одна модель от Netflix, на этот раз для пересъёмки видео с использованием 4D‑облаков точек на базе Wan2.1-T2V-14B

• синтезирует сцены с новыми траекториями камеры
• сохраняет геометрию и физические свойства сцен
• редактирует 4D‑сцены: перемещает, дублирует, удаляет объекты
• работает с неидеальными данными, устойчив к артефактам
• расширяет динамические сцены за счёт статических кадров

Выложили два чекпойнта:

384p - 672 × 384, 49 кадров
720p - 1280 × 720, 49 кадров

Гитхаб
HF

#cameracontrol #video2video #videoediting

TUNA-2: Pixel Embeddings Beat Vision Encoders for Unified Understanding and Generation

Пока ждали код Tuna, Цук уже выпустил Tuna-2

Мультимодальная модель без визуальных энкодеров - работает напрямую с пиксельными эмбеддингами.

• понимает изображения и текст
• генерирует изображения по тексту
• редактирует изображения

Показывает сильные результаты на мультимодальных бенчмарках, особенно в задачах с детальным визуальным восприятием.

Подходит для задач, где нужна единая архитектура для понимания и генерации (где например?? не знаю)

Гитхаб
HF ждем. глядишь, к пятой версии если будем хорошо плавать, нальют воду в бассейн соберем все компоненты

#vlm #imageediting #text2image

Nemotron 3 Nano Omni

Мультимодальная ИИ‑модель от NVIDIA для создания ИИ‑агентов

• обрабатывает текст, изображения, аудио и видео
• держит в памяти до 256 тысяч токенов
• работает с видео до 2 минут (1080p), аудио до часа
• анализирует документы, диаграммы, таблицы, скриншоты
• объединяет аудио‑ и видеоданные в единую картину

30B параметров, 3B активных. Есть BF16, FP8, NVFP4, GGUF

HF
Openrouter

Спасибо @Endorpheen

#vlm #agent #multimodal

SenseNova-U1

Мультимодальная модель от SenseTime на архитектуре NEO‑Unify - понимание и генерация без отдельных модулей для текста и изображений. Подойдет для создания маркетинговых материалов и анализа документов

• понимает изображения и текст вместе (OCR, VQA, анализ документов)
• генерирует фотореалистичные и художественные изображения, инфографику
• редактирует изображения: стилизует, удаляет объекты, меняет композицию
• выдаёт смешанный контент - чередует текст и картинки в одном ответе
• рассуждает в кросс‑модальных задачах (математика, наука)

8 млрд параметров в базовой версии (SenseNova‑U1‑8B‑MoT), есть версия с MoE (A3B).

PS. Кажется ресерчеры нашли шаблон радиальных диаграмм и друг другу его пересылают

Гитхаб
HF
Попробовать

#design #multimodal #ocr #t2i #i2t

Luma Agents

ИИ‑агенты для креативной работы и командной разработки контента от Luma Labs.

Загружаем бриф, задаем направление - агенты предложат план и варианты.

• держит полный контекст проекта
• маршрутизирует задачи между моделями (Ray 3.14, Veo 3, ElevenLabs, Seedream и др.)
• генерирует текст, изображения, видео, аудио
• итерирует результаты с сохранением стиля и логики проекта
• работает в коллаборативном режиме (несколько человек + агенты одновременно)
• организует проекты на визуальной доске с семантическим поиском

#sketch2any #design #assistant

Echo-2

Модель от SpAItial AI для генерации миров на гауссианах из фото или текста

• генерирует пространственно согласованные 3D‑сцены
• выделяет объекты через семантические маски сегментации
• редактирует сцены на уровне отдельных элементов
• превращает 2D‑планы этажей в 3D‑прогулки
• меняет стиль всей сцены по текстовой подсказке

Превосходит Marble 1.1, HW‑World 2.0 и Lyra 2.0 по WorldScore

По факту тупо сцены на гауссианах. Чем дальше уходишь от исходной точки, тем хуже все выглядит. Никаких констрейнов, проверок на коллижен - проходишь сквозь стены

Но зато с редактированием. Пока все бесплатно можно попробовать использовать как редактор гауссовых сцен - есть экспорт

Попробовать

#world #gaussian #3dediting

HyperFrames

Фреймворк рендеринга видео от Heygen на базе веб‑технологий. Дает агентам доступ к созданию видео через создание HTML‑композиций, что для агента вполне по силам

• даёт предпросмотр в браузере с горячей перезагрузкой
• рендерит видео локально (без облака)
• работает с Three.js, Lottie, D3.js, GSAP и др.

Локальный рендеринг через headless‑браузер + FFmpeg. Формат вывода: MP4, MOV, WebM. CLI‑интерфейс

Три команды CLI для создания видео:

init — инициализирует проект
preview — запускает предпросмотр в браузере
render — рендерит композицию в видеофайл

Гитхаб

#agent #t2v #html2video

Meta‑CoT

Редактирование изображений через двухуровневую декомпозицию запросов на базе Bagel

• раскладывает запрос пользователя на трио (task, target, understanding)
• сопоставляет трио с одной или несколькими из 5 мета‑задач (изменение внешнего вида/структуры, добавление/удаление объекта, композиция сцены)
• выполняет редактирование на основе сформированного плана

Гитхаб
HF ~59ГБ

#imageediting