Nemotron 3 Nano Omni

Мультимодальная ИИ‑модель от NVIDIA для создания ИИ‑агентов

• обрабатывает текст, изображения, аудио и видео
• держит в памяти до 256 тысяч токенов
• работает с видео до 2 минут (1080p), аудио до часа
• анализирует документы, диаграммы, таблицы, скриншоты
• объединяет аудио‑ и видеоданные в единую картину

30B параметров, 3B активных. Есть BF16, FP8, NVFP4, GGUF

HF
Openrouter

Спасибо @Endorpheen

#vlm #agent #multimodal

SenseNova-U1

Мультимодальная модель от SenseTime на архитектуре NEO‑Unify - понимание и генерация без отдельных модулей для текста и изображений. Подойдет для создания маркетинговых материалов и анализа документов

• понимает изображения и текст вместе (OCR, VQA, анализ документов)
• генерирует фотореалистичные и художественные изображения, инфографику
• редактирует изображения: стилизует, удаляет объекты, меняет композицию
• выдаёт смешанный контент - чередует текст и картинки в одном ответе
• рассуждает в кросс‑модальных задачах (математика, наука)

8 млрд параметров в базовой версии (SenseNova‑U1‑8B‑MoT), есть версия с MoE (A3B).

PS. Кажется ресерчеры нашли шаблон радиальных диаграмм и друг другу его пересылают

Гитхаб
HF
Попробовать

#design #multimodal #ocr #t2i #i2t

Luma Agents

ИИ‑агенты для креативной работы и командной разработки контента от Luma Labs.

Загружаем бриф, задаем направление - агенты предложат план и варианты.

• держит полный контекст проекта
• маршрутизирует задачи между моделями (Ray 3.14, Veo 3, ElevenLabs, Seedream и др.)
• генерирует текст, изображения, видео, аудио
• итерирует результаты с сохранением стиля и логики проекта
• работает в коллаборативном режиме (несколько человек + агенты одновременно)
• организует проекты на визуальной доске с семантическим поиском

#sketch2any #design #assistant

Echo-2

Модель от SpAItial AI для генерации миров на гауссианах из фото или текста

• генерирует пространственно согласованные 3D‑сцены
• выделяет объекты через семантические маски сегментации
• редактирует сцены на уровне отдельных элементов
• превращает 2D‑планы этажей в 3D‑прогулки
• меняет стиль всей сцены по текстовой подсказке

Превосходит Marble 1.1, HW‑World 2.0 и Lyra 2.0 по WorldScore

По факту тупо сцены на гауссианах. Чем дальше уходишь от исходной точки, тем хуже все выглядит. Никаких констрейнов, проверок на коллижен - проходишь сквозь стены

Но зато с редактированием. Пока все бесплатно можно попробовать использовать как редактор гауссовых сцен - есть экспорт

Попробовать

#world #gaussian #3dediting

HyperFrames

Фреймворк рендеринга видео от Heygen на базе веб‑технологий. Дает агентам доступ к созданию видео через создание HTML‑композиций, что для агента вполне по силам

• даёт предпросмотр в браузере с горячей перезагрузкой
• рендерит видео локально (без облака)
• работает с Three.js, Lottie, D3.js, GSAP и др.

Локальный рендеринг через headless‑браузер + FFmpeg. Формат вывода: MP4, MOV, WebM. CLI‑интерфейс

Три команды CLI для создания видео:

init — инициализирует проект
preview — запускает предпросмотр в браузере
render — рендерит композицию в видеофайл

Гитхаб

#agent #t2v #html2video

Meta‑CoT

Редактирование изображений через двухуровневую декомпозицию запросов на базе Bagel

• раскладывает запрос пользователя на трио (task, target, understanding)
• сопоставляет трио с одной или несколькими из 5 мета‑задач (изменение внешнего вида/структуры, добавление/удаление объекта, композиция сцены)
• выполняет редактирование на основе сформированного плана

Гитхаб
HF ~59ГБ

#imageediting

RvR: Refinement via Regeneration

Фреймворк от Tencent для улучшения изображений в мультимодальных моделях - заменяет редактирование регенерацией.

• избавляет от необходимости точных инструкций для правки
• снимает жёсткие ограничения на сохранение пикселей в неизменных зонах
• расширяет пространство возможных изменений (modification space)
• повышает точность и полноту доработки изображений

По задумке авторов даёт больше свободы при доработке изображений - получаются качественнее и без ошибок из‑за неверных инструкций/ Так ли это? скачайте 30ГБ и проверьте, ведь нет ни галереи, ни демо

Гитхаб
HF

#imageediting