Bernini

Видеогенератор-редактор от Bytedance

• генерирует видео по тексту (T2V)
• создаёт видео по объекту (S2V)
• редактирует видео (V2V)
• редактирует с опорой на референс (RV2V)

Работает на базе мультимодальной языковой модели (MLLM) и DiT‑архитектуры. Превосходит аналоги по сохранению идентичности лица в RV2V (на 20 % лучше ближайшего конкурента)

huggingface.co/ByteDance/Bernini

github.com/user-attachments/files/28479027/Bernini_testing_video_edit_01.json

huggingface.co/Kijai/WanVideo_comfy_fp8_scaled/tree/main/Bernini

Спасибо @m_franz

#t2v #videoediting

COSMOS 3

Третья версия модели от Nvidia - мультимодальная

• восстанавливает 3D‑геометрию сцены из обычного видео
• строит детализированные облака точек
• отслеживает движение объектов в кадре
• работает с динамическими сценами (люди, транспорт и т. д.)

Использует диффузионные модели и нейросетевые методы. Обрабатывает длинные видеопоследовательности, сохраняет точность при сложных движениях.

https://huggingface.co/collections/nvidia/cosmos3

Спасибо @m_franz

#vlm #multimodal #videoto3d

braindb

База памяти для LLM‑агентов с REST API на идее Андрея Карпаты. Хранит мысли, факты, документы, источники и правила поведения.

• хранит 5 типов сущностей
• строит граф отношений (supports, contradicts, elaborates, derived_from, similar_to)
• ищет гибридно: триграммы + семантика по эмбеддингам
• обходит граф до 3 хопов
• учитывает временной decay
• работает со встроенным агентом на OpenAI Agents SDK и LiteLLM

PostgreSQL (pg_trgm, pgvector), развёртывание через Docker Compose (api, watcher, wiki_scheduler), ответ за 5–30 секунд, модель gemma-4-31B-it на DeepInfra.

#agent #memory

Бесплатно пробуем Grok Imagine 1.5

Заходим на weavy.ai и проходим регистрацию, нам дают бесплатные кредиты, 150 вроде-бы

Нажимаем Create new file и попадаем в workflow, копируем эту ссылку https://fal.ai/models/xai/grok-imagine-video/v1.5/image-to-video и просто вставляем в наш воркфлоу

Готово, стоимость одной генерации 10 кредитов, соответственно мы получаем бесплатные 15 генераций 720p, 15 секунд видео, аудио-сопровождение также генерируется

Это по мимо того, что мы можем еще наклипать много аккаунтов на этом вейви

Да, к сожалению доступна только img2vid и неизвестно сколько этот способ проживет, ведь рано или поздно разрабы опомнятся и повысят цену, а пока абузим

Weavy.ai - сайт на котором абузим
Ссылка которую вставляем на доску

Стащил у @neurogen_news

#t2v #videoediting #hack

SANA-Streaming

Локальное редактирование видео по промптам от Nvidia в рилтайме, аналог Stream Diffusion.

720p на RTX 5090 (5.56 GB VRAM)

#streaming #realtime #t2v #videoediting

DEMON

Потоковая генерация музыки в рилтайме на базе AceStep 1.5 с управлением через хардверные контроллеры.

работает локально (RTX 30/40/5090), низкая задержка, опенсорс.

music.daydream.live/

civitai.com/models/2416425/acestep-loras

huggingface.co/daydreamlive/DreamVAE

#streaming #interactive #musicediting #text2music

Ideogram 4

Вышел в опенсорс, теперь это лучший генератор картинок с открытыми весами.

• генерирует изображения с текстом на разных языках
• принимает промты в формате JSON
• управляет цветовой палитрой
• выдаёт картинки в 2K
• поддерживает аспекты до 6:1

9.3 B параметров, подходит для слабых потребительских видеокарт, архитектура — single‑stream Diffusion Transformer (DiT), текстовый энкодер — Qwen3‑VL‑8B‑Instruct, версии весов — nf4 (Cuda) и fp8, лицензия — некоммерческая.

https://huggingface.co/Comfy-Org/Ideogram-4
https://blog.comfy.org/p/ideogram-4-day-0-support-in-comfyui

Ideogram-4-fp8 - мин 12 ГБ (RTX 3060 12GB, RTX 4070), но лучше всего от 24 ГБ (RTX 3090, RTX 4090, RX 7900 XTX)

Ideogram-4-nf4 - только CUDA, мин 8 ГБ, но лучше 12-16

Ideogram-4-INT8-ConvRot - для систем постарее
Минимум 12 ГБ с оффлоадингом и 24 ГБ (рекомендуемо) для полной загрузки

#t2i #json2image

Gemma 4 12B

Открытая мультимодальная модель от Google для локального запуска на ноутбуках

• работает с текстом, изображениями и аудио
• обрабатывает данные с низкой задержкой
• экономит память за счёт единой архитектуры без отдельных мультимодальных энкодеров

12 B параметров, лицензия Apache 2.0, требуется 16 ГБ VRAM или объединённой памяти, поддерживается Ollama, LM Studio, llama.cpp, MLX, vLLM, SGLang, Unsloth.

huggingface.co/unsloth/gemma-4-12b-it-GGUF

Спасибо @Endorpheen

#multimodal #gguf

Reve 2.0

Обновлённая платформа для редактирования изображений в 4К с блэкджеком и шл сегментацией и ИИ ассистентом

#imageediting