DEMON

Потоковая генерация музыки в рилтайме на базе AceStep 1.5 с управлением через хардверные контроллеры.

работает локально (RTX 30/40/5090), низкая задержка, опенсорс.

music.daydream.live/

civitai.com/models/2416425/acestep-loras

huggingface.co/daydreamlive/DreamVAE

#streaming #interactive #musicediting #text2music

Ideogram 4

Вышел в опенсорс, теперь это лучший генератор картинок с открытыми весами.

• генерирует изображения с текстом на разных языках
• принимает промты в формате JSON
• управляет цветовой палитрой
• выдаёт картинки в 2K
• поддерживает аспекты до 6:1

9.3 B параметров, подходит для слабых потребительских видеокарт, архитектура — single‑stream Diffusion Transformer (DiT), текстовый энкодер — Qwen3‑VL‑8B‑Instruct, версии весов — nf4 (Cuda) и fp8, лицензия — некоммерческая.

https://huggingface.co/Comfy-Org/Ideogram-4
https://blog.comfy.org/p/ideogram-4-day-0-support-in-comfyui

Ideogram-4-fp8 - мин 12 ГБ (RTX 3060 12GB, RTX 4070), но лучше всего от 24 ГБ (RTX 3090, RTX 4090, RX 7900 XTX)

Ideogram-4-nf4 - только CUDA, мин 8 ГБ, но лучше 12-16

Ideogram-4-INT8-ConvRot - для систем постарее
Минимум 12 ГБ с оффлоадингом и 24 ГБ (рекомендуемо) для полной загрузки

#t2i #json2image

Gemma 4 12B

Открытая мультимодальная модель от Google для локального запуска на ноутбуках

• работает с текстом, изображениями и аудио
• обрабатывает данные с низкой задержкой
• экономит память за счёт единой архитектуры без отдельных мультимодальных энкодеров

12 B параметров, лицензия Apache 2.0, требуется 16 ГБ VRAM или объединённой памяти, поддерживается Ollama, LM Studio, llama.cpp, MLX, vLLM, SGLang, Unsloth.

huggingface.co/unsloth/gemma-4-12b-it-GGUF

Спасибо @Endorpheen

#multimodal #gguf

Reve 2.0

Обновлённая платформа для редактирования изображений в 4К с блэкджеком и шл сегментацией и ИИ ассистентом

#imageediting

KVarN

Компрессия KV-кэша от Huawei

• сокращает задержку при генерации текста
• оптимизирует использование GPU‑памяти
• ускоряет обработку запросов в режиме реального времени
• работает с квантованными моделями

архитектура — вариационный автоэнкодер (VAE) + ранняя остановка (early exit), совместим с LLaMA, Qwen и другими LLM, код на GitHub, оптимизация под чипы Huawei.

#memory #optimization

Magenta RealTime 2

Опенсорсная модель Google для генерации музыки в реальном времени прямо на устройстве.

• генерирует музыку непрерывно в рилтайме
• реагирует на ввод с задержкой ~200 мс
• принимает команды через текст, аудио или MIDI

github.com/magenta/magenta-realtime

huggingface.co/google/magenta-realtime-2

#musicediting #text2music #realtime