Ideogram 4

Вышел в опенсорс, теперь это лучший генератор картинок с открытыми весами.

• генерирует изображения с текстом на разных языках
• принимает промты в формате JSON
• управляет цветовой палитрой
• выдаёт картинки в 2K
• поддерживает аспекты до 6:1

9.3 B параметров, подходит для слабых потребительских видеокарт, архитектура — single‑stream Diffusion Transformer (DiT), текстовый энкодер — Qwen3‑VL‑8B‑Instruct, версии весов — nf4 (Cuda) и fp8, лицензия — некоммерческая.

https://huggingface.co/Comfy-Org/Ideogram-4
https://blog.comfy.org/p/ideogram-4-day-0-support-in-comfyui

Ideogram-4-fp8 - мин 12 ГБ (RTX 3060 12GB, RTX 4070), но лучше всего от 24 ГБ (RTX 3090, RTX 4090, RX 7900 XTX)

Ideogram-4-nf4 - только CUDA, мин 8 ГБ, но лучше 12-16

Ideogram-4-INT8-ConvRot - для систем постарее
Минимум 12 ГБ с оффлоадингом и 24 ГБ (рекомендуемо) для полной загрузки

#t2i #json2image

Gemma 4 12B

Открытая мультимодальная модель от Google для локального запуска на ноутбуках

• работает с текстом, изображениями и аудио
• обрабатывает данные с низкой задержкой
• экономит память за счёт единой архитектуры без отдельных мультимодальных энкодеров

12 B параметров, лицензия Apache 2.0, требуется 16 ГБ VRAM или объединённой памяти, поддерживается Ollama, LM Studio, llama.cpp, MLX, vLLM, SGLang, Unsloth.

huggingface.co/unsloth/gemma-4-12b-it-GGUF

Спасибо @Endorpheen

#multimodal #gguf

Reve 2.0

Обновлённая платформа для редактирования изображений в 4К с блэкджеком и шл сегментацией и ИИ ассистентом

#imageediting

KVarN

Компрессия KV-кэша от Huawei

• сокращает задержку при генерации текста
• оптимизирует использование GPU‑памяти
• ускоряет обработку запросов в режиме реального времени
• работает с квантованными моделями

архитектура — вариационный автоэнкодер (VAE) + ранняя остановка (early exit), совместим с LLaMA, Qwen и другими LLM, код на GitHub, оптимизация под чипы Huawei.

#memory #optimization

Magenta RealTime 2

Опенсорсная модель Google для генерации музыки в реальном времени прямо на устройстве.

• генерирует музыку непрерывно в рилтайме
• реагирует на ввод с задержкой ~200 мс
• принимает команды через текст, аудио или MIDI

github.com/magenta/magenta-realtime

huggingface.co/google/magenta-realtime-2

#musicediting #text2music #realtime

Nemotron 3 Ultra (550B‑A55B)

Открытая модель от NVIDIA с 550 млрд параметров (55 млрд активных) для ИИ‑агентов: держит длинный контекст, работает с инструментами, выполняет многошаговые задачи.

• обрабатывает длинные контексты
• взаимодействует с внешними инструментами
• решает многошаговые задачи
• эффективно работает в агентных сценариях


• архитектура — гибрид Mamba2 + Transformer (4:1 в пользу Mamba)
• LatentMoE‑архитектура
• претрейн в NVFP4 на 20 T токенов
• двухэтапный MOPD post‑training
• нативная поддержка MTP
• открыты: base‑модель, post‑trained версии, reward checkpoints, NVFP4‑квантованные версии, данные и рецепты обучения

Бесплатно можно поюзать в Opencode

BF16: huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-BF16

NVFP4: huggingface.co/nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4

huggingface.co/unsloth/NVIDIA-Nemotron-3-Ultra-550B-A55B-GGUF

#agent #assistant

Agent Mode

На Arena.ai новая фича - режим, который позволяет ИИ-агенту автономно выполнять многоэтапные задачи, используя встроенные инструменты

Как работает Agent Mode

В отличие от традиционного чата, где пользователь разбивает сложную задачу на множество запросов, Agent Mode самостоятельно строит план и использует инструменты для выполнения всего многоэтапного рабочего процесса за один раз. При обработке запроса агент может применять
* веб-поиск
* генерация изображений
* работа с командной строкой в песочнице для тестирования и итераций
* создание файлов

Чтобы начать использовать Agent Mode, можно:
1. Перейти по ссылке https://arena.ai/agent
2. Или на главной странице Arena.ai нажать на выпадающее меню в левом верхнем углу и изменить опцию с «Battle Mode» на «Agent Mode». 

Поддерживает загрузку PDF-файлов. В будущем планируют расширить поддержку других форматов

#agent #arena

Qwen‑Image‑Flash

Быстрая версия генератора-редактора картинок от Alibaba

• генерирует изображения по текстовому описанию
• редактирует изображения по инструкциям

• использует few‑step distillation
• опирается на продуманный подбор данных (data composition)
• задействует teacher guidance и task mixture
• обеспечивает высокое качество при быстрой работе

Пока только препринт

#t2i #imageediting #optimization #qwenimage #qif

ArtiFixer

Модель NVIDIA для улучшения 3D‑реконструкций — работает с неполными данными, заполняет пробелы в 3D‑сценах.

• генерирует новые виды сцены
• улучшает 3D‑представление
• учитывает текстовые подсказки
• обрабатывает RGB‑изображения, карты непрозрачности и карты лучей камеры

• базовая модель — Wan2.1 (WanTransformer3DModel)
• 16,9 млрд параметров
• преимущество 1–3 дБ по PSNR (на наборах MipNeRF 360 и DL3DV‑10K)

https://github.com/nv-tlabs/artifixer

https://huggingface.co/nvidia/ArtiFixer

Спасибо @m_franz

#gaussian #optimization #3denhance #3dreconstruction