Нейронавт | Нейросети в творчестве
13.2K subscribers
7.15K photos
5.66K videos
51 files
7.24K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках и запусках не участвую

для связи @Neuronauticus

РКН: https://hf.ru/link8e56d
Download Telegram
Нейронавт | Нейросети в творчестве
Вместе с GLM-5 и Z code оказывается выпустили еще пару сервисов. https://audio.z.ai/ - клонирование голоса и генерация речи. Знает английский и китайский. Для клонирования достаточно 3- 10 секунд На многое не рассчитывайте - максимум 200 символов на озвучку…
image.z.ai

Ну вот, промт скорректировать - и Человекорыб получился. Но проблема с каким-то ядерным овершарпом остается.

И где разнообразие, Лебовски?!

И редактирования нет, только генерация по тексту. Но эти ребята такие резвые что скоро будет.

А так моделька интересная, да

#text2image
👎3👍2❤1
DeepGen 1.0: A Lightweight Unified Multimodal Model for Advancing Image Generation and Editing

лёгкая мультимодальная модель для генерации и редактирования изображений

Всего 5B параметров, а побивает 80B-HunyuanImage и Qwen-Image-Edit на UniREditBench. Ну кто знает, может она на нем и обучена. На сайте много цифр и мало картинок

Гитхаб
HF

#imageediting #multimodal #text2image
👍10🤷‍♂1
BitDance

Новая модель для генерации изображений на авторегрессии, 14B параметров - это как WAN, надо GGUF'ить

— использует бинарный токенизатор, который позволяет работать с большим словарным запасом и при этом не жрать много памяти

— применяет диффузионную головку для выборки в большом дискретном пространстве — это помогает точнее генерировать изображения

— предсказывает несколько токенов за раз благодаря стратегии next-patch diffusion — из-за этого генерация идёт быстрее

— умеет хорошо реконструировать изображения, близко к тому, как это делают непрерывные VAE

— является мультимодальной и открытой — может работать и с текстом, и с изображениями

Базовая модель — Qwen3-14B-Base

Гитхаб
HF
Демо
Галерея

Спасибо @m_franz

#text2image #multimodal #AR
👍14🤔3❤1
Recraft V4

Новая версия генерилки изображений

Умеет делать растр и вектор - SVG

Есть две основные версии модели:

— V4: быстрее и дешевле, подходит для повседневной работы

— V4 Pro: создаёт изображения более высокого разрешения - 2К, подходит для печати и крупных проектов

Обе версии уже есть в ComfyUI. Воркфлоу - наверняка платно

Попробовать - до 30 бесплатных генераций в день

#text2image #text2vector #svg
🔥5😁4👍1👀1
Mobile-O: Unified Multimodal Understanding and Generation on Mobile Device

Компактная модель 0.5B / 1.5B параметров для понимания и генерации изображений полностью на устройстве (iOS).

Одна модель для визуального понимания, описания, OCR и генерации изображений по тексту - чат-интерфейс переключает задачи.

Генерация изображения ~3 сек, анализ ~0.4 сек, память <2GB на iPhone A17+/M-series, без облака.

Компоненты: FastVLM-0.5B (видение + язык), SANA-600M (диффузия), Mobile Conditioning Projector для промптов.

Гитхаб
Демо
HF
iOS

#mobile #vlm #multimodal #text2image #ios
👍11❤1
ComfyUI BitDance Nodes

Нода для запуска FP8 версии BitDance локально

Судя по репо, должно работать на 16 ГБ VRAM

Sampler Settings: 20-50 шагов и CFG 7.5. Важно: используйте сэмплер euler_maruyama

Видео туториал
Веса
Воркфлоу

#text2image #multimodal #AR #comfyui
❤7👍2🔥2
CoCo: Code as CoT for Text-to-Image Preview and Rare Concept Generation

Новый подход к text-to-image: вместо абстрактных текстовых описаний модель генерирует исполняемый код, который явно прописывает пространственный макет.

Три этапа:

1. Генерируется код с расположением объектов
2. Код выполняется, получается черновик
3. Модель улучшает черновик до финального изображения

Результаты на бенчах:

— StructT2IBench: 73.52% (+68.83% к прямой генерации)

— Рендеринг текста в картинках: +54.8%

— Длинный текст: +41.23%

Это решает главную боль всех T2I-моделей — сложные макеты, графики, диаграммы, текст в картинках. Раньше с этим справлялись плохо.

Гитхаб
HF 404, ждем

#text2image

Нейронавт в MAX
👍9🔥1
Zeta-Chroma

Переведенный в пиксельное пространство Z-Image-Turbo, но я не уверен что правильно понял

Модель в процессе разработки, пишут что веса обновляются чуть ли не ежечасно

В 3-4 раза быстрее чем z-image base, скорость и качество

Использовали JiT, DeCo (NeRF на минималках) и dino v3

Ветка про запуск в комфи

#zimage #text2image

Нейронавт в MAX
👍8👎5❤1😱1
MAI-Image-2

Новая версия генератора картинок от MIcrosoft

3 место на Арене, уступил только нанобанану 2 и GPT-Image 1.5

MAI Playground

#text2image
❤8🔥3🥴2
Calibri

метод, который улучшает работу диффузионных трансформеров (DiT), оптимизируя всего около 102 параметров, и помогает моделям лучше генерировать изображения

Короче, некий калибровочный множитель, который улучшает качество генерации изображений без необходимости переобучения моделей

Протестировано с FLUX.1-dev, Stable Diffusion 3.5 Medium и Qwen-Image

Гитхаб
HF

#optimization #text2image
👍9🥴7
Gen-Searcher

Генератор изображений на базе Qwen3-VL-8B-Instruct с агентным поиском

Ищет информацию в интернете, просматривает данные, анализирует несколько источников и ищет визуальные референсы перед созданием изображения. Это помогает делать картинки более точными и актуальными

Гитхаб
HF

#text2image #imageediting #vlm #referencing #search
🔥10❤2👍2
Media is too big
VIEW IN TELEGRAM
Veo 3.1 Lite

Google выпустил наиболее экономичную модель для генерации видео из всей линейки Veo 3.1

Генерит Text-to-Video и Image-to-Video

Соотношение сторон (16:9 или 9:16), разрешение (720p или 1080p)

Длительность видео 4, 6 или 8 секунд

Вполовину дешевле Veo 3.1 Fast при той же скорости работы

Gemini API
Google AI Studio

#text2image #text2video #videoediting
🔥6😁1
DreamLite

Модель от ByteDance для генерации и редактирования изображений на мобилке, обе функции в одной модели.

0,39B параметров

генерирует или редактирует изображение 1024 × 1024 за ~3 секунды на iPhone 17 Pro

Гитхаб ждем
HF ждем

#text2image #ImageEditing #mobile
❤6🤯2👍1
RawGen

Samsung обучил модель генерировать сырые (raw) изображения камер из текста или готовых sRGB-картинок.

— делает raw-изображения, которые больше похожи на настоящие, а не просто обработанные фотки

— работает с любыми камерами, не нужно отдельно обучать модель под каждую

— позволяет редактировать картинки после генерации без повторного запуска сложной модели — просто меняй настройки как в обычном редакторе

Базовая модель — FLUX.1-Kontext. RawGen использует её и добавляет свои фишки: например, сначала переводит картинку в особый формат (CIE XYZ), потом работает с ним, чтобы в итоге выдать реалистичное raw-изображение.

А вы говорите зачем камерам Wi-Fi. Чтобы собирать ваши данные

Гитхаб ждем

#text2image #image2image #imageediting #kontext
🔥9👍2
GEMS

Мультиагентная мультимодальная генерация контента с памятью и навыками.

включает три ключевых компонента: Agent Loop, Agent Memory, Agent Skill

• Agent Loop — многоагентная структура с ролями (планировщик, верификатор, рефайнер)

• Agent Memory — иерархическое хранение данных и сжатие опыта

• Agent Skill — набор экспертных знаний для разных задач.

Модель Z-Image-Turbo с GEMS превзошла Nano Banana 2 на GenEval2

Гитхаб
Демо встроено в сайт проекта

#agent #assistant #multimodal #text2image
👍5❤1
Unify-Agent

Унифицированный агент для генерации изображений с привязкой к реальному миру.

Обычные T2I модели не могут точно генерировать реальных людей, культурные символы, исторические сцены. Этот агент сначала ищет релевантные знания, потом генерирует.

Архитектура из 4 шагов:

THINK — понимает промпт, ищет пробелы в знаниях
RESEARCH — находит текстовые и визуальные доказательства
RECAPTION — конвертирует в инструкции для генерации
GENERATE — ну вы поняли генерирует

Benchmark FactIP (2462 промпта) — превосходит Flux-1, Bagel-7b, Hunyuan, SD.

Код ждем

#imageediting #text2image
👍11
Adaptive Spectral Feature Forecasting for Diffusion Sampling Acceleration (Spectrum)

Ускорение диффузных картинко- и видеогенераторов от ByteDance
без потери качества


Достигает ускорения в 3,5 раза при работе с HunyuanVideo и FLUX.1, до 4,79 раза — с FLUX.1 и до 4,67 раза — с Wan2.1-14B

Гитхаб
ComfyUI Spectrum WAN Proper
ComfyUI-Spectrum-Proper - FLUX
ComfyUI-Spectrum-SDXL-Proper
Реддит

#text2video #text2image #optimization
👍17🔥6
ERNIE‑Image

Baidu вчера выпустили генератор картинок

8B параметров. Из коробки работает на 24 ГБ VRAM. Качественно отображает текст, выполняет сложные запросы с несколькими объектами, постеры, раскадровки, комиксы.

#SOTA, уверенно тягается с лидерами

Есть base и turbo - 8-шаговая дистилляция

Prompt Enhancer - вспомогательная LLM на 3B параметров

Гитхаб
HF
ComfyOrg
AI STudio
Демо

ComfyUI:
base
turbo

#text2image #workflow
❤10👍8
Nucleus Image

Генератор картинок по тексту на #MoE
Активирует только 2B из 17B параметров
Выбирает «экспертов» из 64 специализированных и одного общего

Основная особенность - обучен на огромном наборе данных, что должно положительно сказаться на качестве генераций

На DPG-Bench обошли Qwen-Image и какие-то еще нетоповые модели

Гитхаб - тут будет код обучения
HF - тут есть код инференса
MLX порт модели

#text2image #macos
👍6❤2
TUNA-2: Pixel Embeddings Beat Vision Encoders for Unified Understanding and Generation

Пока ждали код Tuna, Цук уже выпустил Tuna-2

Мультимодальная модель без визуальных энкодеров - работает напрямую с пиксельными эмбеддингами.

• понимает изображения и текст
• генерирует изображения по тексту
• редактирует изображения

Показывает сильные результаты на мультимодальных бенчмарках, особенно в задачах с детальным визуальным восприятием.

Подходит для задач, где нужна единая архитектура для понимания и генерации (где например?? не знаю)

Гитхаб
HF ждем. глядишь, к пятой версии если будем хорошо плавать, нальют воду в бассейн соберем все компоненты

#vlm #imageediting #text2image
👍7😁3🔥1