Нейронавт | Нейросети в творчестве

0:04

Gemini 2.0 Flash

В Gemini завезли обещанную еще в прошлом году нативную генерацию картинок самой языковой моделью. Можно не только создавать но и редактировать с попиксельной точностью

Заходим в AI Studio, выбираем Gemini 2.0 Flash Experimental, выбираем в Output format «Image and text»

#assistant #mlm #vlm #imageediting #text2image

👍7🤯2

2.06K views08:47

0:48

0:25

Gemini Image Editing NextJS Quickstart

Официальный шаблон интеграции в ваш сервис редактора/генератора картинок Gemini 2.0 Flash

Вот например в Freepik уже прикручено

Демо, и даже без впн
Код

#assistant #mlm #vlm #imageediting #text2image

❤4🔥1

1.98K views17:16

Grok Edit Image

Вслед за Gemini, в Grok добавили функцию редактирования картинок текстовыми указаниями

Идем в Grok, ищем кнопку Edit Image

#assistant #mlm #vlm #imageediting #text2image

🔥12👍5😭1

2.05K views10:43

0:45

FirePlace: Geometric Refinements of LLM Common Sense Reasoning for 3D Object Placement

Разработка DeepMind. Осмысленное размещение языковыми моделями объектов в 3D сцене с учётом геометрии и констрейнов

А я думал, Клод с MCP уже намного больше может

Кода нет

#mlm #assistant #3d

👍6

2.03K viewsedited 10:13

0:18

Llama 4 (скачать здесь, если осмелитесь)

Мета объявила новую эру мультимодальности
Новое семейство Llama из 3 моделей

У Llama 4 Scout контекст 10 миллионов токенов

Блог
Попробовать (притворитесь что вы не в РФ)

#assistant #news #mlm

1👍6🔥3❤1

2.25K views19:01

Liquid: Language Models are Scalable and Unified Multi-modal Generators

Единая языковая модель в качестве мультимодального генератора без костылей типа CLIP. В данном случае картинки/текст, 7B параметров

Код
Демо
Веса

#llm #mlm #text2image#image2text #text2text

🔥4👍1

2.08K views07:33

1:31

Jarvis Art

Фоторедактор от ByteDance и Ко

Построен на базе #MLM, имитирует работу профессиональных художников и координирует более 200 инструментов в Adobe Lightroom.
Превосходит GPT-4o по точности воспроизведения контента

Код ждем
Демо ждем

#imageediting

👍6🔥4😁2

2.16K views16:19

0:45

0:15

0:15

Kimi K2

Новая версия китайской мультимодалки.

Пишут что убийца cHatGPT и DeepSeek, но как всегда преувеличивают

Архитертура #MoE, Триллион параметров, из них 32B активных. Заточена на агентные и программерские задачи. Есть две версии:

Kimi-K2-Base: Базовая модель, с которой можно начинать работу исследователям и разработчикам, которым нужен полный контроль для точной настройки и создания пользовательских решений.

Kimi-K2-Instruct: модель после обучения, которая лучше всего подходит для работы с клиентами, общения в чате общего назначения и взаимодействия с агентами. Это модель рефлекторного уровня, о которой не нужно долго думать.

- Обрабатывает 100 тысяч строк данных за раз - Строит визуализации
- Создаёт игры в вебе, на создание клона Minecraft у Kimi K2 ушла одна попытка
- Планирует путешествия через 17 инструментов
- Токены в 5 раз дешевле чем у конкурентов

Уже на Perplexity
Хотя какая разница если можно пользоваться прямо на офсайте и в мобильном приложении

Мультимодальные функции пока не работают

Гитхаб
Веса - вам точно это надо?
Попробовать на офсайте - в левом нижнем углу переключаем на английский

На мобиле не факт что K2 уже есть, не проверял
AppStore
Android

#assistant #mllm #mlm #reasoning #mobile #ios

❤6👍1

2.05K views12:11

0:49

Media is too big

Ming-UniVision: Joint Image Understanding and Generation via a Unified Continuous Tokenizer

Мультимодальная модель, объединяет понимание и создание изображений в одной системе. Работает на основе токенизатора MingTok. MingTok поддерживает и понимание изображений, и их генерацию в едином латентном пространстве.

Ming-UniVision может последовательно выполнять разные задачи (например, улучшить качество изображения, раскрасить его или убрать шум) без дополнительных преобразований

Позволяет после анализа изображения сразу редактировать его части.

Код
HF ~38 ГБ

#MLM #VLM #text2image #image2trext #captioning #multimodal #imageediting

👍3

2.11K viewsedited 13:17

0:43

Exploring MLLM-Diffusion Information Transfer with MetaCanvas

Фреймворк, включает у мультимодальных языковых моделей (MLLM) способность генерировать изображения и видео и управлять процессом их создания. В отличие от других подходов, где MLLM просто кодируют текст для диффузионных моделей, здесь они реально участвуют в планировании и контроле генерации

Короче, MetaCanvas даёт MLLM больше власти в процессе генерации, а не просто держит их в стороне как простых текстовых кодировщиков. Возможности:

— генерирует изображения по тексту

— создаёт видео по тексту или изображению

— редактирует изображения и видео

— генерирует видео в контексте, учитывая уже имеющиеся элементы

Код ждем

#mllm #mlm #multimodal #vlm

👍8

1.94K views14:17

0:59