Thinking with Visual Primitives (TVP)
Фреймворк от DeepSeek, учит мультимодалки для анализа изображений думать картинками, а не текстом, встраивает координаты объектов прямо в цепочку рассуждений.
• разбивает изображение на семантические примитивы (объекты, их части, отношения между ними)
• строит граф сцены — связывает примитивы пространственными или функциональными связями
• отвечает на вопросы о пространственных отношениях (например, «что слева от яблока?»)
• рассуждает о пространстве, физике, логике
• работает с задачами типа VL-Checklist, CLEVR, GQA
• 88,7% на CLEVR (против 72% у ViT-L+GPT-4V)
• 76,3% на VL-Checklist-hard
• обходит GPT-5.4 на 17 п.п. в навигации по лабиринтам
#vlm #research #optimization #multimodal
Фреймворк от DeepSeek, учит мультимодалки для анализа изображений думать картинками, а не текстом, встраивает координаты объектов прямо в цепочку рассуждений.
• разбивает изображение на семантические примитивы (объекты, их части, отношения между ними)
• строит граф сцены — связывает примитивы пространственными или функциональными связями
• отвечает на вопросы о пространственных отношениях (например, «что слева от яблока?»)
• рассуждает о пространстве, физике, логике
• работает с задачами типа VL-Checklist, CLEVR, GQA
• 88,7% на CLEVR (против 72% у ViT-L+GPT-4V)
• 76,3% на VL-Checklist-hard
• обходит GPT-5.4 на 17 п.п. в навигации по лабиринтам
#vlm #research #optimization #multimodal
👍5❤2
LiveActionAOV
Пакетная обработки VFX‑плейтов в комфи для получения фейковых пассов: загружаешь папку с EXR - получаешь все AOV в одном файле
• генерирует глубину (Z‑канал для ZDefocus в Nuke)
• создаёт нормали поверхности (N.x/N.y/N.z)
• вычисляет позицию (P.x/P.y/P.z) из глубины
• строит оптический поток (двунаправленный, в пикселях)
• делает маски через SAM 3 с доработкой альфа‑канала
• выделяет семантические маски (человек, авто, небо…)
• рассчитывает ambient occlusion из глубины и нормалей
Работает на одной NVIDIA GPU, обрабатывает scene‑linear EXR с автоэкспозицией и тонмаппингом. Модели - плагины: можно менять и добавлять.
Экономит часы ручной работы в ComfyUI - запускаешь один раз на папку, а не на каждый шот
Видео
#comfyui #extension #video2aov #exr
Пакетная обработки VFX‑плейтов в комфи для получения фейковых пассов: загружаешь папку с EXR - получаешь все AOV в одном файле
• генерирует глубину (Z‑канал для ZDefocus в Nuke)
• создаёт нормали поверхности (N.x/N.y/N.z)
• вычисляет позицию (P.x/P.y/P.z) из глубины
• строит оптический поток (двунаправленный, в пикселях)
• делает маски через SAM 3 с доработкой альфа‑канала
• выделяет семантические маски (человек, авто, небо…)
• рассчитывает ambient occlusion из глубины и нормалей
Работает на одной NVIDIA GPU, обрабатывает scene‑linear EXR с автоэкспозицией и тонмаппингом. Модели - плагины: можно менять и добавлять.
Экономит часы ручной работы в ComfyUI - запускаешь один раз на папку, а не на каждый шот
Видео
#comfyui #extension #video2aov #exr
🔥12
MOSS-Audio
Открытая базовая модель для работы с аудио: речью, звуками, музыкой.
• распознаёт речь с привязкой ко времени
• анализирует эмоции и характеристики голоса
• разбирает фоновые звуки и контекст
• понимает музыку (стиль, динамику, инструменты) - кто там спрашивал про понимание музыки?
• отвечает на вопросы по аудио, делает резюме записей
• рассуждает в несколько шагов (chain‑of‑thought)
4–8B параметров (на базе Qwen3-4B/Qwen3-8B). Lо 70,80 на бенчмарках. Лучший CER в тестах ASR
Подойдёт для подкастов, транскрибации встреч, анализа аудиоконтента
Гитхаб
HF
Спасибо @EvgenyiPerm
#asr #alm #music2text #captioning #STT
Открытая базовая модель для работы с аудио: речью, звуками, музыкой.
• распознаёт речь с привязкой ко времени
• анализирует эмоции и характеристики голоса
• разбирает фоновые звуки и контекст
• понимает музыку (стиль, динамику, инструменты) - кто там спрашивал про понимание музыки?
• отвечает на вопросы по аудио, делает резюме записей
• рассуждает в несколько шагов (chain‑of‑thought)
4–8B параметров (на базе Qwen3-4B/Qwen3-8B). Lо 70,80 на бенчмарках. Лучший CER в тестах ASR
Подойдёт для подкастов, транскрибации встреч, анализа аудиоконтента
Гитхаб
HF
Спасибо @EvgenyiPerm
#asr #alm #music2text #captioning #STT
🔥8👍5❤1
Open Design
"Claude Design у нас дома"
Открытый инструмент для генерации дизайн‑артефактов. Работает локально, без облачной зависимости.
• генерирует веб‑прототипы, мобильные приложения, дашборды
• создаёт презентации, pitch deck’и, изображения и видео
• поддерживает импорт из Claude Design
• предпросмотр в песочнице
• экспорт в HTML, PDF, PPTX, MP4
71 готовых стилей, 19 комбинируемых скиллов, работает с разными CLI‑агентами (Claude Code, Cursor, Gemini CLI и др.).
#design #agent
"Claude Design у нас дома"
Открытый инструмент для генерации дизайн‑артефактов. Работает локально, без облачной зависимости.
• генерирует веб‑прототипы, мобильные приложения, дашборды
• создаёт презентации, pitch deck’и, изображения и видео
• поддерживает импорт из Claude Design
• предпросмотр в песочнице
• экспорт в HTML, PDF, PPTX, MP4
71 готовых стилей, 19 комбинируемых скиллов, работает с разными CLI‑агентами (Claude Code, Cursor, Gemini CLI и др.).
#design #agent
🔥8
Воркфлоу для детализации лиц Z-Image Turbo
• генерирует базовое изображение с загрузкой персональной LoRA-модели
• обрабатывает референсные элементы лица
• пишет промпт через LLM-модель (например, JoyCaption2)
• апскейл
• детализация кожи через настройку denoise
Можно заменить этап с LLM на ручной промпт или на TextGenerate + Gemma3 Text Encoder или Qwen 3.5b Encoder
Реддит
#workflow #zimage
• генерирует базовое изображение с загрузкой персональной LoRA-модели
• обрабатывает референсные элементы лица
• пишет промпт через LLM-модель (например, JoyCaption2)
• апскейл
• детализация кожи через настройку denoise
Можно заменить этап с LLM на ручной промпт или на TextGenerate + Gemma3 Text Encoder или Qwen 3.5b Encoder
Реддит
#workflow #zimage
👍15🥴2
girl-agent
Открытый проект от подписчика @voided_net
Зумеры, как известно, и так не ходят на свидания и сексом не занимаются, поэтому вот еще гвоздь в крышку гробика
ИИ‑девушка с человеческим стилем общения — имитирует настроение, график, характер. Ночью спит, в овуляцию делается милее и т д.
Что умеет:
• задерживать ответы (от 30 секунд до часов)
• реагировать эмодзи или короткими фразами
• меняет настроение (весёлое, раздражённое, усталое)
• запоминать детали из прошлых диалогов
• игнорирeет отдельные сообщения
• имитирует «забывание» со временем
• привычки и предпочтения
Работает на основе промтов и правил, хранит контекст в локальной БД.
А для девушек будет ИИ-парень с ответами "посмотрим", "я занят" , "начинается"?
Гитхаб
#agent #companion #AIperson
Открытый проект от подписчика @voided_net
Зумеры, как известно, и так не ходят на свидания и сексом не занимаются, поэтому вот еще гвоздь в крышку гробика
ИИ‑девушка с человеческим стилем общения — имитирует настроение, график, характер. Ночью спит, в овуляцию делается милее и т д.
Что умеет:
• задерживать ответы (от 30 секунд до часов)
• реагировать эмодзи или короткими фразами
• меняет настроение (весёлое, раздражённое, усталое)
• запоминать детали из прошлых диалогов
• игнорирeет отдельные сообщения
• имитирует «забывание» со временем
• привычки и предпочтения
Работает на основе промтов и правил, хранит контекст в локальной БД.
А для девушек будет ИИ-парень с ответами "посмотрим", "я занят" , "начинается"?
Гитхаб
#agent #companion #AIperson
😁31👍7❤3🔥3👎1🫡1
Media is too big
VIEW IN TELEGRAM
UniVidX
Унифицированный мультимодальный фреймворк для генерации многокомпонентного видео на базе архитектуры Wan2.1-T2V-14B
• генерирует RGB‑видео
• создаёт пассы (альбедо, нормали, глубину, освещение)
• работает с альфа‑каналами
Обучен менее чем на 1 000 видео
Подходит для задач, где нужно одновременно получить видео и сопутствующие данные - например, для VFX или 3D‑анимации
Гитхаб
HF - 2 x 800 Мб
#aov #t2v #wan21 #text2aov #normals #
Унифицированный мультимодальный фреймворк для генерации многокомпонентного видео на базе архитектуры Wan2.1-T2V-14B
• генерирует RGB‑видео
• создаёт пассы (альбедо, нормали, глубину, освещение)
• работает с альфа‑каналами
Обучен менее чем на 1 000 видео
Подходит для задач, где нужно одновременно получить видео и сопутствующие данные - например, для VFX или 3D‑анимации
Гитхаб
HF - 2 x 800 Мб
#aov #t2v #wan21 #text2aov #normals #
👍9
😁43❤2👍2💯1
hfviewer
Онлайн вьюер от Embedl, показывает структуру моделей с HF
В твиттере пишут что показывает неправильно
#tools
Онлайн вьюер от Embedl, показывает структуру моделей с HF
В твиттере пишут что показывает неправильно
#tools
👍5🔥1