Нейронавт | Нейросети в творчестве

1:00

0:20

1:11

0:24

Open-o3 Video: Grounded Video Reasoning with Explicit Spatio-Temporal Evidence

Пониматор видео на базе Qwen2.5-VL

Интегрирует в процесс рассуждений ключевые временные метки и ограничивающие рамки, что позволяет делать выводы более обоснованными и надёжными.

Гитхаб
HF

#vlm #video2text #reasoning #captioning

❤5👍2

2.47K views12:16

DEMO: Dense Motion Captioning

Модель для описания действий человека в последовательностях 3D-движений. Генерирует подробные описания действий с привязкой ко времени

Код ждем на этой неделе

#captioning #video2text

👍6

1.85K views10:13

Moondream распознает видео в реальном времени

От понимания картинок к пониманию потокового видео

Может работать с веб-камерами, камерами безопасности, дронами и другими источниками видео.

Может запускать оповещения, логировать события и управлять системами.

Применяется в безопасности, контроле качества, мониторинге безопасности и розничной аналитике.

Работает по API

Гитхаб
Демо по ссылке в шапке. Там можно подключить свою вебку или закинуть видеофал

#vlm #captioning #detection #moe #cv #image2text

👍8❤2🥴1

2.15K viewsedited 12:16

Music Flamingo: Scaling Music Understanding in Audio Language Models

Аудиоязыковая модель от NVIDIA для понимания музыки

Обрабатывает аудиозаписи длительностью до 15 минут с контекстным окном в 24 тысячи токенов

Возможности модели:

— делает детальные описания треков, включая жанр, темп, тональность, инструменты и настроение

— отвечает на вопросы о структуре, вокале, лирических темах и решениях в микшировании

— распознаёт инструменты и жанры

— транскрибирует тексты песен на разных языках. То есть это еще и транскрибатор

— анализирует музыку с учётом культурного контекста.

Гитхаб
Демо
HF

#captioning #asr #ALM #music2text #audio2text #assistant

👍11🔥6❤1

2.72K views12:16

ComfyUI Qwen3 VL AutoTagger

Кастом нода от подписчика @EggMannnn

Коротко, что внутри:
- генерирует title + keywords для стоковых карточек (делал под Adobe Stock);
- может сразу писать XMP в изображение (без отдельного SaveImage при write_xmp=true)
- есть API/headless вариант workflow (можно без веб ui протестить)
- модель Qwen/Qwen3-VL-8B-Instruct может скачиваться автоматически при первом запуске

Полезно для тех, кто на Adobe Stock льёт изображения.

#captioning #vlm #comfyui

👍6🔥5❤2😐1

3.03K views10:13

Music Flamingo think-2601-hf

Только вчера ктото спрашивал в чате про модель для понимания музыки
NVIDIA обновила Music Flamingo

#SOTA на 10+ бенчмарках

Шарит за теорию музыки, гармонию, структуру, культурный контекст и поэтику

Разумеется, может давать подробные описания

Может работать с запросами в формате «аудио + текст»

Поддерживает многоходовые диалоги, то есть можно задавать вопросы по ходу анализа трека

Обрабатывает аудио порциями по 30 секунд, но в целом может взять до 20 минут музыки

Базовая модель — Audio Flamingo 3

Гитхаб
HF
Демо

#musix2text #captioning #cot #assistant #alm

❤16👍7

2.43K views13:17

#stt #video2text #captioning #transcription

1.51K views17:05

S3T-Former

Модель для распознавания действий по скелету человека

На входе данные о скелете человека — координаты суставов и информация о костях. Это могут быть данные, полученные, например, с помощью Kinect

На выходе — конечное количество классов действий, не текстовое описание.

было бы интересно узнать если найдете этому применение

#captioning #classification #detection

👍2

1.63K views14:17

LTX-2 Caption tool

Локальный инструмент для генерации описаний к видео на базе Gliese-Qwen3.5-9B (abliterated), хорошо подходит для обучения модели LTX-2.3

— принимает видео, изображения и папки с ними, обрабатывает всё сразу

— может направлять генерацию подписей на определённые аспекты (например, ткань, движение, лицо, тело), без цензуры

— запускается на видеокартах RTX 3000 и новее, автоматически использует CPU, если мало VRAM

#captioning #ltx23 #tools

👍4🔥4

2.31K views09:18

Sommelier

Опенсорсный пайплайн для обработки подкастов и других аудиофайлов.

разделяет спикеров

распознаёт речь

удаляет фоновую музыку

ставит метки на уровне слов.

Использует модели: NeMo Sortformer, Whisper, Parakeet, Canary, PANNs, Demucs.

Гитхаб

#asr #captioning #audio2audio

❤9👍2

2.15K viewsedited 06:14

1:01

Audio Flamingo Next

Новая версия модели от NVIDIA для работы с речью, звуками и музыкой - понимания и описания

— Поддержка файлов до 30 минут и 128 тыс. токенов.
— Анализ длинных записей с несколькими говорящими и шумами.
— Точные ответы с привязкой к временным меткам.
— Специализированные версии для ответов, описаний и рассуждений.

AF-Next-Captioner - описывающая модель
AF-Next-Instruct - универсальная инструктивная версия
AF-Next-Think - рассуждающая версия

Гитхаб
HF
Демо:
https://huggingface.co/spaces/nvidia/audio-flamingo-next
https://huggingface.co/spaces/nvidia/audio-flamingo-next-think
https://huggingface.co/spaces/nvidia/audio-flamingo-next-captioner

#cot #reasoning #alm #captioning #audio2text

👍3🔥2❤1

1.56K views17:20

MOSS-Audio

Открытая базовая модель для работы с аудио: речью, звуками, музыкой.

• распознаёт речь с привязкой ко времени
• анализирует эмоции и характеристики голоса
• разбирает фоновые звуки и контекст
• понимает музыку (стиль, динамику, инструменты) - кто там спрашивал про понимание музыки?
• отвечает на вопросы по аудио, делает резюме записей
• рассуждает в несколько шагов (chain‑of‑thought)

4–8B параметров (на базе Qwen3-4B/Qwen3-8B). Lо 70,80 на бенчмарках. Лучший CER в тестах ASR

Подойдёт для подкастов, транскрибации встреч, анализа аудиоконтента

Гитхаб
HF

Спасибо @EvgenyiPerm

#asr #alm #music2text #captioning #STT

🔥8👍5❤1

1.78K views06:10

MOSS-Audio-8B-Thinking Demo

Демоспейс пониматора музыки

#asr #alm #music2text #captioning #STT

👍4

2.37K views16:20

0:07

Приблуды для промптинга под Ideogram 4

Image to Prompt

Создает по картинке редактируемый JSON-промпт для Ideogram 4. Под капотом Florence 2

Демо
————

Ideogram JSON Captioner

Редактор датасетов / кэпшонер в JSON формате под Ideogram 4. Для работы нужен OpenAI-совместимый эндпойнт, можно локальный

форк от @lexxxx999 забирает разметку из сгенеренной картинки
————

ComfyUI Ideogram 4 Autoprompter

Автопромптер, по нажатию Generate запускает vision LLM для сборки полного промпта. Gemini / local (Huihui-Qwen3-VL-4B-Instruct-abliterated)

Civitai / воркфлоу
————

#comfyui #ideogram4 #captioning #json #prompting

🔥10👍3

2.03K views08:12

https://github.com/showlab/PadCaptioner

Модель для создания подробных описаний видео с помощью мультимодальных данных. Работает эффективнее больших аналогов, при этом точнее описывает события.

учитывает слабые локальные зависимости между событиями в видео, что позволяет генерировать описания параллельно без потери качества. Превосходит 7B аналоги по эффективности.

Гитхаб ждем

#captioning #vlm #video2text

👍7🔥1

1.79K views07:10

TimeLens2

Модель для поиска моментов в видео по текстовому запросу. По запросу на естественном языке выдаст интервалы на временной шкале

• обрабатывает однократные и повторяющиеся события
• работает с видео от третьего лица и эгоцентрическими
• выдаёт один или несколько временных интервалов

• использует мультимодальные LLM
• есть несколько версий модели: TimeLens2-4B и TimeLens2-8B

Гитхаб
HF
Демо

#vlm #captioning #video2text #mllm

🔥9

1.85K views14:17

0:05

Накопилось по #minimaxH3 - часть 7

huggingface.co/iamkaikai/MiniMax-H3-Single-Frame-VAE-500K - VAE для генерации #t2i Демо

github.com/tori29umai0123/ComfyUI-MiniMaxH3-SingleFrame - две ноды для t2i. Вторая интерполирует средний кадр по первому/последнему

huggingface.co/diffusers-modular/minimax-h3-inpainting - #inpainting видео и аудио по маске. есть воркфлоу вроде

github.com/LoveRain1997/h3-prompt-journal/ - журнал промпт-экспериментов для сложной физики камеры

huggingface.co/MATLOWAI/MiniMax-H3-Motion-Adapter - учит модель тратить такты на плавность в быстрых сценах

github.com/T8mars/comfyui-minimax-h3-audio-T8 - 130 нод для работы с аудио: Dual-clock семплинг, локинг, ремикс, референс

github.com/SkyNotSilent/awesome-minimax-h3 - 685 видео с источниками и промптами, метаданные не вырезаны

github.com/LoveRain1997/video-to-h3-prompt - пайплайн видео → готовый H3 промпт. Скилл для Codex

#prompting #motioncontrol #captioning

👍20❤1

2.02K views10:13

0:05

0:06

0:14