AssemblyAI
Инструмент, который переводит видео или аудио в текст. Работает с несколькими языками. Русского пока нет, но Assemblyai постоянно обновляют и добавляют новые языки и возможности.

Из полученного текста сразу можно выделить короткое саммари, упорядочить его по таймкодам и даже анализировать эмоциональную окраску каждой фразы.

Можно за пару минут понять, о чём говорится в длинном гайде на YouTube или в зарубежном новостном подкасте. Инструмент полностью бесплатный.

#video2text #audio2text #tools #video2summary

Video-LLaMA
Мультимодальная система, понимает и может описать содержимое видео, в том числе и аудио. Криво написал, да? Но надеюсь, все поняли)

Код

Демо

Модель

#audio2text #video2text #LLM

Video-ChatGPT: Towards Detailed Video Understanding via Large Vision and Language Models

Еще одна модель недопонимания видео. Ну эта хоты бы заметила на рикролле женщину

Код

Демо

#audio2text #video2text #LLM

Google научил Gemini 1.5 Pro понимать аудио.

• Распознает слова, тон, эмоции и т д
• Можно скинуть лекцию и получить викторину по содержанию за пару секунд, как на видео
• Выжимка подкастов, лекций и т д
• До 11 часов аудио за раз
• Добавили режим JSON и открыли API без листа ожидания

Попробовать (включайте VPN)

#audio2text #speech2text #assistant

Кулстори про мой мастеркласс.

Пока готовился, решил освежить в памяти как я давал подобные мастерклассы в офлайне. Да, было такое.

Достаю архивные аудио/видео и понимаю что нет времени/желания переслушивать все это целиком. Вот бы получить в систематизированном видео ключевые моменты, а лучше с полным конспектом на всякий случай. Вообще нетрудно найти нужное, полистав у меня на канале теги #summary #video2text #audio2text #speech2text

Но мне как раз недавно попался свежий сервис mymeet.ai на базе ChayGPT-4. От русскоязычных разработчиков, значит проблем с русским языком должно быть минимум. Заявлена расшифровка любых аудио и видео, интеграция в Google Meet и Zoom.

Закинул в него аудио. Ограничение на объем файла - 1Гб на бесплатном тарифе, поэтому видео не пролезло. Через пару минут получаю готовую полную расшифровку и выжимку. Можно скопировать форматированный текст и дальше делать с ним что угодно. Сервис различает спикеров, что позволило мне сосредоточиться только на своих репликах и быстро составить план нового мастеркласса.

Запись у меня была с говномикрофона, все как мы любим для стресс-теста. В расшифровке некоторые фразы неточно определились. Думаю: мы же живем в эпоху магии, почему все так неидеально? Написал разработчикам, так, мол и так, у вас ошибки, хочу расшифровку точнее. Ответили в течение дня с просьбой прислать примеры плохой расшифровки и обещанием доработать. По их словам, сейчас точность определения 96%, чего вполне хватает для стандартных звонков.

По поводу триалки - дают обработать 180 минут. Много это или мало - решайте сами, мне хватило обработать 3 больших выступления. Ну и если вам постоянно или периодически нужен такой инструмент, платные тарифы весьма приемлемые.

mymeet.ai - го тестить

VLC automatic subtitles

Опенсорсный плеер VLC анонсировал локальную автоматическую генерацию и перевод субтитров. Когда - пока неизвестно.

Твиттер

#news #audio2text #subtitles

MiDashengLM

Модель понимания аудио от Xiaomi, #sota
Распознает тембр голоса, музыкальные инструменты, прочие звуки, отвечает на вопросы

Код
Демо
Веса ~50Гб

#audio2text #alm #assistant

MiMo-Audio

Универсальная генеративная аудио-языковая модель, которая работает с текстовыми и аудиоданными.

Бьет Gemini-2.5-Flash на понимании аудио
Бьет GPT-4o-Audio на комплексном рассуждении

Всего 7B параметров, опенсорс

— понимает аудио и рассуждает

— ведёт диалоги и распознаёт эмоции

— описывает аудиоконтент

— работает с разными языками и диалектами - упоминается английский, есть пирмер приветствия на трех языках. Вангую что с русским у него пока неважно.

— продолжает речь в разных стилях

— обучается на основе инструкций

Гитхаб
HF - есть MiMo-Audio-Tokenizer, MiMo-Audio-7B-Base и MiMo-Audio-7B-Instruct
Демо - сейчас какие-то проблемы с соединением

#audio #audio2audio #reasoning #assistant #voicemode #speech2peech #audio2text #captioning

Audio Flamingo 3

аудиоязыковая модель от NVIDIA

Русский понимает. Собачий - навряд ли. Но делает вид что понимает.

Умеет:

— понимать необычные звуки;

— работать с длинными аудио (до 10 минут);

— вести многоходовые диалоги с несколькими аудиозаписями;

— генерировать шаги рассуждения;

— общаться голосом;

— обрабатывать речь, звуки и музыку с помощью единого энкодера.

В основе модели — энкодер Whisper large-v3 с Transformer-декодером

Гитхаб - кажется кода нет
HF
Демо

#alm #audio2text #voicemode

Music Flamingo: Scaling Music Understanding in Audio Language Models

Аудиоязыковая модель от NVIDIA для понимания музыки

Обрабатывает аудиозаписи длительностью до 15 минут с контекстным окном в 24 тысячи токенов

Возможности модели:

— делает детальные описания треков, включая жанр, темп, тональность, инструменты и настроение

— отвечает на вопросы о структуре, вокале, лирических темах и решениях в микшировании

— распознаёт инструменты и жанры

— транскрибирует тексты песен на разных языках. То есть это еще и транскрибатор

— анализирует музыку с учётом культурного контекста.

Гитхаб
Демо
HF

#captioning #asr #ALM #music2text #audio2text #assistant

Audio Flamingo Next

Новая версия модели от NVIDIA для работы с речью, звуками и музыкой - понимания и описания

— Поддержка файлов до 30 минут и 128 тыс. токенов.
— Анализ длинных записей с несколькими говорящими и шумами.
— Точные ответы с привязкой к временным меткам.
— Специализированные версии для ответов, описаний и рассуждений.

AF-Next-Captioner - описывающая модель
AF-Next-Instruct - универсальная инструктивная версия
AF-Next-Think - рассуждающая версия

Гитхаб
HF
Демо:
https://huggingface.co/spaces/nvidia/audio-flamingo-next
https://huggingface.co/spaces/nvidia/audio-flamingo-next-think
https://huggingface.co/spaces/nvidia/audio-flamingo-next-captioner

#cot #reasoning #alm #captioning #audio2text

Audio‑Omni

Фреймворк для работы с аудио: понимание, генерация и редактирование. Работает с речью, музыкой и общим звуком

Замороженную мультимодальную LLM использует для высокоуровневого рассуждения.

Может делать генерацию с учётом знаний, генерировать в контексте и управлять аудиогенерации на разных языках без обучения

Интересные возможности редактирования. Например замена слов в речи, замена музыкального инструмента в музыке

Качество звука в демовидео не впечатляет, в отличие от возможностей

Гитхаб
HF
Демо

#multimidal #alm #audio2text #text2audio #audioediting