VideoLingo

Универсальный опенсорсный инструмент для перевода, локализации и дубляжа видео, предназначенный для создания субтитров качества Netflix.

3-этапный процесс Перевод-Осмысление-Адаптация для кинематографического качества

За дубляж отвечают GPT-SoVITS, Azure, OpenAI и др

Поддержка входных языков (будет добавлено больше):

🇺🇸 Английский 🤩 | 🇷🇺 Русский 😊 | 🇫🇷 Французский 🤩 | 🇩🇪 Немецкий 🤩 | 🇮🇹 Итальянский 🤩 | 🇪🇸 Испанский 🤩 | 🇯🇵 Японский 😐 | 🇨🇳 Китайский* 😊

Перевод поддерживает все языки, а язык дубляжа зависит от выбранного метода генерации голоса

Гитхаб
Офсайт - 15 минут бесплатно

#dubbing #speech2speech #translation #subtitles #text2speech #speech2text #tts #stt

ARC-Qwen-Video

Версия ARC-Hunyuan-Video-7B с Qwen2.5-VL-7B-Instruct в качестве базовой модели.

Мультимодальная модель для понимания коротких видеороликов из реального мира. Обрабатывает визуальные, аудио- и текстовые сигналы

Синхронизирует визуальные и аудиосигналы, что позволяет отвечать на сложные вопросы, которые невозможно решить, используя только один тип данных

Определяет не только, что происходит в видео, но и когда это происходит, поддерживает детализированную временную разметку и обобщение событий

Знает китайский и английский

На скриншоте транскрибация демонстрационного видео (перевод с китайского)

ARC-Qwen-Video-7B

ARC-Qwen-Video-7B-Narrator - выдает описания видео с таймкодами, определяет личности говорящих в видео, распознаёт и транскрибирует речь

Гитхаб
Демо - вход по китайскому телефону

#vlm #assistant #video2text #asr #speech2text #stt

Omnilingual ASR: Open-Source Multilingual Speech Recognition for 1600+ Languages

Аудиораспознавалка 1600+ языков от Meta (запрещено в РФ) включая 500 низкоресурсных языков, которые ранее не транскрибировались с помощью ИИ.

носитель неподдерживаемого языка может предоставить лишь несколько парных образцов аудиотекста и получить приемлемое качество транскрипции - без масштабирования обучающих данных, обременительных знаний или доступа к высокопроизводительным вычислительным системам

Линейка моделей от 0.3B до 7B, требующих от 2 ГБ до 20 ГБ VRAM для работы

Короче, Whisper подвинься. Вернее, прощай

Гитхаб
Демо - тест Идущего к реке в комментах
Глобус языков - к них есть прикольная страница где можно интерактивно потыкать на глобус где какие языки есть и поддерживает ли их Omnilingual ASR. Коми и удмуртский например поддерживает

Спасибо @EvgenyiPerm

#asr #stt #speech2text

MOSS-Transcribe-Diarize

Транскрибация речи в текст с определением говорящего и временных меток от китайцев

— работает с аудиозаписями до 90 минут без разделения на фрагменты

— хорошо обобщает и масштабируется

— справляется с шумом и перекрывающимися голосами

— контекст 128 К

— точно известно что знает китайский, японский, английский, по остальным языкам непонятно

Демо HF
Попробовать на офсайте

#transcription #speech2text