VideoLingo

Универсальный опенсорсный инструмент для перевода, локализации и дубляжа видео, предназначенный для создания субтитров качества Netflix.

3-этапный процесс Перевод-Осмысление-Адаптация для кинематографического качества

За дубляж отвечают GPT-SoVITS, Azure, OpenAI и др

Поддержка входных языков (будет добавлено больше):

🇺🇸 Английский 🤩 | 🇷🇺 Русский 😊 | 🇫🇷 Французский 🤩 | 🇩🇪 Немецкий 🤩 | 🇮🇹 Итальянский 🤩 | 🇪🇸 Испанский 🤩 | 🇯🇵 Японский 😐 | 🇨🇳 Китайский* 😊

Перевод поддерживает все языки, а язык дубляжа зависит от выбранного метода генерации голоса

Гитхаб
Офсайт - 15 минут бесплатно

#dubbing #speech2speech #translation #subtitles #text2speech #speech2text #tts #stt

Посетил на днях выставку "Пикассо: художник среди поэтов"

Заинтересовался французским текстом на плакатах. А я по-французски понимаю только же не манж па сис жур

Ну у меня же с собой Perplexity. Навожу камеру, прошу перевести - вуаля, все понятно. (ах да, вуаля тоже понимаю)

А потом дай, думаю, сравню какие еще переводы я мог бы получить. И закидываю фото во все что есть на телефоне.

Даже DeepL облажался. Но Яндекс вообще убил. Лучше всех справился Perplexity. Mistral и Qwen отстают от него, но на голову выше приложений - переводчиков

#assistant #translation #shootout #comparison

Higgs Audio V2: Redefining Expressiveness in Audio Generation

Новая модель генерации речи и клонирования голоса с фокусом на выразительность от Boson AI

Побивает GPT-4o-mini-tts в 75.7% случаев на EmergentTTS-Eval

- генерация диалогов с несколькими голосами, которые звучат натурально;

- создание длинных аудио с одним голосом;

- 24 кГц

- лёгкие версии функционируют на Jetson Orin Nano, а для топовой модели требуется RTX 4090;

- автоматическая подстройка интонаций и эмоций в речи, одновременная генерация речи и фоновой музыки, имитация напевания мелодий

- интерактивный перевод разговора с клонированием голоса.

- Английский, Китайский, Корейский, Немецкий

Код
Веса
Демо
Демо HF
Higgs Audio Tokenizer

#tts #text2speech #voicecloning #dubbing #translation

Griffith Voice — AI Voice Cloner & Dubber

Проект соло-разработчика для дубляжа видео с клонированием оригинальных голосов на Whisper / GPT / GPT-SoVITS

На вход нужно только видео. Поддерживает Английский, корейский? японский, китайский.

В разработке: русский!, французский, арабский, немецкий

Работает на 4GB VRAM

#dubbing #voicecloning #translation

Hunyuan-MT

Сегодня наделало шуму семейство моделей-переводчиков от Tencent.
Уровень #sota
7B параметров, есть fp8
Первый в индустрии использует ансамблевую модель для объединения нескольких вариантов перевода в один высококачественный результат.

33 языка, в том числе русский. В чате если переводить китайский интерфейс браузером, то не работает выбор языка. Русский справа третий сверху (но это неточно)

Перевел монолог идущего к реке на китайский традиционный и обратно, результат - мое почтение.

Гитхаб
HF
Демо на китайском сайте - войти можно через Wechat. По почте, говорят, тоже

#translation #text2text

Qwen3‑LiveTranslate-Flash

И еще одна новинка от Qwen

Модель для перевода аудио и видео контента на разные языки в реальном времени

Знает 18 языков, в том числе русский (и текст и аудио)

Использует визуальные подсказки для улучшения качества перевода и справляется с трудными условиями, например, с шумом или неоднозначными словами.

Демо
API

#translation #dubbing #realtime #assistant

GigaAM Multilingual

Мультилингвальная ASR-модель для языков СНГ

Лучше адаптируется к новым языкам, чем Whisper и Omnilingual. Подтверждено на грузинском и башкирском

• поддержка казахского, киргизского, узбекского, английского
• можно дообучать на другие языки

huggingface.co/ai-sage/GigaAM-Multilingual
github.com/salute-developers/GigaAM
———

GigaChat Audio

Аудио-нативная LLM на базе GigaAM Multilingual и GigaChat3.1‑10B‑A1.8B. Держит контекст до 2 часов

• поддерживает многошаговый голосовой диалог, классификацию, перевод, ASR
• привязка ко времени, суммаризация с таймкодами
• высокий результат на RuBQ‑Audio и Dusha

huggingface.co/ai-sage/GigaChat3.1-Audio-10B-A1.8B
———

Обновленный GigaChat-Max-Audio - на giga.chat и @gigachat_bot

@smartspeech_sber_bot - распознавание голосовых на 5 языках

#stt #transcribe #russian #dialog #asr #translation

Qwen3.8-LiveTranslate

Синхронный переводчик от Qwen

Переводит речь в реальном времени на 60 языков и озвучивает перевод голосом говорящего. Задержка упала с 2,8 до 2,3 секунды - уровень живого синхрониста. Архитектура Thinker-Talker на Hybrid-MoE, понимание и перевод в одном проходе

• реальное время разделяет говорящих и подписывает, кому принадлежит фраза
• клонирует тембр - перевод звучит голосом собеседника
• оригинал и перевод одновременно на двуязычном экране
• держит длинный контекст - имена и термины не плывут от фразы к фразе
• смотрит на видео, а не только слушает - картинка разводит омонимы

• 60 языков
• LAAL 2,3 секунды
• тест FLEURS на 70 языковых направлениях по четырем параметрам

Работает через облако Alibaba: клиент по вебсокету, нужны ключ DashScope и workspace в Model Studio

qwencloud

#translation

MAX