#tts #dubbing #speesh2speech

Langswap становится Open Source!

Как я уже много раз говорил, мы публикуем исходный код нашего перевода видео, который используется на сайте langswap.app. В коде в какой-то момент было много know-hows, но последняя итерация была больше на упрощение и на ускорение пайплайна.

Сейчас под капотом там следующее:

Сначала мы разделяем аудио на речь и фоновые звуки здесь

https://github.com/langswap-app/langswap/blob/main/langswap/ml/speech_to_text_service/speech_to_text_manager.py

Фоновые звуки (музыку, шум) нам нужно оставить как есть.

Затем с помощью whisper распознаём всё что там есть.
https://github.com/langswap-app/langswap/blob/main/langswap/ml/speech_to_text_service/asr_vad_client.py
и уточняем границы распознанного с помощью VAD. Присваиваем сегментам спикера.

Потом просим Gemma-4-E2B перевести нам всё и считаем гласные. Если сильно уехали по длине, просим гемму переделать 1-2 раза.
https://github.com/langswap-app/langswap/blob/main/langswap/ml/translation_service/translator_llamacpp_client.py

Потом, с новыми текстами, синтезируем речь через OmniVoice, используя исходный аудио сегмент как референс.
https://github.com/langswap-app/langswap/blob/main/langswap/ml/text_to_speech_service/tts_omnivoice_client.py

В конце, заменяем аудиодорожку на видео и добавляем watermark что переведено с помощью langswap и какой-то матери

https://github.com/langswap-app/langswap/blob/main/langswap/ml/ffmpeg/__init__.py

В целом, это довольно простой, казалось бы, пайплайн, но как же долго и много это раз переизобреталось, вносились новые ТТС системы, изобретались способы контроля длины речи. В последней итерации, я удалил большую часть кода, чтобы вам было проще ориентироваться и контрибьютить.

https://github.com/langswap-app/langswap

Обязательно ставьте лайк на репе! Мне это очень важно.

Почитать про этот перевод на forbes:
https://www.forbes.ru/tekhnologii/554358-masinal-naa-ozvucka-v-cem-zaklucautsa-problemy-ii-dublaza


Спасибо что были подписаны всё это время!

Realism_Engine_Ideogram_4

Лора на срамной реализм под Ideogram 4

Очень срамные картинки-примеры лежат в репозитории

#lora #realism #ideogram4 #nsfw

Chatterbox Multilingual v3

Многоязычная говорилка от Resemble AI с водяными знаками PerTh

• синтезирует речь на 25 языках (включая 4 диалекта и 6 Language Pack‑моделей)
• встраивает невидимые водяные знаки PerTh - выживают при сжатии (MP3, Opus), конвертации, редактировании, передискретизации
• клонирует голос без предварительного обучения по короткому аудиообразцу
• контроль эмоций и интенсивности голоса (радость, грусть, гнев и т. д.)
• работает с разговорными данными, нарративом и чтением текста
• компактный размер 0,5 B параметров (базовая модель Llama)

Русский есть но все плохо, беда с ударениями

HF
Демо
Попробовать

#tts #voicecloniong #russian

ComfyOrg выложил веса видеогенератора-редактора Bernini на базе wan2.2/wan2.1

Юзеры пишут что в нем реализованы возможности которых ждали от WAN-Animate

Также GGUF

Спасибо @BrianMItro

#t2v #videoediting #referencing

Cream Typer

Оффлайновая голосовая диктовка для macOS на базе whisper.cpp. Работает на Metal GPU, активируется через Caps Lock - речь превращается в текст прямо в активном окне

• распознаёт речь офлайн, задержка ~ 0,4 с на 10 с аудио
• поддерживает 18 языков
• переводит в английский одной строкой в конфиге без отдельного пайплайна
• не собирает телеметрию
• компактный код, всего ~ 300 строк Python
• легко дорабатывать и ускорять бесплатно

вдохновлено дебильной диктовкой на маке

#stt #macos

ideogram-4-GGUF

GGUF-квантизация идеограм 4

#ideogram4 #gguf

EvoQuality (ByteDance)

Саморазвивающаяся VLM для оценки качества изображений. Учится на собственных предсказаниях без разметки от людей

• оценивает качество изображений
• самообучается: использует собственные прогнозы как данные для дальнейшего обучения
• применяет механизм голосования (voting) для отбора лучших примеров
• использует GRPO для улучшения результатов, обгоняет supervised‑модели

#vlm

Comfy-Org/SCAIL-2

Comfy-Org опубликовали веса оживлятора SCAIL-2 под комфи

поддержка модели в комфи и воркфлоу тут

Спасибо @alex31415926

#comfyui #workflow #characteranimation #animation #motioncontrol

"ранимое" поведение Mythos превратилось уже в мем.

На бенчмарках ему скучно. На дистилляции он портится. На сейфети алерт переключается на Опус 4.8

Говорят, Антропики уже скорректировали поведение модели

#humor

Если ваш робот слишком тупой и ничего не умеет пусть идет попрошайничать

#robot

LMX-Omni-52B-Halo

Мультимодальная модель на 52 B параметров. Работает с текстом, изображениями, видео

Монстр собран из 4 моделей:

Qwen3.6-35B-A3B-MTP-GGUF
Flux-2-Klein-9B-GGUF
Whisper-Large-v3-Turbo
kokoro-v1

• мультимодальная обработка (текст, изображения, видео)
• генерация контента по смешанным запросам
• понимание сложных взаимосвязей между модальностями
• поддержка длинных контекстов
• высокая точность в кросс‑модальных задачах

Спасибо @kiticatmur

#omni #multimodal

MiMo Code

Терминальный агент-программист от Xiaomi

* анализирует файлы проекта и учитывает контекст (до 1 млн токенов — примерно 750 тыс. слов)
* пишет и редактирует код
* выполняет shell‑команды
* работает с Git (например, делает коммиты)
* поддерживает переключение агентов и режимы работы через интерфейс терминала
* понимает русский язык (подсказки и интерфейс на русском)

* модель: MiMo‑V2.5
* лицензия: MIT (открытый исходный код)
* версия: 0.1.0 («исследовательская», возможны баги и нестабильность)

Сейчас онлайн сервис пока еще бесплатен

Гитхаб
Как начать

Спасибо @BrianMItro

#coding #agent

nvidia/diffusiongemma-26B-A4B-it-NVFP4

Но волне всеобщего интереса к диффузной версии Gemma 4 (53ГБ) NVIDIA выпустила квантованную версию NVFP4 (19ГБ)

Контекст 256K, работает с текстом, изображениями, видео

#NVFP4 #multimodal

Kimi K2.7 Code

Обновилась модель для программирования: код, отладка, агентные задачи

Лучше K2.6 в кодинге, при этом использует на 30% меньше токенов

• работа с Rust, Go, Python
• многоэтапные рабочие процессы в программировании
• использование инструментов в несколько шагов
• обработка изображений и видео (есть MoonViT vision encoder)
• долгосрочное кодирование (окно контекста — 256 K токенов)


• архитектура Mixture of Experts (MoE), 1 трлн параметров, активируется 32 млрд на токен
• всегда работает в режиме мышления (thinking mode)
• лицензия модифицированная MIT

В чате доступ не выдали
В Kimi Code - по подписке
API - тут должно быть

HF

#coding