Mirage | Latent Spatial Memory for Video World Models

Латентная пространственная память от Microsoft для видеомоделей мира. Решает проблему высоких вычислительных затрат и потерь информации при работе с 3D‑сценами в видео.

• хранит информацию о 3D‑сцене в пространстве диффузионных латентных представлений (без перехода в пиксельное пространство)
• ускоряет генерацию видео до 10,57 раза
• сокращает использование памяти в 55 раз
• строит память через обратную проекцию с учётом глубины
• синтезирует новые виды через прямое искажение в латентном пространстве

Гитхаб

#memry #world

ABot-Earth 0.5

Генератор 3D сцен Земли на гауссианах от Alibaba по спутниковым снимкам

• генерирует 3D‑сцены из спутниковых изображений с географической привязкой
• синтезирует сцены менее чем за 10 минут на кв. км
• импорт в Unity и Unreal Engine

Колизей
Гитхаб
Остального пока нет

Можно попроситься в закрытое бетатестирование но для этого нужен китайский номер телефона

#gaussian #map2scene #image2scene

#tts #dubbing #speesh2speech

Langswap становится Open Source!

Как я уже много раз говорил, мы публикуем исходный код нашего перевода видео, который используется на сайте langswap.app. В коде в какой-то момент было много know-hows, но последняя итерация была больше на упрощение и на ускорение пайплайна.

Сейчас под капотом там следующее:

Сначала мы разделяем аудио на речь и фоновые звуки здесь

https://github.com/langswap-app/langswap/blob/main/langswap/ml/speech_to_text_service/speech_to_text_manager.py

Фоновые звуки (музыку, шум) нам нужно оставить как есть.

Затем с помощью whisper распознаём всё что там есть.
https://github.com/langswap-app/langswap/blob/main/langswap/ml/speech_to_text_service/asr_vad_client.py
и уточняем границы распознанного с помощью VAD. Присваиваем сегментам спикера.

Потом просим Gemma-4-E2B перевести нам всё и считаем гласные. Если сильно уехали по длине, просим гемму переделать 1-2 раза.
https://github.com/langswap-app/langswap/blob/main/langswap/ml/translation_service/translator_llamacpp_client.py

Потом, с новыми текстами, синтезируем речь через OmniVoice, используя исходный аудио сегмент как референс.
https://github.com/langswap-app/langswap/blob/main/langswap/ml/text_to_speech_service/tts_omnivoice_client.py

В конце, заменяем аудиодорожку на видео и добавляем watermark что переведено с помощью langswap и какой-то матери

https://github.com/langswap-app/langswap/blob/main/langswap/ml/ffmpeg/__init__.py

В целом, это довольно простой, казалось бы, пайплайн, но как же долго и много это раз переизобреталось, вносились новые ТТС системы, изобретались способы контроля длины речи. В последней итерации, я удалил большую часть кода, чтобы вам было проще ориентироваться и контрибьютить.

https://github.com/langswap-app/langswap

Обязательно ставьте лайк на репе! Мне это очень важно.

Почитать про этот перевод на forbes:
https://www.forbes.ru/tekhnologii/554358-masinal-naa-ozvucka-v-cem-zaklucautsa-problemy-ii-dublaza


Спасибо что были подписаны всё это время!

Realism_Engine_Ideogram_4

Лора на срамной реализм под Ideogram 4

Очень срамные картинки-примеры лежат в репозитории

#lora #realism #ideogram4 #nsfw

Chatterbox Multilingual v3

Многоязычная говорилка от Resemble AI с водяными знаками PerTh

• синтезирует речь на 25 языках (включая 4 диалекта и 6 Language Pack‑моделей)
• встраивает невидимые водяные знаки PerTh - выживают при сжатии (MP3, Opus), конвертации, редактировании, передискретизации
• клонирует голос без предварительного обучения по короткому аудиообразцу
• контроль эмоций и интенсивности голоса (радость, грусть, гнев и т. д.)
• работает с разговорными данными, нарративом и чтением текста
• компактный размер 0,5 B параметров (базовая модель Llama)

Русский есть но все плохо, беда с ударениями

HF
Демо
Попробовать

#tts #voicecloniong #russian

ComfyOrg выложил веса видеогенератора-редактора Bernini на базе wan2.2/wan2.1

Юзеры пишут что в нем реализованы возможности которых ждали от WAN-Animate

Также GGUF

Спасибо @BrianMItro

#t2v #videoediting #referencing

Cream Typer

Оффлайновая голосовая диктовка для macOS на базе whisper.cpp. Работает на Metal GPU, активируется через Caps Lock - речь превращается в текст прямо в активном окне

• распознаёт речь офлайн, задержка ~ 0,4 с на 10 с аудио
• поддерживает 18 языков
• переводит в английский одной строкой в конфиге без отдельного пайплайна
• не собирает телеметрию
• компактный код, всего ~ 300 строк Python
• легко дорабатывать и ускорять бесплатно

вдохновлено дебильной диктовкой на маке

#stt #macos

ideogram-4-GGUF

GGUF-квантизация идеограм 4

#ideogram4 #gguf

EvoQuality (ByteDance)

Саморазвивающаяся VLM для оценки качества изображений. Учится на собственных предсказаниях без разметки от людей

• оценивает качество изображений
• самообучается: использует собственные прогнозы как данные для дальнейшего обучения
• применяет механизм голосования (voting) для отбора лучших примеров
• использует GRPO для улучшения результатов, обгоняет supervised‑модели

#vlm

Comfy-Org/SCAIL-2

Comfy-Org опубликовали веса оживлятора SCAIL-2 под комфи

поддержка модели в комфи и воркфлоу тут

Спасибо @alex31415926

#comfyui #workflow #characteranimation #animation #motioncontrol