Nemotron 3 Diarization preview

NVIDIA выложила превью модели для диаризации речи - определения, кто и когда говорит в аудиозаписи. Работает на архитектуре streaming-sortformer, то есть умеет размечать спикеров в потоке, а не только по готовой записи.

Диаризация — это процесс определения, КТО говорит в аудиозаписи. Система анализирует звук и разбирает его по голосам: выделяет разные говорящих, отмечает моменты, где они начинают и заканчивают говорить

Доступ по запросу, лицензия nvidia-software-and-model-evaluation-license: использовать можно только для внутреннего тестирования, не в продакшене

Доступны блокноты для Google Colab и Kaggle, интеграция с библиотекой NeMo.

#diarize

VK | MAX

#humor

VK | MAX

VibeVoice-Streaming ASR

Потоковая модель от Microsoft транскрибирует речь по мере поступления аудио. Плюс сразу помечает, кто из спикеров что сказал.

Из полезного - поддержка кастомных hotwords, то есть можно заранее задать слова и имена, которые модель должна распознавать точно (имена собственные, термины, названия компаний). Работает с 10 языками включая русский

Гитхаб
Попробовать

#stt #asr #russian #streaming

VK | MAX

AetherScale

Кастом пак #ComfyUI от подписчика @vj_vizart

Апскейл и восстановление видео, HDR-тонирование, анализ движения, экспериментальный #DLSS5

• апскейл через NVIDIA VFX с подавлением шума, артефактов и размытия
• CUDA HDR-тонирование и цветокоррекция
• анализ движения кадр за кадром со сценами-разрезами и компактным хранением в FP16
• экспериментальный DLSS 5 Neural Rendering с режимами вывода от 1x до 3x

#upscale #videorestoration

VK | MAX