VocalRender

Генератор вокала по тексту и MIDI-партии
Никаких явных длительностей фонем и F0-кривых: модель сама решает, когда и как петь. Построен на VoxCPM2.
Заявлен только китайский язык, предположу что можно дообучить на другие.

• Score-native ввод — ноты+слова+BPM, один токен на слог с поддержкой мелизмов (слог на несколько нот)
• Контроль тембра через промпт-аудио — кидаешь 2–8 секунд чистого вокала, модель поет в этом голосе
• Два чекпоинта: VocalRender и VocalRender-Pro (дольше тренирован на бОльшем корпусе реального пения)
• 48 kHz WAV

Гитхаб
HF
Демо - принимает только китайский текст

#vocal #midi2vocal #text2vocal #music