📱Voice_Extractor.

Voice_Extractor — инструмент на базе ИИ для извлечения чистых фрагментов речи конкретного говорящего из многоголосых аудиозаписей.

🔹Основные возможности:

🔘Диаризация: определение «кто когда говорит» с помощью PyAnnote.

🔘Детекция наложений: удаление перекрытий голосов.

🔘Идентификация говорящего по эталонному аудио (WeSpeaker).

🔘Разделение звука: извлечение речи из фоновой музыки (Bandit-v2).

🔘Транскрипция: с помощью OpenAI Whisper.

🔘Визуализация: спектрограммы, графики идентификации и верификации.

🔘Вывод: качественные WAV-фрагменты и точные транскрипты.

🧢Используемые технологии:
PyTorch, PyAnnote, Whisper, WeSpeaker, Bandit-v2, SpeechBrain, Silero-VAD, FFmpeg и др.

🔻Быстрый старт:

pip install -r requirements.txt
python run_extractor.py \
  --input-audio path/to/audio.wav \
  --reference-audio path/to/target.wav \
  --target-name "SpeakerName" \
  --token "hf_yourToken"

❗️Требования: NVIDIA GPU с 16GB VRAM.

#Python #VoiceExtractor #SpeechAI #SpeakerDiarization #Whisper #PyAnnote #WeSpeaker #OpenAI #SpeechToText #AudioProcessing #DeepLearning #SpeechSeparation #MLTools #HuggingFace #AudioAI #AI4Audio #ASR

📱Ссылка на репозиторий:
https://github.com/ReisCook/Voice_Extractor

📱Chatterbox.

Chatterbox — продвинутая open-source TTS модель от Resemble AI.

✅Создавай реалистичные, экспрессивные голоса для видео, агентов, мемов, игр и многого другого.

🔹Особенности:

🔘SOTA zeroshot TTS.

🔘Уникальное управление эмоциональной выразительностью (exaggeration).

🔘0.5B параметров, Llama backbone.

🔘Выходы с защитной водяной меткой.

🔘Поддержка референс-голоса.

🔘Стабильность и высокое качество выравнивания.

🔘> 500K часов очищенных данных.

🔻Пример использования:

from chatterbox.tts import ChatterboxTTS
import torchaudio as ta

model = ChatterboxTTS.from_pretrained(device="cuda")
wav = model.generate("Jinx and Ezreal saved the Nexus!")
ta.save("voice.wav", wav, model.sr)

#TTS #Chatterbox #VoiceAI #SpeechSynthesis #OpenSource #Python #AI #ElevenLabs #VoiceCloning #AudioAI

📱Ссылка на репозиторий:
https://github.com/resemble-ai/chatterbox

📱ACE-Step 1.5.

ACE-Step 1.5 — открытая модель генерации музыки, которая по качеству подбирается к коммерческим сервисам (между Suno v4.5 и Suno v5), но работает локально и довольствуется <4 ГБ VRAM. Она генерирует треки длиной от 10 секунд до 10 минут, поддерживает 50+ языков.

В основе — гибридная архитектура: LLM выступает «композитором‑планировщиком», разворачивая короткий промпт в подробный план трека (структура, метаданные, текст, описания), а Diffusion Transformer (DiT) по этому плану синтезирует аудио.

🔹Ключевые возможности:

🔘Скорость и масштаб: генерация 10–600 секунд музыки, батч до 8 треков одновременно.

🔘Управление стилем: поддержка 1000+ инструментов и стилей, контроль длительности, BPM, тональности, размера, структуры, текста.

🔘Мульти‑режимы: text‑to‑music, cover‑генерация, локальный repaint/extend участков, разбиение на дорожки (stems), добавление слоёв как в Suno Studio, Vocal→BGM‑аккомпанемент.

🔘Анализ аудио: извлечение BPM, тональности, размера, автогенерация описаний и LRC‑таймингов для текста.

🔘Персонализация: обучение своих LoRA по 8 трекам примерно за час на 3090 (12 ГБ VRAM) прямо из Gradio‑интерфейса.

🔻Установка и запуск:

🔘Требования: Python 3.11–3.12, желательно GPU с CUDA (также есть режимы для MPS / ROCm / Intel XPU / CPU).

🔘Быстрый старт:
1) Установить uv.
2) git clone https://github.com/ACE-Step/ACE-Step-1.5.git && cd ACE-Step-1.5
3) uv sync
4) uv run acestep — поднимает Gradio UI, модели докачаются при первом запуске.
5) Для REST API вместо UI: uv run acestep-api (по умолчанию порт 8001).
🔘Для Windows есть готовый portable‑пакет с уже предустановленными зависимостями.

Под разные видеокарты предусмотрены варианты LM‑моделей от 0.6B до 4B параметров; UI сам подбирает оптимальную конфигурацию (модель, бэкенд, квантование, оффлоад) исходя из объёма VRAM. Лицензия MIT, так что модель можно встраивать в свои пайплайны, продукты и тулчейны для музыкантов, продюсеров и контент‑криэйторов.

#AI #MusicGen #AIMusic #ACEStep #Diffusion #LLM #LoRA #OpenSource #AudioAI #CUDA #AMD #MacOS #Python

📱Ссылка на репозиторий:
https://github.com/ace-step/ACE-Step-1.5