📱ACE-Step 1.5.

ACE-Step 1.5 — открытая модель генерации музыки, которая по качеству подбирается к коммерческим сервисам (между Suno v4.5 и Suno v5), но работает локально и довольствуется <4 ГБ VRAM. Она генерирует треки длиной от 10 секунд до 10 минут, поддерживает 50+ языков.

В основе — гибридная архитектура: LLM выступает «композитором‑планировщиком», разворачивая короткий промпт в подробный план трека (структура, метаданные, текст, описания), а Diffusion Transformer (DiT) по этому плану синтезирует аудио.

🔹Ключевые возможности:

🔘Скорость и масштаб: генерация 10–600 секунд музыки, батч до 8 треков одновременно.

🔘Управление стилем: поддержка 1000+ инструментов и стилей, контроль длительности, BPM, тональности, размера, структуры, текста.

🔘Мульти‑режимы: text‑to‑music, cover‑генерация, локальный repaint/extend участков, разбиение на дорожки (stems), добавление слоёв как в Suno Studio, Vocal→BGM‑аккомпанемент.

🔘Анализ аудио: извлечение BPM, тональности, размера, автогенерация описаний и LRC‑таймингов для текста.

🔘Персонализация: обучение своих LoRA по 8 трекам примерно за час на 3090 (12 ГБ VRAM) прямо из Gradio‑интерфейса.

🔻Установка и запуск:

🔘Требования: Python 3.11–3.12, желательно GPU с CUDA (также есть режимы для MPS / ROCm / Intel XPU / CPU).

🔘Быстрый старт:
1) Установить uv.
2) git clone https://github.com/ACE-Step/ACE-Step-1.5.git && cd ACE-Step-1.5
3) uv sync
4) uv run acestep — поднимает Gradio UI, модели докачаются при первом запуске.
5) Для REST API вместо UI: uv run acestep-api (по умолчанию порт 8001).
🔘Для Windows есть готовый portable‑пакет с уже предустановленными зависимостями.

Под разные видеокарты предусмотрены варианты LM‑моделей от 0.6B до 4B параметров; UI сам подбирает оптимальную конфигурацию (модель, бэкенд, квантование, оффлоад) исходя из объёма VRAM. Лицензия MIT, так что модель можно встраивать в свои пайплайны, продукты и тулчейны для музыкантов, продюсеров и контент‑криэйторов.

#AI #MusicGen #AIMusic #ACEStep #Diffusion #LLM #LoRA #OpenSource #AudioAI #CUDA #AMD #MacOS #Python

📱Ссылка на репозиторий:
https://github.com/ace-step/ACE-Step-1.5

📱SGLang.

SGLang - это высокопроизводительный движок и фреймворк для инференса и развертывания больших языковых (LLM) и мультимодальных моделей (VLM), разработанный сообществом LMSYS.

Проект оптимизирован как для запуска моделей на одиночных потребительских видеокартах, так и для масштабирования на гигантские серверные кластеры. SGLang стал де-факто индустриальным стандартом для инференса MoE-архитектур (включая модели линейки DeepSeek) и генерации роллаутов (rollout engine) на этапе обучения с подкреплением (RL).

🔹Ключевые возможности и архитектурные решения:

🔘RadixAttention: Умное автоматическое кэширование KV-кэша по дереву префиксов (Radix tree). Ускоряет инференс в разы в сценариях с общими системными промптами, few-shot примерами, агентскими циклами и multi-turn диалогами.

🔘Архитектура PD Disaggregation: Разделение стадий prefill (обработка входного контекста) и decode (потоковая генерация токенов) по разным GPU-нодам для максимальной утилизации вычислительной мощности.

🔘Параллелизм масштаба дата-центров: Полная поддержка Tensor, Pipeline, Data и масштабируемого Expert Parallelism (EP) для MoE-моделей на десятках и сотнях GPU (включая стойки NVIDIA GB200/GB300 NVL72).

🔘Быстрый структурированный вывод: Генерация строгого JSON и следование схемам до 3 раз быстрее аналогов благодаря оптимизированным конечным автоматам (Compressed FSM).

🔘Day-0 поддержка новейших моделей: Мгновенная адаптация топовых открытых моделей (DeepSeek-V3/R1/V4, Kimi K3, Nemotron 3, GLM, LLaVA, диффузионных генераторов видео и изображений WAN и Qwen-Image).

🔘Аппаратная всеядность: Оптимизирован под архитектуры NVIDIA (от RTX 4090/5090 до H100/B200/GB300), AMD Instinct (MI300X, MI355), Google TPU (через бэкенд на JAX) и Intel Xeon.

🔘Основа для RL и Post-Training: Служит высокоскоростным бэкендом генерации ответов во фреймворках обучения с подкреплением (verl, Miles, AReaL, slime).

💻Быстрый старт:

Установка:

pip install "sglang[all]"

Запуск OpenAI-совместимого сервера инференса:

python -m sglang.launch_server \
  --model-path deepseek-ai/DeepSeek-V3 \
  --port 30000 \
  --tp 8

Отправка запроса через Python:

import openai

client = openai.Client(base_url="http://127.0.0.1:30000/v1", api_key="None")

response = client.chat.completions.create(
    model="default",
    messages=[{"role": "user", "content": "Объясни квантовые вычисления простыми словами."}],
    temperature=0.7,
)
print(response.choices[0].message.content)

#SGLang #LLM #AI #Inference #MachineLearning #DeepSeek #NVIDIA #AMD #OpenSource #DevTools #Python #DataScience

📱Ссылка на репозиторий:
https://github.com/sgl-project/sglang