🤗 Hugging Face представил технику асинхронного батчинга для LLM, которая устраняет ключевой недостаток стандартного continuous batching — синхронное ожидание CPU и GPU. В обычном режиме процессор и видеокарта работают поочередно: пока GPU считает, CPU простаивает, и наоборот. В цикле из сотен шагов в секунду эти паузы съедают до 25% времени.
Решение — разделить подготовку батча на CPU и вычисления на GPU, запустив их параллельно. Для этого используются CUDA streams (потоки) и CUDA events (события синхронизации). Потоки позволяют выполнять операции конкурентно, а события — корректно синхронизировать данные без блокировки GPU.
В результате GPU загружен полезной работой 100% времени. Авторы тестировали метод на модели 8B с батч-сайзом 32 и генерацией 8K токенов — прирост производительности значительный. Асинхронный батчинг особенно важен для дорогих ускорителей вроде H200 ($5/час), где каждая секунда простоя — прямые убытки.
#Ai #LLM #Inference #CUDA #HuggingFace
Решение — разделить подготовку батча на CPU и вычисления на GPU, запустив их параллельно. Для этого используются CUDA streams (потоки) и CUDA events (события синхронизации). Потоки позволяют выполнять операции конкурентно, а события — корректно синхронизировать данные без блокировки GPU.
В результате GPU загружен полезной работой 100% времени. Авторы тестировали метод на модели 8B с батч-сайзом 32 и генерацией 8K токенов — прирост производительности значительный. Асинхронный батчинг особенно важен для дорогих ускорителей вроде H200 ($5/час), где каждая секунда простоя — прямые убытки.
#Ai #LLM #Inference #CUDA #HuggingFace
⚡1😱1
🎙 Together AI представила самый быстрый стек распознавания речи в мире
Компания Together AI опубликовала технический разбор своей ASR-системы, которая, по данным Artificial Analysis, обеспечивает самую низкую задержку среди всех решений для преобразования речи в текст. Система обрабатывает до 20 часов аудио менее чем за 10 секунд на модели NVIDIA Parakeet-TDT 0.6B v3.
Ключевая инновация — полная оптимизация всего пайплайна, а не только GPU-вычислений. Инженеры применили многопрофильные движки TensorRT для разных длин аудио (от 200 мс до 30 секунд), что устранило потери производительности при обработке коротких фрагментов через паддинг. Второй прорыв — вынос CPU из цикла декодера: условные CUDA graph-узлы позволили выполнять ветвление (проверка на BLANK-токен) прямо на GPU, ускорив декодер в 2-3 раза.
Третье улучшение — устранение лишних копирований аудиоданных на CPU-стороне. Вместо стандартного пути с многократным копированием байтов Together AI внедрила evented I/O и shared memory, что сократило накладные расходы на предобработку (декодирование контейнера, ресемплинг, VAD, сегментацию). Дополнительно решена проблема сборки мусора Python, которая вносила недетерминированные задержки.
#Tech #AI #ASR #VoiceRecognition #TogetherAI #TensorRT #CUDA
Компания Together AI опубликовала технический разбор своей ASR-системы, которая, по данным Artificial Analysis, обеспечивает самую низкую задержку среди всех решений для преобразования речи в текст. Система обрабатывает до 20 часов аудио менее чем за 10 секунд на модели NVIDIA Parakeet-TDT 0.6B v3.
Ключевая инновация — полная оптимизация всего пайплайна, а не только GPU-вычислений. Инженеры применили многопрофильные движки TensorRT для разных длин аудио (от 200 мс до 30 секунд), что устранило потери производительности при обработке коротких фрагментов через паддинг. Второй прорыв — вынос CPU из цикла декодера: условные CUDA graph-узлы позволили выполнять ветвление (проверка на BLANK-токен) прямо на GPU, ускорив декодер в 2-3 раза.
Третье улучшение — устранение лишних копирований аудиоданных на CPU-стороне. Вместо стандартного пути с многократным копированием байтов Together AI внедрила evented I/O и shared memory, что сократило накладные расходы на предобработку (декодирование контейнера, ресемплинг, VAD, сегментацию). Дополнительно решена проблема сборки мусора Python, которая вносила недетерминированные задержки.
#Tech #AI #ASR #VoiceRecognition #TogetherAI #TensorRT #CUDA
🔥1💯1
NVIDIA опубликовала разбор того, как её AI-фабрики окупаются. Мегаватт мощности стоит около $60 млн, поэтому операторы оценивают отдачу по трём параметрам: выручке на токен, сроку службы железа и объёму спроса на вычисления.
По данным SemiAnalysis AgentX, системы Vera Rubin NVL72 дают более чем 30-кратную пропускную способность на мегаватт по сравнению с GB300 NVL72 и до 45 раз меньшую стоимость за миллион токенов на модели DeepSeek V4 Pro. Прирост обеспечивает сквозной кодзайн всего стека - от моделей и софта до вычислений, сети и памяти.
Долговечность: GPU A100 вышла в 2020 году и до сих пор работает в коммерческой эксплуатации, а CoreWeave продлила бронирования таких систем до 2029 года. Универсальность даёт платформа CUDA: свыше 1000 библиотек CUDA-X и более 10 млн разработчиков, одни и те же чипы считают LLM, симуляции, графику и научные задачи. В качестве примеров NVIDIA приводит Lilly с кластером на 1016 GPU, Pinterest с 14 000 GPU разных поколений и Texas A&M с загрузкой 95-98%.
🎨 qvabo.studio/tg · картинки и видео
#Business #AI #NVIDIA #Factory #CUDA #GPU #Infrastructure
Please open Telegram to view this post
VIEW IN TELEGRAM
⚡1🤯1