🎙 Together AI представила самый быстрый стек распознавания речи в мире

Компания Together AI опубликовала технический разбор своей ASR-системы, которая, по данным Artificial Analysis, обеспечивает самую низкую задержку среди всех решений для преобразования речи в текст. Система обрабатывает до 20 часов аудио менее чем за 10 секунд на модели NVIDIA Parakeet-TDT 0.6B v3.

Ключевая инновация — полная оптимизация всего пайплайна, а не только GPU-вычислений. Инженеры применили многопрофильные движки TensorRT для разных длин аудио (от 200 мс до 30 секунд), что устранило потери производительности при обработке коротких фрагментов через паддинг. Второй прорыв — вынос CPU из цикла декодера: условные CUDA graph-узлы позволили выполнять ветвление (проверка на BLANK-токен) прямо на GPU, ускорив декодер в 2-3 раза.

Третье улучшение — устранение лишних копирований аудиоданных на CPU-стороне. Вместо стандартного пути с многократным копированием байтов Together AI внедрила evented I/O и shared memory, что сократило накладные расходы на предобработку (декодирование контейнера, ресемплинг, VAD, сегментацию). Дополнительно решена проблема сборки мусора Python, которая вносила недетерминированные задержки.

#Tech #AI #ASR #VoiceRecognition #TogetherAI #TensorRT #CUDA