⬆️ TensorCast: новый уровень управления тензорами ускоряет ответ LLM до 93,2%

Пекинский университет, StepFun и Пекинский университет почты и телекоммуникаций представили TensorCast — единую программируемую абстракцию для управления жизненным циклом тензоров в инфраструктуре больших языковых моделей. В сценариях с высокой конкурентностью и многоходовыми агентами медианное время до первого токена (TTFT) сокращается до 93,2%, а запуск инстанса модели ускоряется до 228,6 раза.

Проблема: веса, KV Cache и активации «живут» в разрозненных вертикальных стеках — отдельно для загрузки весов, отдельно для миграции кэша, отдельно для чекпойнтов. TensorCast делает тензоры объектами первого класса с независимой идентичностью и программируемым жизненным циклом. Основные операции — размещение, перемещение между узлами, трансформация layout — становятся композируемыми примитивами.

Архитектура разделяет управление и данные: Global Store хранит метаданные кластера, Worker-узлы выполняют операции через RDMA и zero-copy передачу. Например, миграция KV Cache между инстансами, которая обычно требует правок планировщика, KV-бэкенда и движка инференса, в TensorCast описывается простой программой. Интеграция с vLLM и SGLang показала ускорение запуска на Qwen3-235B-A22B в 228,6 раза, сопоставимую с Mooncake производительность и сокращение медианного TTFT на 93,2%. Авторы считают, что управление тензорами между узлами станет ключевой задачей инфраструктуры нового поколения для агентов и многоходовых рассуждений.

#AI #TensorCast #LLM #Tech #PKU #StepFun #Infrastructure