🖥 SenseCore раскрыла архитектуру Prefill/Decode-кластеров для агентного инференса

На саммите CSDI в Шэньчжэне вице-президент и CTO SenseTime SenseCore Сюань Шаньмин рассказал, как компания перестраивает инференс-инфраструктуру под эпоху агентов: мультиагентные сценарии и длительные автономные задачи резко увеличивают спрос на токены по сравнению с обычными чат-ботами.

Ключевая идея - разделение стадий Prefill и Decode (PD) внутри гетерогенных кластеров масштаба 10 000 GPU в Lingang AIDC. Prefill, требующий вычислений, отдаётся отечественным ускорителям, а Decode, которому нужна высокая пропускная способность памяти, - мощным GPU; стадии обмениваются состоянием через KV Cache по смешанной фабрике 800G/400G/200G. Риск такой схемы - до 30-50 Prefill-нод могут кормить одну Decode-ноду, поэтому SenseCore держит резерв-карт для быстрого failover и динамически меняет роли нод под нагрузкой.

В тесте с тем же числом флагманских GPU, что и в базовой конфигурации, гетерогенное PD-планирование дало примерно пятикратный рост общего throughput токенов. Платформа уже обслуживает около 6 трлн токенов в день, цель - 10 трлн к IV кварталу 2026 года.

🎨 qvabo.studio/tg · картинки и видео

#Tech #SenseTime #SenseCore #Inference #Infrastructure #AI #GPU