🤩 Чип Jalapeño от OpenAI показал рекордную производительность инференса в первых бенчмарках

На конференции Hot Chips OpenAI впервые раскрыла детали и результаты тестов своего специализированного чипа Jalapeño. В бенчмарке InferenceX от Semianalysis чип показал больше токенов на пользователя и выше пропускную способность на киловатт, чем текущие топовые процессоры для инференса.

Как отметил глава hardware-направления OpenAI Ричард Хо, сравнение проводилось с системой на базе Nvidia Blackwell — и Jalapeño обеспечивает значительно более высокую эффективность на единицу мощности при меньшей задержке. Первые поставки ожидаются в конце 2026 года в очень малых объёмах, а полноценное развёртывание — в 2027-м.

Jalapeño разработан совместно с Broadcom, причём модели OpenAI помогали в проектировании. Платформа рассчитана на несколько поколений: чипы, модели и память будут развиваться согласованно. Архитектура минимизирует задержки на этапах prefill и коммуникации, а состояние модели, включая KV cache, размещается локально — это снижает перемещение данных и ускоряет генерацию ответа.

#Tech #OpenAI #Jalapeño #CPU #Inference #HotChips