Alex Cheema - сооснователь EXO Labs поделился расчётами производительности кластеров на базе MacMini
И даже выложил отдельно табличку, где можно сравнить разные варианты с H100.

По скорости запуска DeepSeek V3/R1 получается так:
- NVIDIA H100 (80GB): 37.5/s
- AMD MI300X (192GB): 27.6/s
- Apple M2 Ultra (192GB): 4.16/s (9x медленнее H100)
- Apple M3 Ultra (512GB): 1.56/s (24x медленнее H100)

Экономический эффект возникает на масштабе:
NVIDIA H100: 80GB @ 3TB/s, $25,000, $312.50 per GB
AMD MI300X: 192GB @ 5.3TB/s, $20,000, $104.17 per GB
Apple M3 Ultra: 512GB @ 800GB/s, $9,500, $18.55 per GB

проект exolabs как раз концентрируется на том, чтобы за счёт параллелизма добиться снижения потерь на скорости инференса для крупных моделей.

И тогда можно будет на железо для полной не сжатой версии Дипсика тратить не $1.5 млн, а, например, $80К.
Сейчас скорость порядка 2х токенов в секунду на стандартном распараллеливании, - это нельзя, конечно, использовать. Цель - добить 27 токенов/секунду (скорее получится 15-20 по экспериментам) на этом железе.

В любом случае сравнение производительности может пригодиться для построения домашних сред разработки.

#exolabs #M3Ultra #MacMini #cluster
———
@tsingular