Alex Cheema - сооснователь EXO Labs поделился расчётами производительности кластеров на базе MacMini
И даже выложил отдельно табличку, где можно сравнить разные варианты с H100.
По скорости запуска DeepSeek V3/R1 получается так:
- NVIDIA H100 (80GB): 37.5/s
- AMD MI300X (192GB): 27.6/s
- Apple M2 Ultra (192GB): 4.16/s (9x медленнее H100)
- Apple M3 Ultra (512GB): 1.56/s (24x медленнее H100)
Экономический эффект возникает на масштабе:
NVIDIA H100: 80GB @ 3TB/s, $25,000, $312.50 per GB
AMD MI300X: 192GB @ 5.3TB/s, $20,000, $104.17 per GB
Apple M3 Ultra: 512GB @ 800GB/s, $9,500, $18.55 per GB
проект exolabs как раз концентрируется на том, чтобы за счёт параллелизма добиться снижения потерь на скорости инференса для крупных моделей.
И тогда можно будет на железо для полной не сжатой версии Дипсика тратить не $1.5 млн, а, например, $80К.
Сейчас скорость порядка 2х токенов в секунду на стандартном распараллеливании, - это нельзя, конечно, использовать. Цель - добить 27 токенов/секунду (скорее получится 15-20 по экспериментам) на этом железе.
В любом случае сравнение производительности может пригодиться для построения домашних сред разработки.
#exolabs #M3Ultra #MacMini #cluster
———
@tsingular
И даже выложил отдельно табличку, где можно сравнить разные варианты с H100.
По скорости запуска DeepSeek V3/R1 получается так:
- NVIDIA H100 (80GB): 37.5/s
- AMD MI300X (192GB): 27.6/s
- Apple M2 Ultra (192GB): 4.16/s (9x медленнее H100)
- Apple M3 Ultra (512GB): 1.56/s (24x медленнее H100)
Экономический эффект возникает на масштабе:
NVIDIA H100: 80GB @ 3TB/s, $25,000, $312.50 per GB
AMD MI300X: 192GB @ 5.3TB/s, $20,000, $104.17 per GB
Apple M3 Ultra: 512GB @ 800GB/s, $9,500, $18.55 per GB
проект exolabs как раз концентрируется на том, чтобы за счёт параллелизма добиться снижения потерь на скорости инференса для крупных моделей.
И тогда можно будет на железо для полной не сжатой версии Дипсика тратить не $1.5 млн, а, например, $80К.
Сейчас скорость порядка 2х токенов в секунду на стандартном распараллеливании, - это нельзя, конечно, использовать. Цель - добить 27 токенов/секунду (скорее получится 15-20 по экспериментам) на этом железе.
В любом случае сравнение производительности может пригодиться для построения домашних сред разработки.
#exolabs #M3Ultra #MacMini #cluster
———
@tsingular
👍9❤5✍5🔥3🤔1🤨1
This media is not supported in your browser
VIEW IN TELEGRAM
Перплексити переизобрели OpenClaw.
Персональный компьютер - это Mac mini с Perplexity Computer, который работает для вас 24/7.
Он персональный, безопасный и работает с вашими файлами, приложениями, почтой, календарем и записной книжкой.
Плюс такой сборки, как мне видится,- меньше ошибок от тысячи вайбкодеров, понятный пользователю продукт и главное,- никакой чехарды с подписками.
У Перплексити уже и ИИ и поиск свои проверенные.
#Perplexity #macmini #PersonalComputer
------
@tsingular
Персональный компьютер - это Mac mini с Perplexity Computer, который работает для вас 24/7.
Он персональный, безопасный и работает с вашими файлами, приложениями, почтой, календарем и записной книжкой.
Плюс такой сборки, как мне видится,- меньше ошибок от тысячи вайбкодеров, понятный пользователю продукт и главное,- никакой чехарды с подписками.
У Перплексити уже и ИИ и поиск свои проверенные.
#Perplexity #macmini #PersonalComputer
------
@tsingular
✍21🔥8🆒4❤2
шиза крепчала.
появились блейды и датацентры на макмини
так выглядит ваш следующий департамент цифровых сотрудников.
#macmini #datacenter
———
@tsingular
появились блейды и датацентры на макмини
так выглядит ваш следующий департамент цифровых сотрудников.
#macmini #datacenter
———
@tsingular
🤔19👀9🔥6🗿4🤣3❤1
Apple выпустили идеальный дом для ИИ агентов: новый Mac mini на M6
Прошло пол года с хайпа по макмини под Крабов и вот Apple выпустила обновление: новый Mac mini на чипах M6 и M5 Pro.
В пресс-релизе так и пишут, что идеально для постоянно включённых агентов.
🔧 Что внутри:
M6: 12-ядерный CPU, самый быстрый одноядерник на рынке, и впервые на Mac mini нейроускорители в каждом GPU-ядре.
Итог: до 4х быстрее AI-производительность против M4, графика и хранилище вдвое быстрее.
Нейродвижок Dual 16-core тоже ускорился вдвое, память от 16 ГБ с пропускной способностью до 170 ГБ/с.
Старшая модель на M5 Pro: до 18 ядер CPU и 20 ядер GPU, 64 ГБ памяти на 307 ГБ/с, для больших локальных моделей и диффузий.
💡 Отдельная фишка для агентных ферм: Thunderbolt 5 позволяет кластеризовать несколько Mac mini в один узел и гонять крупные модели целиком локально.
💼 По сути Apple легализовала целую категорию домашних AI-серверов. Маленькая беззвучная коробка, которая жуёт агентные задачи 24/7 за копейки по электричеству, это ровно то железо, на котором комфортно разместить Гермесы и Крабы с возможностью запуска малых вспомогательных моделей для TTS, OCR, эмбеддинги и т.д, а то и Qwen3.8:27b поднять и работать вообще без интернета.
Предзаказы открыты, в продаже с 22 сентября.
Цены:
M6 от $899
M5 Pro от $1,699
📎 Пресс-релиз: apple.com
#Apple #MacMini #локальныеLLM
———
@tsingular
Прошло пол года с хайпа по макмини под Крабов и вот Apple выпустила обновление: новый Mac mini на чипах M6 и M5 Pro.
В пресс-релизе так и пишут, что идеально для постоянно включённых агентов.
🔧 Что внутри:
M6: 12-ядерный CPU, самый быстрый одноядерник на рынке, и впервые на Mac mini нейроускорители в каждом GPU-ядре.
Итог: до 4х быстрее AI-производительность против M4, графика и хранилище вдвое быстрее.
Нейродвижок Dual 16-core тоже ускорился вдвое, память от 16 ГБ с пропускной способностью до 170 ГБ/с.
Старшая модель на M5 Pro: до 18 ядер CPU и 20 ядер GPU, 64 ГБ памяти на 307 ГБ/с, для больших локальных моделей и диффузий.
💡 Отдельная фишка для агентных ферм: Thunderbolt 5 позволяет кластеризовать несколько Mac mini в один узел и гонять крупные модели целиком локально.
💼 По сути Apple легализовала целую категорию домашних AI-серверов. Маленькая беззвучная коробка, которая жуёт агентные задачи 24/7 за копейки по электричеству, это ровно то железо, на котором комфортно разместить Гермесы и Крабы с возможностью запуска малых вспомогательных моделей для TTS, OCR, эмбеддинги и т.д, а то и Qwen3.8:27b поднять и работать вообще без интернета.
Предзаказы открыты, в продаже с 22 сентября.
Цены:
M6 от $899
M5 Pro от $1,699
📎 Пресс-релиз: apple.com
#Apple #MacMini #локальныеLLM
———
@tsingular
🔥15❤7⚡2