This media is not supported in your browser
VIEW IN TELEGRAM
Домашний AI-кластер из любого барахла
Exo - интересная разработка для автоматического создания AI-кластера из повседневных устройств.
Объединяет iPhone, iPad, Android, Mac, Linux в единый мощный GPU кластер.
Поддерживает LLaMA и другие популярные модели.
Оптимально распределяет задачи на основе топологии сети и ресурсов.
Автоматически обнаруживает устройства без ручной настройки.
Предоставляет API, совместимый с ChatGPT, для запуска моделей.
Использует peer-to-peer архитектуру вместо master-worker.
Доступ к моделям через библиотеку exo с использованием peer handles.
Запускает endpoint на http://localhost:8000.
Поддерживает различные движки вывода и стратегии разделения модели по слоям между устройствами.
В примере на видео кластер из:
- iPhone 15 Pro Max
- iPad Pro M4
- Galaxy S24 Ultra
- MacBook Pro M2 and M3 Pro
- 2 x MSI NVIDIA GeForce RTX 4090 SUPRIM
Старое железо теперь не выкидываем.
#Exo #DIY #AICluster
-------
@tsingular
Exo - интересная разработка для автоматического создания AI-кластера из повседневных устройств.
Объединяет iPhone, iPad, Android, Mac, Linux в единый мощный GPU кластер.
Поддерживает LLaMA и другие популярные модели.
Оптимально распределяет задачи на основе топологии сети и ресурсов.
Автоматически обнаруживает устройства без ручной настройки.
Предоставляет API, совместимый с ChatGPT, для запуска моделей.
Использует peer-to-peer архитектуру вместо master-worker.
Доступ к моделям через библиотеку exo с использованием peer handles.
Запускает endpoint на http://localhost:8000.
Поддерживает различные движки вывода и стратегии разделения модели по слоям между устройствами.
В примере на видео кластер из:
- iPhone 15 Pro Max
- iPad Pro M4
- Galaxy S24 Ultra
- MacBook Pro M2 and M3 Pro
- 2 x MSI NVIDIA GeForce RTX 4090 SUPRIM
Старое железо теперь не выкидываем.
#Exo #DIY #AICluster
-------
@tsingular
🔥5
exo: релиз 1.0 рвёт шаблоны
Проект exo, о котором за эти пол-года уже все успели забыть, выпустил версию 1.0 и она наконец-то работает так, как и было задумано, - чем больше устройств в сети,- тем выше скорость инференса.
Раньше обработка велась последовательно и это приводило к тому, что чем больше машин в цепочке, тем ниже была итоговая скорость.
Теперь же модели режутся послойно, на каждую отгружается свой набор слоев и в итоге, - чем больше машин в кластере, тем выше скоростью. Шардинг рулит.
Один момент, - для MoE это работает не так эффективно, - прирост скорости около 15%, но зато для dense моделей, - прирост в разы, - в 3 раза на кластере из 4х машин.
Если кто не слышал про exo раньше, - этот фреймворк позволяет автоматически находить устройства в сети, делит модель на части по доступной памяти каждого гаджета и запускает через OpenAI-совместимый API.
Еще одна новая фишка, - поддержка RDMA через Thunderbolt 5, - это позволяет снизить задержки с 300 до 50 микросекунд.
Очень годный обзор с примерами на Youtube по запуску всего что можно на 4х M3 Ultra 512Gb
#exo #RDMA #Thunderbolt
———
@tsingular
Проект exo, о котором за эти пол-года уже все успели забыть, выпустил версию 1.0 и она наконец-то работает так, как и было задумано, - чем больше устройств в сети,- тем выше скорость инференса.
Раньше обработка велась последовательно и это приводило к тому, что чем больше машин в цепочке, тем ниже была итоговая скорость.
Теперь же модели режутся послойно, на каждую отгружается свой набор слоев и в итоге, - чем больше машин в кластере, тем выше скоростью. Шардинг рулит.
Один момент, - для MoE это работает не так эффективно, - прирост скорости около 15%, но зато для dense моделей, - прирост в разы, - в 3 раза на кластере из 4х машин.
Если кто не слышал про exo раньше, - этот фреймворк позволяет автоматически находить устройства в сети, делит модель на части по доступной памяти каждого гаджета и запускает через OpenAI-совместимый API.
Еще одна новая фишка, - поддержка RDMA через Thunderbolt 5, - это позволяет снизить задержки с 300 до 50 микросекунд.
Очень годный обзор с примерами на Youtube по запуску всего что можно на 4х M3 Ultra 512Gb
#exo #RDMA #Thunderbolt
———
@tsingular
🔥11🎉2🏆2❤1