Power of openness - IBM reveals OpenPower

Корпорация IBM сделала архитектуру CPU Power и набор инструкций ISA полностью открытыми.

https://newsroom.ibm.com/2019-08-21-IBM-Demonstrates-Commitment-to-Open-Hardware-Movement

Для этого был создан открытый консорциум OpenPower для объединения производителей, курирующий разработки чипов с данной архитектурой.
Все права и патенты были переданы консорциуму, спецификации на архитектуру и набор инструкций были открыты, патентные отчисления от производства процессоров отменены, также были переданы исходные тексты микрокода прошивок для процессоров.

Консорциум станет частью Linux Foundation в ближайшее время.

https://openpowerfoundation.org/the-next-step-in-the-openpower-foundation-journey/

Такой шаг со стороны IBM усилит конкурентоспособность и увеличит присутствие архитектуры Power в серверном сегменте рынка.

Главной целью IBM стало ускорение инноваций в облачных технологиях с помощью открытого железа.

Power стала первой полностью открытой архитектурой в серверном сегменте.

До этого полностью открытыми и свободными были только архитектуры MIPS и RISC-V, но применение данных архитектур в силу их особенностей и ориентированности ограничивается на данный момент мобильным сегментом рынка, сетевым оборудованием, IoT устройствами, системами с низким энергопотреблением и embedded системами.

#CPU
#OpenSource
#OpenHardware

Finally! Qualcomm delivered Snapdragon X series ARM CPUs for mobile PCs. And looks like it's serious - PC era on Intel and software era for x86-64 is over (7:48), undoubtedly.

https://youtu.be/5poVsIeq3TM

#CPU
#Qualcomm
#Snapdragon

The new Qualcomm Snapdragon X Elite and X Plus chips already supported by Linux kernel, Debian and Fedora distros, the work on CPU support was performed before official release of these chips, many thanks to the Linaro efforts for made such meaningful contribution and brings support of new ARM chips to the Linux world! This will be the huge shifting and game changer in PC platforms!

https://www.youtube.com/watch?v=rEaGyCAS9fY

#CPU
#Linux
#Qualcomm
#Snapdragon

The best local LLM inference setup:
4x Mac Studio (M3 Ultra, 512 GB of unified RAM), 2 TB of UMA RAM with RDMA
EXO 1.0 tooling for clustering, now with tensor parallelism enabled!
RDMA (Remote Direct Memory Access) though Thunderbolt 5 - clustering bottleneck eliminated
MLX inference acceleration (now with RDMA support!)
And... Mac OS 26.2

https://www.youtube.com/watch?v=A0onppIyHEg&t=3m10s

DeepSeek v3.2 8 bit quantization (original training quantization) at 25 tokens per second! Wow!

516 Watts at the peak of power usage!

Downside: cost of 50K USD for hardware. Still better than one or several H100/H200/B200 with limited non unified discrete memory architecture! =)
And such setup will work for way much cheaper Mac Minis (no RDMA yet and Thunderbolt 5, but will be added to new generations of M chips, now available in M4 Pro and higher and M3 Ultra)!

Apple way ahead of all again!

In couple of years this will be a common consumer setup for local LLM inference, using conventional hardware, an APUs from AMD and Intel+NVidia (with integrated CPU+GPU NVLink bus - an upcoming APU architecture), while Apple and NVidia will use Intel Fabs and TSMC fabrication.

The enclaves/TEE for hardware memory encryption will be part of such setups for confidential computing over confidential sensitive data.

#CPU
#GPU
#LLM
#TEE