🔧 Wafer, AMD MI355X에서 GLM5.2 모델 성능 및 최적화 결과 공개

1. 처리량 및 워크로드 성능
Wafer는 AMD MI355X GPU에서 GLM5.2 모델을 구동해 20k 입력 / 1k 출력 토큰, 60% 캐시 히트율 워크로드에서 2626 tok/s/node @ 2.4 rps의 집계 처리량을 달성했다. 단일 스트림에서는 10k 입력 / 1.5k 출력 토큰 기준 213 tok/s를 기록했다.

2. 가격 대비 성능
AMD MI355X는 NVIDIA B300 GPU 대비 약 2.75배 저렴한 평균 가격으로, GLM5.2 모델 구동 시 NVIDIA B200 대비 80% 성능을 유지하면서도 2배 이상 저렴한 것으로 확인됐다.

3. 양자화 성능 변화
GLM5.2 모델의 MXFP4 양자화 적용 시 FP8 기준 대비 성능 변화:
- GSM8K: -0.010
- GPQA-Diamond: -0.019
- tau2: +0.015

4. 최적화 작업
- 추론 프레임워크로 sglang 선택 (vLLM, ATOM 중 비교).
- TP4×DP2 구성 전환 시 20k 입력 @ 60% 캐시 워크로드에서 1944 tok/s/node @ 2.0 RPS로 처리량 개선.
- fp4 MoE 커널 튜닝 (model_dim 6144, moe_inter 2048, E=256, topk=8).
- 사전 디코딩 최적화를 위해 sglang ROCm 이미지 및 MTP 헤드 레이어/커널 가드 수정.

결론

AMD MI355X는 GLM5.2 모델에서 NVIDIA 대비 저렴한 가격으로 80% 이상의 성능을 제공하며, MXFP4 양자화 적용 시 성능 변화가 제한적인 것으로 나타났다. 최적화를 위한 프레임워크 선택 및 커널 튜닝 작업이 수행됐다.

출처링크 | 카레채널

이 포스팅은 AI의 도움을 받았습니다. 오역/오류가 있을 수 있으니 중요한 내용은 한 번 더 확인해 주세요.
#AMD #GLM52 #AI추론 #GPU #양자화

Photo: Pexels / Brett Sayles