BofA) Hot Chips: 메모리가 중심에 서다, 비트당 가치와 장비 강도의 상승 (26.08.24)

Hot Chips 2026의 핵심 메시지는 이제 AI 시스템의 결정적 제약이 컴퓨트가 아니라 메모리라는 점입니다. 컴퓨트 성능은 2년마다 약 3배씩 확장되는 반면 HBM 대역폭은 2배 미만으로 확장되는 '메모리 월'이 심화되고 있으며, 삼성과 하이닉스는 HBM4부터 베이스 다이를 수동적 라우팅 역할에서 SoC와 유사한 코프로세서로 진화시키는 첨단 로직 베이스 다이 기반의 '커스텀 HBM'으로 전환하고 있습니다(마이크론은 한 세대 늦은 HBM4e부터). BofA는 핵심 HBM 수요 논리가 유지되는 가운데 3D 적층 DRAM-on-logic 구조인 'zHBM'이 2030년대의 궁극적 아키텍처가 될 것으로 보며, HBF와 logic-on-memory는 중장기 HBM 보완재이자 TAM 확대 요인으로, 하이브리드 본딩과 TSV 등 첨단 패키징이 핵심 조력자가 될 것으로 전망합니다. 결론적으로 메모리(마이크론)는 비트당 가치 상승의 수혜를, 반도체 장비주는 장비 강도 상승의 수혜를 입을 것으로 판단합니다.

HBM 시장은 2026년 약 770억 달러에서 2030년 약 2,800억 달러로 연평균 38% 성장이 예상됩니다. HBM의 실리콘 소모량(트레이드 비율)은 동일 용량 DDR5 대비 HBM3/3e에서 약 3배였던 것이 HBM4e에서 4배로 확대되어 DRAM 공급을 구조적으로 타이트하게 유지하고, 메모리 월 확대로 세대마다 XPU당 HBM 탑재량이 늘어납니다. HBM5 이후(2031-32년 이후)에는 2.5D 인터포저와 SerDes를 제거한 zHBM 구조로 진화하며 HBM의 로드맵과 가치가 3D 시대로 연장될 것으로 봅니다. 삼성이 제시한 3단계 로드맵은 1단계에서 PHY를 컴팩트한 D2D 인터페이스로 교체하고 메모리 컨트롤러를 베이스 다이로 오프로드해 GPU 실리콘을 확보하고, 2단계(aHBM)에서 RAS 텔레메트리와 프로세싱 엘리먼트 등을 베이스 다이에 통합하며, 3단계(zHBM)에서 웨이퍼 온 웨이퍼와 하이브리드 커퍼 본딩으로 XPU와 코어 다이 스택을 수직 통합해 I/O 전력을 약 70% 절감하는 것입니다. 삼성은 zHBM으로 GPU 1개와 HBM 4개 구성 기준 I/O 전력 효율 약 70% 개선, DRAM 대역폭 130% 증가, 시스템 전력 약 100W 절감을 제시했으며, 유사 개념의 zNAND-O(로직 다이 위에 Z-NAND 4-8층을 웨이퍼 본딩으로 적층)도 발표했습니다.

'비욘드 HBM' 경로로는 두 가지가 제시되었습니다. 첫째, HBF(고대역폭 플래시)는 NAND를 HBM 방식 패키지로 적층한 것으로 유사한 비용에 HBM 대비 8-16배 용량을 제공하되 대역폭은 훨씬 낮아 MoE 가중치와 장문 컨텍스트 KV 캐시를 타깃으로 합니다. 샌디스크는 8월 13일 애널리스트 데이에서 첫 HBF 다이 테이프아웃 완료와 2027년 추론 샘플, 2028년 양산 가능성을 제시했습니다. 둘째, d-Matrix가 공개한 Raptor는 logic-on-DRAM 방식의 3D DRAM 추론 가속기로, HBM 에너지의 약 10% 수준에서 SRAM급 대역폭을 구현하며 36미크론 피치의 직접 본딩으로 인터포저를 제거해 비트당 0.37피코줄(HBM4의 2.4 대비 6-7배 에너지 우위)과 단일 메모리 레이어에서 100TB/s 대역폭을 달성한다고 주장합니다. BofA는 두 기술 모두 HBM의 대체재가 아닌 보완재로, 니치·테일 워크로드를 겨냥하며 훈련이나 고밀도 추론이라는 HBM의 영역을 위협하지 않는 옵션 성격이라고 평가합니다.

장비 관점에서는 아키텍처 방향과 무관하게 WFE 강도가 상승할 것으로 봅니다. 램리서치(LRCX)는 TSV 형성(실리콘 에칭)과 구리 전기도금 리더십으로 현 HBM 로드맵은 물론 HBF와 d-Matrix의 3D DRAM에서도 가장 큰 수혜가 예상됩니다. 어플라이드 머티어리얼즈(AMAT)는 20단 이상 스택에서 마이크로범프를 대체하는 하이브리드 본딩 국면에서 본딩 유전체 증착과 CMP 경쟁력, BESI와의 다이 투 웨이퍼 하이브리드 본더 공동 개발로 최적 포지션에 있으나, 삼성 방식의 웨이퍼 투 웨이퍼 본딩이 확산될 경우 별도 툴셋이 필요할 수 있습니다. KLA(KLAC)는 적층 단수 증가에 따른 수율 문제 복합화로 DRAM 공정 제어 강도가 높아지고, 과거 공정 제어 수요가 미미했던 NAND에서도 HBF로 레이어별 검사가 요구되면서 지갑 점유율 확대 기회를 얻을 것으로 전망됩니다.