#메모리 #HBM #HBF

AI 모델이 발전하면서 연산 속도를 받쳐줄 반도체도 성능 향상이 필요해진 가운데 앞으로는 GPU가 아닌 메모리가 반도체 발전을 주도할 것이라는 게 김 교수의 생각이다.

현재 GPU와 HBM이 나란히 붙은 ‘GPU-HBM’의 AI 반도체 구조에서 HBF를 추가로 연결한 ‘GPU-HBM-HBF’ 구조로 확장하면 HBF가 HBM를 보조해 데이터 용량 한계를 극복할 수 있다고 김 교수는 설명했다.

김 교수는 “이같은 AI 반도체 구조상 HBM을 잘하는 기업이 HBF도 잘 만들 수 있다”며 “다시 말해 삼성전자와 SK하이닉스가 HBM 경쟁력을 토대로 HBF 시장도 주도할 것으로 기대한다”고 했다. 양사는 내년 공개를 목표로 HBF 기술을 개발 중이다.

#HBF
회사는 이 실험에서 엔비디아 최신 GPU인 블랙웰(B200) 칩 옆에 8개의 5세대 HBM(HBM3E)과 8개의 HBF를 놓았다. 이렇게 했더니 전력 대비 연산 성능이 HBM만 있을 때보다 2.69배 개선될 수 있다는 실험 결과를 얻었다.

특히 H3는 최근 AI 업계에서 주목받는 '추론' 영역에서 상당히 유리하다. 추론은 AI가 스스로 생각하고 판단하는 것이다. 추론의 핵심은 KV 캐시다. AI 서비스가 사용자와 대화할 때 대화의 흐름과 '맥락'을 찾기 위해 잠깐씩 저장해놓는 데이터다. 하지만 AI 성능이 고도화하면서 KV캐시의 용량이 HBM과 GPU가 감당하기 힘들만큼 커지고 있어, 연산 능력을 저하시킬 수 있다는 게 문제다.

https://n.news.naver.com/mnews/article/015/0005249716?sid=105