Forwarded from 제이지의 투자이야기
#AI #중동 #엔비디아 #HBM #LLM
사우디아라비아와 UAE, 엔비디아 칩을 사기 위해 경쟁 중(FT)
- 사우디와 UAE는 AI 소프트웨어를 구축하는 데 중요한 고성능 엔비디아 칩 수천 개를 사들여 글로벌 AI 군비 경쟁에 합류하고 있음
- 사우디는 공공 연구 기관인 킹 압둘라 과학 기술 대학(카우스트)을 통해 4만 달러짜리 프로세서인 엔비디아의 H100 칩을 최소 3,000개 이상 구매했다고 알려짐
- UAE는 수천 개의 엔비디아 칩에 대한 접근성 확보, 이미 아부다비 마스다르시의 국영 기술 혁신 연구소에서 Falcon이라고 알려진 자체 오픈 소스 대형 언어 모델을 개발
- UAE는 자체 계산 능력과 재능을 소유하고 통제, 자체 플랫폼을 가지고 중국이나 미국에 의존하지 않기를 원하는 결정을 내림
- 지난 주 FT는 텐센트와 알리바바와 같은 중국의 선도적인 기술 그룹이 엔비디아의 고성능 칩을 구매하려 한다고 보도
- 가장 진보된 LLM은 마이크로소프트가 지원하는 OpenAI와 구글을 포함 미국 회사가 소유 중, 이 그룹들은 엔비디아의 H100과 A100 칩의 주요 구매자
- 엔비디아와 대만 반도체 제조회사에 가까운 소식통에 따르면 2023년에 H100 칩 약 55만개를 전 세계에 출하할 것으로 알려짐
- 사우디는 2023년 말까지 총 1억 2천만 달러 상당의 전문 칩 3,000개를 공급받을 예정
- 이에 비해 OpenAI는 엔비디아의 최신 칩 전신인 A100 칩 1,024개를 사용하여 한 달여 만에 고급 GPT-3 모델을 훈련한 것으로 추정
- 카우스트에 가까운 소식통에 따르면 최소 200대의 A100도 소유하고 있는 이 대학교는 올해 가동될 슈퍼 컴퓨터 샤힌 III를 제작 중, 이 기계는 최첨단 인공지능 응용 프로그램을 위해 설계된 그레이스 호퍼 칩(GH100 추정) 700개를 작동시킬 것으로 알려짐
- 이 칩을 사용하여 OpenAI의 GPT-4와 유사한 인간과 같은 텍스트, 이미지 및 코드를 생성할 수 있는 소프트웨어인 자체 대형 언어 모델을 구축할 예정
- 사우디 LLM은 주로 중국 연구원이 근무하는 카우스트의 Provable Respnsible AI 및 Data Analytics 연구소에서 개발 중
- AI 전문 지식을 가진 많은 중국인들이 미국 기업 명단에 있는 중국 대학을 졸업한 후 미국에서 공부하고 일하는 것을 막았기 때문에 카우스트에서 일하기로 선택
- UAE는 2017년 국가 최초로 AI 부처를 설립, 기술의 부정적 사용을 제한하기 위한 규제 프레임워크의 일환, '세대 AI 가이드'를 출시함
- UAE의 Falcon 모델은 올해 초 두 달에 걸쳐 384개의 A100 칩에 대한 교육을 받음. UAE 정부는 더 많은 LLM 관련 애플리케이션과 클라우드 서비스를 준비하기 위해 엔비디아 칩을 새로 구입
사우디아라비아와 UAE, 엔비디아 칩을 사기 위해 경쟁 중(FT)
- 사우디와 UAE는 AI 소프트웨어를 구축하는 데 중요한 고성능 엔비디아 칩 수천 개를 사들여 글로벌 AI 군비 경쟁에 합류하고 있음
- 사우디는 공공 연구 기관인 킹 압둘라 과학 기술 대학(카우스트)을 통해 4만 달러짜리 프로세서인 엔비디아의 H100 칩을 최소 3,000개 이상 구매했다고 알려짐
- UAE는 수천 개의 엔비디아 칩에 대한 접근성 확보, 이미 아부다비 마스다르시의 국영 기술 혁신 연구소에서 Falcon이라고 알려진 자체 오픈 소스 대형 언어 모델을 개발
- UAE는 자체 계산 능력과 재능을 소유하고 통제, 자체 플랫폼을 가지고 중국이나 미국에 의존하지 않기를 원하는 결정을 내림
- 지난 주 FT는 텐센트와 알리바바와 같은 중국의 선도적인 기술 그룹이 엔비디아의 고성능 칩을 구매하려 한다고 보도
- 가장 진보된 LLM은 마이크로소프트가 지원하는 OpenAI와 구글을 포함 미국 회사가 소유 중, 이 그룹들은 엔비디아의 H100과 A100 칩의 주요 구매자
- 엔비디아와 대만 반도체 제조회사에 가까운 소식통에 따르면 2023년에 H100 칩 약 55만개를 전 세계에 출하할 것으로 알려짐
- 사우디는 2023년 말까지 총 1억 2천만 달러 상당의 전문 칩 3,000개를 공급받을 예정
- 이에 비해 OpenAI는 엔비디아의 최신 칩 전신인 A100 칩 1,024개를 사용하여 한 달여 만에 고급 GPT-3 모델을 훈련한 것으로 추정
- 카우스트에 가까운 소식통에 따르면 최소 200대의 A100도 소유하고 있는 이 대학교는 올해 가동될 슈퍼 컴퓨터 샤힌 III를 제작 중, 이 기계는 최첨단 인공지능 응용 프로그램을 위해 설계된 그레이스 호퍼 칩(GH100 추정) 700개를 작동시킬 것으로 알려짐
- 이 칩을 사용하여 OpenAI의 GPT-4와 유사한 인간과 같은 텍스트, 이미지 및 코드를 생성할 수 있는 소프트웨어인 자체 대형 언어 모델을 구축할 예정
- 사우디 LLM은 주로 중국 연구원이 근무하는 카우스트의 Provable Respnsible AI 및 Data Analytics 연구소에서 개발 중
- AI 전문 지식을 가진 많은 중국인들이 미국 기업 명단에 있는 중국 대학을 졸업한 후 미국에서 공부하고 일하는 것을 막았기 때문에 카우스트에서 일하기로 선택
- UAE는 2017년 국가 최초로 AI 부처를 설립, 기술의 부정적 사용을 제한하기 위한 규제 프레임워크의 일환, '세대 AI 가이드'를 출시함
- UAE의 Falcon 모델은 올해 초 두 달에 걸쳐 384개의 A100 칩에 대한 교육을 받음. UAE 정부는 더 많은 LLM 관련 애플리케이션과 클라우드 서비스를 준비하기 위해 엔비디아 칩을 새로 구입
👍6
Forwarded from 프리라이프
[LLM의 메모리 구조 확장 → NAND 수요 급증]
◦ LLM이 장·단기 메모리 기능을 강화하면서 외부 저장소(SSD·NAND)의 중요성이 급상승
• 기존 모델은 세션 내 정보만 처리했으나, 메모리 통합 → 장기적 데이터 저장·검색 필요성 확대.
• 개인화·지속학습·멀티모달 처리 확산 → 비휘발성 메모리(NAND SSD) 수요 급등.
◦ 메모리 구조 발전이 스토리지 수요로 직결
• 파라메트릭 + 논파라메트릭 병행 구조 → 외부 DB·벡터 저장소 필수화.
• RAG·에이전트형 LLM → 대용량 벡터DB 및 로그 저장 → SSD 채택 확대.
• 자동 망각·지속학습 기능 → 체크포인트·요약 데이터 지속 저장 → 고용량 NAND 필요.
◦ 데이터센터 및 산업적 영향
• 핫티어(캐시) → 고성능 TLC SSD,
웜·콜드티어(장기 메모리) → 대용량 QLC SSD 중심으로 확장.
• 개인화 AI·산업 분석형 LLM 도입 확산 → SSD 인프라 투자가 구조적 성장 요인으로 작용.
◦ 투자 및 기술 시사점
• HBM/DRAM은 연산 속도 담당 ↔ NAND는 장기 기억 담당 → 상호보완적 성장 구조.
• QLC/TLC SSD 수요 동반 확대로 글로벌 NAND 시장의 구조적 수요 증가 전망.
#LLM #메모리
◦ LLM이 장·단기 메모리 기능을 강화하면서 외부 저장소(SSD·NAND)의 중요성이 급상승
• 기존 모델은 세션 내 정보만 처리했으나, 메모리 통합 → 장기적 데이터 저장·검색 필요성 확대.
• 개인화·지속학습·멀티모달 처리 확산 → 비휘발성 메모리(NAND SSD) 수요 급등.
◦ 메모리 구조 발전이 스토리지 수요로 직결
• 파라메트릭 + 논파라메트릭 병행 구조 → 외부 DB·벡터 저장소 필수화.
• RAG·에이전트형 LLM → 대용량 벡터DB 및 로그 저장 → SSD 채택 확대.
• 자동 망각·지속학습 기능 → 체크포인트·요약 데이터 지속 저장 → 고용량 NAND 필요.
◦ 데이터센터 및 산업적 영향
• 핫티어(캐시) → 고성능 TLC SSD,
웜·콜드티어(장기 메모리) → 대용량 QLC SSD 중심으로 확장.
• 개인화 AI·산업 분석형 LLM 도입 확산 → SSD 인프라 투자가 구조적 성장 요인으로 작용.
◦ 투자 및 기술 시사점
• HBM/DRAM은 연산 속도 담당 ↔ NAND는 장기 기억 담당 → 상호보완적 성장 구조.
• QLC/TLC SSD 수요 동반 확대로 글로벌 NAND 시장의 구조적 수요 증가 전망.
#LLM #메모리
❤3