HBM은 GPU 옆에 붙는 초고속 메모리이고, DDR5는 CPU 옆에 붙는 범용 D램입니다. HBM과 DDR5, 이 AI 메모리의 두 짝꿍은 역할이 달라서, AI가 답변만 하던 단계에서 직접 일을 처리하는 에이전트 단계로 넘어가면 주목받는 쪽도 달라집니다. 서버용 DDR5 모듈인 RDIMM까지 경제쏙쏙.com이 질문 순서대로 풀어 봅니다.
HBM은 무엇이고 왜 GPU 옆에 붙나요?
HBM(고대역폭 메모리)은 여러 장의 D램 다이를 수직으로 쌓고 실리콘 관통 전극(TSV)으로 연결한 메모리입니다(삼성전자 반도체). 쌓아 올린 덕분에 데이터가 지나가는 길, 즉 대역폭이 크게 넓어집니다.
삼성전자는 HBM4가 스택당 최대 3,300GB/s, HBM4E가 16단 한 스택에서 최대 4TB/s의 대역폭을 낸다고 소개합니다. GPU는 수천 개의 연산을 동시에 처리하므로 데이터를 쉬지 않고 공급하는 메모리가 필요하고, 그 자리를 HBM이 맡습니다. 가장 빠른 만큼 가격도 가장 비쌉니다.
DDR5는 CPU에게 어떤 메모리인가요?
DDR5는 범용 D램의 현재 세대로, 서버와 PC에서 CPU가 지금 처리 중인 작업과 그 맥락을 올려 두는 작업 메모리입니다. 작업 책상에 비유하면 이해하기 쉽습니다.
책상이 좁으면 서류를 서랍에 넣었다 빼는 일이 반복되듯, 작업 메모리가 부족하면 CPU가 빨라도 일이 막힙니다. 운영체제와 프로그램 실행에 쓰이는 메모리가 바로 DDR5입니다.
AI가 직접 일하면 왜 DDR5 수요가 늘어나나요?
AI 에이전트가 실제 작업을 실행하면 CPU가 할 일이 늘고, CPU 옆 작업 메모리인 DDR5도 더 필요해집니다. 지금까지 AI 인프라의 주인공은 질문에 답을 만드는 연산을 맡는 GPU와 HBM이었습니다.
- AI가 대답형에서 실행형으로 바뀝니다.
- 운영체제를 다루고, 프로그램을 조작하고, 큰 작업을 여러 단계로 쪼개는 일은 CPU가 맡습니다.
- 단계별 맥락을 계속 담아 둘 작업 메모리가 필요해집니다.
- CPU에 붙는 범용 D램, 곧 DDR5 수요로 이어집니다.
KB증권은 AI 서버 안의 GPU와 CPU 비율이 과거 1:8에서 현재 1:4로 바뀌었고, 앞으로 1:2~1:1까지 변할 수 있다고 분석했습니다(한국경제, 2026-09-29). 같은 보도에서 CPU용 D램과 낸드의 구조적 수요 증가를 짚었고, “AI 산업의 무게추가 GPU에서 CPU로 확대되고 있다”는 분석도 나왔습니다(한국경제, 2026-09-28).
RDIMM은 일반 DDR5 모듈과 무엇이 다른가요?
RDIMM(Registered DIMM)은 DDR5 칩을 묶은 모듈에 레지스터(RCD) 칩을 더한 서버 전용 제품입니다. 이 칩은 메모리 컨트롤러가 보낸 명령·주소 신호를 D램에 전달하기 전에 한 번 정리(버퍼링)합니다(삼성전자 반도체).
신호 정리 덕분에 신호가 더 안정적이 되고, 메모리 컨트롤러의 전기적 부담이 줄며, 한 모듈에 더 많은 용량을 담을 수 있습니다. 삼성전자는 DDR5 RDIMM이 최대 256GB 용량까지 지원한다고 소개합니다.
대신 RDIMM은 일반 데스크톱과 호환되지 않는 서버 플랫폼 전용입니다. 부품이 더 들어가고 신뢰성 기준도 높아 만들기 어렵고 가격도 비쌉니다. 일반 DDR5 모듈은 CPU와 바로 데이터를 주고받아 가격 부담이 낮고 PC·일반용으로 쓰입니다.
지금 AI 메모리의 병목은 어디인가요?
요즘 AI 인프라에서는 연산 자체보다 데이터를 얼마나 빠르게, 얼마나 적은 전력으로 옮기느냐가 병목으로 꼽힙니다. 칩이 아무리 빨리 계산해도 데이터 이동에서 막히면 전체 성능이 오르지 않습니다. HBM의 넓은 대역폭과 RDIMM의 안정적인 대용량은 모두 이 문제를 풀려는 방향입니다.
고성능 모듈 비중이 늘어날수록 메모리 회사의 수익성도 함께 개선될 수 있다는 분석이 나옵니다. 같은 D램이라도 더 비싸고 만들기 어려운 고부가 제품 비중이 커지면 평균 판매 단가가 오르기 때문입니다. 다만 이는 전망이지 확정된 결과가 아니며, 메모리 가격은 수요·공급 사이클에 따라 크게 출렁일 수 있습니다.
다음에 AI 메모리 뉴스를 볼 때 무엇을 보면 되나요?
기사 속 메모리가 GPU용(HBM)인지, CPU용(DDR5)인지, 서버 모듈(RDIMM)인지부터 구분해 보세요. 'AI 메모리 = HBM'이라는 공식만 쥐고 있으면 지금 움직이는 다른 한쪽을 놓칠 수 있습니다.
출처
- HBM 구조·대역폭: 삼성전자 반도체 https://semiconductor.samsung.com/dram/hbm/
- RDIMM 정의·최대 용량: 삼성전자 반도체 https://semiconductor.samsung.com/dram/module/rdimm/
- KB증권 GPU:CPU 비율 전망: 한국경제 2026-09-29 https://www.hankyung.com/article/2026092907496
- AI 산업 무게추 분석: 한국경제 2026-09-28 https://www.hankyung.com/article/202609289778i
- 고성능 모듈 비중 확대와 수익성 개선 가능성은 업계·증권가 전망이며 확정 사실이 아닙니다.
본 글은 정보 제공 목적이며 투자·재무 자문이 아닙니다. 특정 종목의 매수·매도를 권유하지 않으며, 결정 전 전문가와 상담하세요.
※ 본 콘텐츠는 정보 제공을 목적으로 하며, 투자 권유나 특정 종목·상품의 매매 추천이 아닙니다. 투자에 대한 최종 판단과 책임은 투자자 본인에게 있습니다.