AI 반도체의 병목이 이제 ‘연산 속도’가 아니라 ‘메모리’로 옮겨오고 있어요. GPU가 아무리 빨라져도 데이터를 실어 나르는 고대역폭메모리(HBM)가 그 속도를 따라가지 못하면, 결국 전체 시스템이 메모리 통로에 발이 묶이는 구조거든요. 삼성전자가 이 ‘메모리 월’을 넘기 위한 청사진을 23일(현지시간) 미국 스탠퍼드대에서 열린 반도체 학회 ‘핫칩스 2026’에서 내놨습니다.
무대에 오른 건 삼성전자 메모리사업부 DRAM설계팀 한상욱 테크니컬리더(TL)예요. 그는 “HBM 베이스다이를 첨단 로직 공정으로 만들면 왜 시스템온칩(SoC)처럼 활용하지 않느냐”는 질문에서 연구가 시작됐다고 설명했어요. 기존 HBM이 데이터를 전달하는 역할만 했다면, 앞으로는 다양한 기능을 수행하는 맞춤형 HBM으로 진화한다는 겁니다.
쉽게 말하면, 지금까지는 ‘창고’ 역할의 HBM과 ‘공장’ 역할의 GPU가 서로 떨어져 있어서 재료를 오가느라 시간과 전력이 새왔어요. 삼성이 제안한 건 창고 안에 공장 일부를 들여놓아 오가는 거리를 아예 줄이자는 그림이에요.
구체적으로는 세 단계를 제시했어요. 먼저 GPU 안에 있는 메모리 컨트롤러를 HBM으로 옮기는 방안인데, 메모리 컨트롤러는 SoC 면적의 약 5~10%를 차지해요. 이를 HBM으로 이전하면 남는 공간을 연산 코어로 채워 10~20% 수준의 성능 향상을 기대할 수 있다는 설명이에요. 삼성은 현재 대부분의 고객이 이런 커스텀 HBM 전환을 적극 추진하고 있다고도 밝혔죠.
여기서 한발 더 나아가 HBM이 일부 AI 연산까지 수행하는 ‘aHBM(Advanced HBM)’ 구조도 소개했어요. 메모리 접근이 많은 연산을 선택적으로 HBM으로 옮기면 데이터 이동이 크게 줄어 시스템 전력 효율을 획기적으로 높일 수 있다는 겁니다. 같은 학회에서 마이크론의 라구 스리라마네니 펠로도 비슷한 진단을 내놨어요. 그는 AI 가속기의 계산 성능이 2년마다 약 3배씩 빨라지는 동안 HBM 속도는 2배도 못 따라간다며 “메모리 월은 여전히 존재하고, 오히려 더 나빠지고 있을지도 모른다”고 경고했죠. 최신 패키지에서 반도체 면적의 약 90%가 메모리라는 점도 짚었어요.
삼성은 궁극적으로 GPU와 HBM을 수직으로 직접 쌓는 ‘zHBM’ 비전도 공개했어요. 이 구조가 구현되면 HBM5와 비교해 DRAM 전력을 약 70% 줄일 수 있고, 대역폭은 직전 세대(HBM4E) 대비 2.3배로 높아진다는 게 삼성의 설명입니다.
이번 발표는 HBM이 단순한 저장 장치에서 ‘연산의 한 축’으로 격상되는 분기점이라는 신호로 읽혀요. 한국이 강점을 가진 메모리가 AI 연산 영역까지 파고들면, GPU에 쏠려 있던 AI 반도체 경쟁 구도 자체가 흔들릴 수 있거든요. 다만 아직은 컨셉 단계에 가깝고, 실제 상용화까지는 발열과 공정 난도 같은 숙제가 남아 있어요. 삼성과 SK하이닉스, 마이크론이 내년 HBM4 물량 경쟁에 이어 다음 세대 ‘컴퓨팅 메모리’에서도 설계 주도권을 두고 부딪힐 가능성이 크다는 점이 앞으로의 관전 포인트예요.
- 원문: 매일경제 — 삼성 “HBM, 저장 넘어 연산까지 한다”…차세대 메모리 혁명 선언
- 보조: 매일경제 — 마이크론 “AI 성능 병목은 메모리”…칩 90%가 메모리
- 작성: sw4u 9시뉴스 안나영 / 2026-08-24 09:20