AI 챗봇의 답변이 흘러나오는 속도를 10배로 끌어올릴 수 있을까요. 삼성전자가 그 해법으로 ‘AI 가속기 위에 메모리를 직접 쌓는’ 구조를 다시 꺼내 들었고, 이번엔 목표 수치까지 붙였어요. 16일(현지시간) 미국 캘리포니아주 샌타클래라 컨벤션센터에서 열린 ‘AI 인프라 서밋’ 기조연설에서 나온 이야기입니다.
연사는 김인동 삼성전자 미주총괄법인(DSA) 메모리 상품기획 담당 상무였어요. 김 상무는 “현재 대화형 AI 시스템의 응답 속도는 이용자당 초당 100토큰 수준에 머물러 있다”며 “향후 에이전트형 AI 시대에 대응하기 위해 이를 초당 1000토큰 수준으로 10배 끌어올리는 양자 도약을 목표로 하고 있다”고 밝혔습니다.
2.5D에서 3D로, 무엇이 달라지나
병목은 메모리가 놓이는 자리입니다. 지금 산업계는 고대역폭 메모리(HBM)를 AI 가속기 ‘옆에’ 평면으로 나란히 붙이는 2.5D 패키징을 주로 씁니다. 데이터가 오갈 거리와 통로가 한정적이라 지연이 생기거든요. 삼성전자가 제시한 zHBM은 HBM을 가속기 ‘위에’ 수직으로 얹는 3차원 구조예요. 김 상무는 이 구조를 “호텔 객실 내부에서 1층 로비로 직행하는 전용 엘리베이터를 별도로 설치하는 것”에 비유했습니다.
숫자도 구체적입니다. zHBM은 HBM5와 비교해 최대 8배 성능과 3배 이상의 전력 효율을 목표로 잡았어요. 응답 속도는 초당 100토큰에서 1000토큰으로 10배 끌어올리는 게 목표죠. 함께 공개한 낸드플래시 기반 3차원 저장장치 ‘z낸드-O’는 매개변수 1조 개 규모 AI를 D램만으로 구성할 때보다 6분의 1 비용으로 구현할 수 있다는 설명입니다. 김 상무는 “2030년이 되면 AI 워크스테이션 같은 환경에서도 파라미터 1조 개 수준의 거대 AI를 자체 구동하는 사례가 보편화할 것”이라고 내다봤어요.
다음 관문은 열과 공동 설계
이번 발표는 로드맵을 실행 이야기로 옮긴 신호예요. 삼성전자는 8월 미국 콘퍼런스에서 1세대 zHBM 사양을 정의 중이라고 밝혔고, 9월 초 대만 세미콘 타이완에서는 HBM4E 대비 성능 8배라는 목표치를 제시했죠. 남은 숙제는 열입니다. 메모리를 가속기 위에 얹으면 발열이 위로 전달되기 때문에, 삼성전자는 가속기 고객사와 초기 제품 설계 단계부터 맞춤형으로 협력하는 공동 설계로 대응하겠다는 방침을 밝혔어요.
업계에서는 같은 시기 오픈AI와 인텔이 “CXL로는 HBM을 대체하기 어렵다”는 입장을 내놓은 점을 함께 보고 있어요. 추론용 메모리 경쟁의 축이 세대 교체가 아니라 구조 변경으로 옮겨가고 있다는 뜻이거든요. z낸드-O는 2028년부터 고객사 대상 샘플 공급이 시작됩니다. 삼성전자는 HBM4 양산과 HBM4E 샘플 공급, 1c 코어다이와 2나노 베이스다이를 적용한 HBM5 아키텍처까지 로드맵을 확보하고 있다고 설명했어요.
이 발표가 우리 산업에 어떤 의미인지 짚어보면요, zHBM은 메모리를 더 많이 쌓는 경쟁이 아니라 데이터가 지나는 길 자체를 다시 설계하는 경쟁이라는 점이 핵심이에요. 지금까지 HBM 경쟁이 몇 단을 쌓아 얼마나 많은 비트를 넣느냐의 문제였다면, zHBM은 가속기와 메모리를 한 덩어리로 묶어 시스템 설계의 출발점을 메모리 쪽으로 옮기는 시도거든요. 부품을 납품하는 관계가 아니라 구조를 함께 정하는 관계로 가겠다는 이야기니까요. 이번 변화는 한국 메모리 반도체의 경쟁 축이 ‘얼마나 쌓느냐’에서 ‘데이터가 어디를 지나가느냐’로 이동하고 있다는 신호로 읽혀요.
다음 확인 지점은 2028년 z낸드-O 샘플 공급과 zHBM 1세대 사양 확정 시점입니다. 초당 1000토큰이라는 목표가 실제 양산 제품에서 어디까지 구현되는지, 가속기 고객사가 이 구조를 얼마나 빨리 받아들이는지가 관건이겠죠.
- 원문: 전자신문 — “초당 1000토큰 시대 연다”…삼성전자, zHBM으로 AI 반도체 혁신
- 보조 출처: 연합뉴스 — 삼성전자 “zHBM으로 초당 1천토큰 연다…AI에이전트 메모리승부”
- 작성: sw4u 9시뉴스 안나영 / 2026-09-17 09:06