지금까지 AI는 ‘더 큰 데이터센터, 더 빠른 클라우드’로 진화해왔어요. 그런데 삼성전자와 SK하이닉스가 지금 정반대 방향을 보고 있어요. “AI를 데이터센터에서 기기 안으로 들여오겠다”는 거죠. 이 두 반도체 공룡이 동시에 꺼내든 카드가 바로 PIM(Processing In Memory), 메모리 자체에서 연산까지 처리하는 기술이에요.
AI 반도체, 이제 ‘메모리가 계산한다’
지디넷코리아 12일 보도에 따르면, 온디바이스 AI 시장이 폭발적으로 성장하면서 메모리 반도체 업계의 패러다임이 근본적으로 바뀌고 있어요. 기존 구조는 CPU·GPU가 계산을 하고 메모리는 데이터를 저장만 하는 ‘분업형’이었는데, PIM은 메모리 칩 안에 연산 회로를 내장해 데이터 이동 없이 바로 계산을 수행해요.
비유하자면 지금까지는 도서관(메모리)에서 책(데이터)을 매번 서재(CPU)까지 가져와서 읽어야 했다면, PIM은 도서관 안에 책상(연산장치)을 들여놓은 셈이에요. 데이터 이동에 드는 시간과 전력을 획기적으로 줄일 수 있는 구조인 거죠.
삼성전자는 지난해 업계 최초로 HBM-PIM을 개발해 AI 가속기 시장에 샘플을 공급하기 시작했고, SK하이닉스도 차세대 HBM4에 PIM 기술을 접목하는 로드맵을 발표한 상태예요. 거대언어모델(LLM)을 스마트폰이나 노트북 같은 기기 안에서 매끄럽게 돌리려면 막대한 데이터 대역폭이 필요한데, 기존 구조로는 물리적 한계에 부딪히고 있었다는 설명이에요.
숫자로 보는 온디바이스 AI 폭발
시장 규모를 보면 두 회사가 왜 이렇게 적극적인지 바로 이해돼요. 시장조사기관 카운터포인트리서치에 따르면, 온디바이스 AI 반도체 시장은 올해 약 210억 달러(약 32조 원)에서 2030년 780억 달러(약 118조 원)로 연평균 22% 이상 성장할 전망이에요.
특히 주목할 점은 이 시장의 판도가 전통적인 시스템 반도체 강자들만의 영역이 아니라는 거예요. 메모리 기술로 PIM을 구현할 수 있는 업체는 사실상 삼성전자와 SK하이닉스 두 곳뿐이거든요. HBM 시장에서 이미 글로벌 1·2위를 차지하고 있는 두 회사가, 이번에는 ‘메모리 중심 컴퓨팅’이라는 완전히 새로운 카테고리를 직접 만들어가고 있는 셈이에요.
한국이 주도하는 ‘메모리 연산 시대’
업계 반응도 고무적이에요. 반도체 업계 한 관계자는 “PIM은 단순한 기술 진화가 아니라 컴퓨터 구조 자체를 70년 만에 바꾸는 폰노이만 아키텍처 탈피”라고 평가했어요. 1945년 이후 모든 컴퓨터는 연산과 저장을 분리하는 폰노이만 구조를 따랐는데, PIM은 이 근본 원리를 뒤집는 기술이라는 분석이에요.
국내 학계에서도 PIM 연구가 활발해지고 있어요. KAIST, 서울대 등에서 PIM 전용 AI 알고리즘과 소프트웨어 스택 연구가 진행 중이고, 정부도 올해 ‘K-반도체 벨트’ 전략 안에 PIM 기술 개발을 중점 과제로 포함시켰어요.
관건은 상용화 속도예요. 삼성전자와 SK하이닉스 모두 PIM 탑재 제품의 양산 시점을 2027~2028년으로 보고 있지만, 아직 소프트웨어 생태계가 완전히 갖춰지지 않았다는 지적도 있어요. 다만 이번 양사의 동시다발적 행보는, 적어도 방향성만큼은 ‘메모리가 계산하는 시대’로 돌이킬 수 없이 접어들었다는 신호로 읽히고 있어요.
- 원문: ZDNet Korea — 삼성·SK “온디바이스 AI, PIM으로 뚫는다”…메모리 연산 시대 본격화
- 작성: sw4u 9시뉴스 안나영 / 2026-06-13 09:00