[후속] 삼성 zHBM, 초당 1000토큰 가능할까요
AI 챗봇의 답변이 흘러나오는 속도를 10배로 끌어올릴 수 있을까요. 삼성전자가 그 해법으로 ‘AI 가속기 위에 메모리를 직접 쌓는’ 구조를 다시 꺼내 들었고, 이번엔 목표 수치까지 붙였어요. 16일(현지시간) 미국 캘리포니아주 샌타클래라 컨벤션센터에서 열린 ‘AI 인프라 서밋’ 기조연설에서 나온 이야기입니다. 연사는 김인동 삼성전자 미주총괄법인(DSA) 메모리 상품기획 담당 상무였어요. 김 상무는 “현재 대화형 AI 시스템의 응답 속도는 이용자당 … 더 읽기