슈퍼마이크로가 IBM, 엔비디아와 함께 대규모 AI 추론을 겨냥한 KV 캐시 스토리지 솔루션을 내놨다. 이번 솔루션은 슈퍼마이크로의 Petascale 올플래시 스토리지 서버에 IBM Storage Scale 소프트웨어, 엔비디아 Dynamo 추론 소프트웨어, Spectrum-X 이더넷 네트워킹을 결합한 구성이 특징이다.
회사 측은 이 조합을 통해 긴 컨텍스트 구간에서 첫 토큰 생성 시간(TTFT)을 줄이고, GPU 활용률과 처리량, 인프라 확장성을 높일 수 있다고 설명했다. 추론 워크로드가 학습보다 더 중요한 비중을 차지하는 흐름 속에서, 저장 계층을 어떻게 설계하느냐가 AI 운영 효율을 가르는 변수로 떠오르고 있다.
찰스 리앙 슈퍼마이크로 사장 겸 CEO는 “AI 워크로드가 학습에서 추론으로 확대됨에 따라 에이전틱 AI와 긴 컨텍스트 다중 턴 생성형 AI가 특징인 고처리량 추론 워크로드를 구축하는 기업과 네오클라우드 사업자는 병목 현상을 해소해야 GPU 효율을 높일 수 있다”며 “IBM, 엔비디아와 함께 개발한 이번 솔루션은 이 같은 성능상의 장점이 명확하다”고 말했다. 슈퍼마이크로는 프리필과 디코드로 나뉘는 추론 과정에서 이미 계산된 KV 상태를 저장·재사용하는 방식이 중복 연산을 줄이는 데 도움이 된다고 밝혔다.
· · · · · · · · · ·
관련기사
▶ 넷앱·PEAK:AIO 합병, 세계 최고 속도 제타바이트 AI 스토리지 혁신
▶ 이엠텍·MHS, 고성능 AI GPU 서버 냉각 효율 대폭 향상
▶ 에이수스 코리아, OCP 서밋 2026에서 2U 서버에 RTX PRO 6000 GPU 두 개 탑재
· · · · · · · · · ·
스페셜타임스는 AI 기술의 도움을 받아 더 빠르고 다양한 뉴스를 독자에게 전달하기 위해 노력하고 있습니다.