매니코어소프트의 직접액체냉각 AI 서버 ‘DeepGadget dg5W’가 국제 AI 성능평가 MLPerf Inference v6.1에 이름을 올렸다. 회사는 PCIe 카드형 GPU 4장을 직접액체냉각한 서버가 MLPerf Inference에 등재된 것은 글로벌 제조사를 포함해 처음이며, 국산 서버의 액체냉각 등재도 첫 사례라고 밝혔다.
이번 평가는 엔비디아, 구글, 마이크로소프트 애저, AMD, 인텔, 델, HPE, 시스코 등이 참여하는 MLCommons 기준에 따라 진행됐다. dg5W는 메타의 언어모델 Llama 3.1 8B 평가에서 1초에 약 2만4500개의 토큰을 처리했고, 실서비스 조건인 Server 부문에서는 같은 평가에 제출된 가속기 4장 시스템 6종 가운데 1위를 기록했다. 동일 GPU를 탑재한 글로벌 제조사 서버보다 높은 수치를 낸 점도 눈에 띈다.
기술적으로는 냉각 방식이 성능 유지에 영향을 준 것으로 보인다. GPU는 발열이 큰 부품인 만큼, 직접액체냉각을 적용해도 처리량을 안정적으로 유지할 수 있는지가 관건인데 dg5W는 Server 조건에서 최대 성능의 99.99%를 유지했다. 공개 벤치마크에서 국산 서버가 글로벌 제조사 제품과 같은 기준으로 비교돼 결과를 남겼다는 점에서, 향후 국내 AI 인프라의 성능 검증 경쟁은 더 치열해질 것으로 보인다.
평가는 과학기술정보통신부와 정보통신산업진흥원(NIPA)이 지원하는 사업의 일환으로 한국정보통신기술협회(TTA)와 공동 수행했다. dg5W는 Closed Division·Datacenter·Available 부문에 제출됐으며, Offline 처리량은 초당 2만4511.8토큰, Server 조건의 99% 기준 지연시간은 TTFT 약 1.51초, TPOT 약 85ms로 집계됐다. 매니코어소프트는 이번 결과가 MLCommons 검증을 거쳐 공식 공개됐다고 밝혔다.
· · · · · · · · · ·
관련기사
▶ 매니코어소프트 AI서버, GPU 4장급 실서비스 처리량 국내 첫 액체냉각 1위
· · · · · · · · · ·
스페셜타임스는 AI 기술의 도움을 받아 더 빠르고 다양한 뉴스를 독자에게 전달하기 위해 노력하고 있습니다.