WEKA와 NAND Research가 공동으로 ‘추론 경제성 평가표(Inference Economics Scorecard)’를 공개했다. 이 프레임워크는 GPU 사용률이 아니라 실제 유용 작업을 기준으로 추론 인프라의 생산성과 비용 효율성을 9가지 지표로 측정한다. 평가표는 와트당 토큰 수, 추론당 비용, 컨텍스트 유지 등 다양한 항목을 포함하고, 최소 8시간 이상 지속되는 테스트와 성공적인 출력만을 집계하도록 설계됐다.
WEKA 공동 창립자 겸 CEO 리란 즈비벨은 “GPU 사용률은 칩이 가동 중임을 나타낼 뿐, 작업이 완료됐는지 여부를 알 수 없다”고 강조했다. 이어 “전력·공급·랙 공간이 자본만큼 중요한 제약 요소가 된 현 시점에서, 새로운 평가표는 와트당·달러당 효율을 문서화한다”고 설명했다. 한편, S&P Global 451 Research의 수석 분석가 Greg Macatee는 “추론은 AI 가치 실현의 핵심이며, 조직이 인프라 구매 방식을 재편하고 있다”고 말했다.
이번 발표는 AI 클라우드 기업 Nebius와의 벤치마크 테스트 결과를 토대로 진행됐으며, 추론 작업이 AI 인프라 지출에서 차지하는 비중이 2026년 34%에서 2030년 46%로 확대될 전망이라는 기존 연구와도 맞물린다. 전문가들은 GPU만 늘리는 방식으로는 급증하는 에이전트 기반 워크로드를 감당하기 어려울 것이라고 경고하고 있다.
· · · · · · · · · ·
관련기사
▶ 구글 클라우드 2027 보안 전망, 의사결정 조작·에이전트 확산 경고
▶ 에이아이세라, 소상공인 대상 'AI 상담원 에이전트' 선보여…홈페이지 없이 전용 링크로 안내
· · · · · · · · · ·
스페셜타임스는 AI 기술의 도움을 받아 더 빠르고 다양한 뉴스를 독자에게 전달하기 위해 노력하고 있습니다.
