AI 경량화 기업 노타가 문샷AI의 초거대 언어모델 '키미 K3(Kimi K3)'를 경량화해 구동에 필요한 그래픽처리장치(GPU) 수를 최대 절반으로 줄였다고 5일 밝혔다. 2조8000억 개 매개변수를 갖춘 프론티어급 모델에서도 경량화 기술을 적용할 수 있음을 보여준 사례로 평가된다.
키미 K3는 입력값에 따라 필요한 모듈만 선택적으로 작동시키는 전문가 혼합(MoE) 구조를 채택해 연산 효율을 높인 오픈웨이트 모델이다. 다만 구동을 위해서는 엔비디아의 고성능 GPU B300이 8장 필요해, 기업이나 개발자 입장에서는 인프라 부담이 적지 않았다.
특히 키미 K3는 학습 단계부터 가중치와 활성값을 각각 4비트, 8비트로 낮춰 설계돼 있어 일반적인 양자화 방식으로는 추가 압축의 여지가 크지 않았다. 노타는 이를 해결하기 위해 자체 개발한 '비균일 전문가 프루닝' 기술을 적용했다. 층별 특성과 모듈 중요도를 분석해 핵심 전문가는 남기고 기여도가 낮은 모듈만 골라 제거하는 방식으로, 모든 층을 동일 비율로 줄이던 기존 방식과 차별화된다.
이 기술을 통해 노타는 전문가 모듈을 각각 25%, 50% 줄인 경량화 모델 2종을 내놨다. 이에 따라 모델 구동에 필요한 B300 GPU 수도 6장, 4장으로 감소했다. 대규모 모델을 운용하는 데 드는 인프라 부담을 줄일 수 있는 방법으로 주목되는 대목이다.
노타가 자체 진행한 평가에서는 층별로 동일 비율을 제거하는 기존 REAP 방식과 비교해, 층별 제거 비율을 달리 적용한 50% 경량화 모델이 대다수 벤치마크에서 더 높은 성능 보존율을 보였다. 고난도 과학·추론 능력을 측정하는 GPQA-Diamond와 지시 수행 능력을 평가하는 IFEval에서는 각각 2.52점, 2.22점 높은 점수를 기록했다.
앞서 노타는 업스테이지의 '솔라 오픈2' 경량화 모델을 허깅페이스에 공개한 바 있다. 이번 키미 K3 경량화는 특정 모델에 국한되지 않고 대규모 MoE 구조 전반에 기술을 적용할 수 있음을 보여준 것으로, 향후 다른 프론티어급 모델로도 확장될지 지켜볼 대목이다.
김태호 노타 최고기술책임자(CTO)는 "비균일 전문가 프루닝 기술을 바탕으로 솔라 오픈2에 이어 키미 K3까지 경량화해 주요 성능을 유지하면서 필요한 GPU를 최대 절반으로 줄였다"며 "다양한 프론티어급 AI 모델을 한정된 연산 자원에서도 효율적으로 활용할 수 있도록 기술 적용 범위를 넓혀가겠다"고 말했다.
· · · · · · · · · ·
스페셜타임스는 AI 기술의 도움을 받아 더 빠르고 다양한 뉴스를 독자에게 전달하기 위해 노력하고 있습니다.