독파모 2차평가 '사용성' 논란…벤치마크 1위 모티프 탈락

정부의 독자 인공지능(AI) 파운데이션 모델(독파모) 사업이 단계 평가를 거칠 때마다 평가지표를 둘러싼 논란에 휩싸이고 있다. 1차 평가에서 자체 기술력을 가리는 독자성 기준이 도마 위에 오른 데 이어 2차 평가에서는 벤치마크 1위였던 모티프테크놀로지스가 전문가·사용자 평가에서 낮은 점수를 받아 탈락하면서 사용성 평가의 객관성과 투명성이 새로운 쟁점으로 떠올랐다.

8월 29일 정보통신기술(ICT) 업계에 따르면 이번 2차 평가의 쟁점으로 떠오른 사용성 지표는 데이터셋 기반의 벤치마크(정량 평가)와 대비되는 개념으로, AI 모델이 산업 현장과 서비스 환경에서 실제로 유의미하게 쓰일 수 있는지를 검증하는 척도다. 총 100점 만점 중 60점이 배정된 전문가·사용자 평가가 사실상 이 지표의 핵심을 이뤘다. 산·학·연 전문가 10명이 기술적 완성도와 비즈니스 연계성, 산업 파급효과 등을 살피는 전문가 정성평가에 35점이, 개발사 정보를 가린 채 실시간으로 프롬프트를 입력해 문맥 이해도와 지시 이행 능력, 환각 억제력 등을 측정하는 사용자 체감평가에 25점(전문 사용자 15점, 일반 국민 10점)이 각각 배정됐다.

정부가 모티프의 이의신청 이후 공개한 세부 성적표를 보면 정량적 벤치마크 점수와 활용성 지표 간에 뚜렷한 차이가 나타났다. 글로벌 공인 지표인 아티피셜 어낼리시스 인텔리전스 인덱스(AAII)에서 1위를 차지하며 벤치마크 총합 1위(24.6점)를 기록한 모티프는 전문가 평가 27.1점, 사용자 평가 14.1점 등 활용성 부문에서 경쟁사에 뒤처지며 종합 4위(65.8점)로 밀려났다. 반면 SK텔레콤은 70.6점, 업스테이지는 69.9점, LG AI연구원은 69.0점을 얻어 사용자 평가에서 18∼19점대의 고른 점수를 확보하며 정량 평가 결과를 뒤집고 나란히 1∼3위에 올랐다.

평가지표를 둘러싼 갈등은 이번이 처음이 아니다. 앞선 1차 평가에서는 글로벌 오픈소스 기반 파생 모델과 자체 개발 모델 간의 기술적 기여도를 재는 독자성 지표의 기준이 모호하다는 지적이 나온 바 있다. 이에 대해 과기정통부는 보도설명자료에서 "1차 평가 이후 모델의 독자성 확보뿐만 아니라 실제 산업 현장과 서비스 환경에서 어떻게 쓰이는지가 중요하다는 지적이 많아 사용성 배점을 상향하고 실사용자 평가 25점을 도입했다"며 "평가 전 최종안을 참여기업에 안내했으며 당시 이견이 없었다"고 밝혔다. 정성평가는 전문가 10명 중 최고·최저점을 제외한 산술 평균을 적용했고, 사용자 평가는 이해충돌 검증을 마친 AI 스타트업 대표 49명과 인구통계 쿼터제로 선발된 국민 185명이 참여해 최소 3분 이상 블라인드 테스트를 거쳤다는 게 과기정통부 설명이다.

배경훈 부총리 겸 과기정통부 장관은 3차 평가에서 경쟁 방식을 보완하겠다는 방침을 밝히며 "누구나 인정할 수 있는 세계적인 수준의 모델을 만들기 위해 정부 투자 집중 방식과 평가 제도의 보완을 검토하겠다"고 말했다.

· · · · · · · · · ·

▶ 과기정통부, 인천 ICT 콤플렉스 개소…AI SW 인재양성 거점 마련

▶ 과기정통부, 「ICT 챌린지 2026」 개최…포항공대 InteractX팀 최종 우승

· · · · · · · · · ·