카카오, 경량 언어모델 Kanana-2 안전성 평가 공개…해외 모델 앞서

카카오(대표이사 정신아)가 오픈소스로 공개한 경량 언어모델(SLM) Kanana-2 시리즈의 안전성 평가 결과를 18일 공개했다.

카카오는 자체 구축한 AI 안전성 평가 플랫폼을 통해 지난달 28일 허깅페이스에 오픈소스로 공개한 'Kanana-2-1.3B-Instruct'와 'Kanana-2-3B-Instruct' 두 모델의 유해성, 편향성 등을 측정했다. 그 결과 두 모델 모두 유사 파라미터 규모의 주요 글로벌 모델 대비 종합 1위를 기록했다.

AssurAI 기반 정량 평가

이번 평가에는 과학기술정보통신부 사업의 일환으로 TTA(한국정보통신기술협회), KAIST, 카카오가 지난해 11월 공동 구축한 한국어 특화 안전성 벤치마크 'AssurAI'가 활용됐다. AssurAI는 총 35개 리스크 카테고리 내 9,560건의 평가 항목을 포함하며, 텍스트·이미지·오디오 등 멀티모달 조건에서 AI의 위험 요소를 측정한다. 카카오는 이를 사회적 리스크, 성적 콘텐츠·아동보호, 범죄·불법 행위, 폭력, 권리 침해 등 5개 대분류로 재편해 집계했으며, AI 모델이 사전 정의된 기준에 따라 응답을 평가하는 'LLM-as-a-Judge' 방식을 적용해 모델 간 비교의 객관성을 확보했다.

종합 점수, 글로벌 모델 상회

비교 대상은 구글의 'Gemma', 알리바바의 'Qwen' 등 유사 파라미터 규모의 글로벌 모델로 설정됐다. Kanana-2-1.3B-Instruct는 종합 점수 0.70을 기록해 Gemma(0.68), Qwen(0.58)을 앞섰다. Kanana-2-3B-Instruct 역시 0.70을 기록해 Gemma(0.66), Qwen(0.62)보다 높은 점수를 냈다. 대분류별로는 1.3B 모델이 범죄·불법 행위 영역에서, 3B 모델이 성적 콘텐츠·아동보호와 권리 침해 영역에서 비교 모델들을 크게 앞선 것으로 나타났다.

카카오 김경훈 AI Safety 리더는 "이번 평가는 자체 검증 체계를 통해 오픈소스 모델의 안전성을 사전에 점검하고, 그 결과를 공개하고자 한 사례"라며 "앞으로도 책임 있는 AI 개발 원칙 아래 안전성 검증을 모델 출시 프로세스의 핵심 단계로 정착시켜 나갈 것"이라고 말했다.

카카오는 이번 평가를 시작으로 향후 공개되는 자체 개발 AI 모델에 상시적인 사전 안전성 평가를 확대 적용할 계획이다. 텍스트 기반 언어모델을 넘어 멀티모달 모델과 에이전틱(Agentic) AI 리스크 평가 영역까지 평가 범위를 단계적으로 넓힐 예정이다. 한편 카카오의 자체개발 AI 모델 카나나는 지난해 12월 과학기술정보통신부가 AI안전연구소, TTA와 협력해 실시한 국내 첫 AI 안전성 평가에서 비슷한 규모의 해외 AI 모델 라마(Llama), 미스트랄(Mistral) 대비 높은 점수를 얻은 바 있다.

출처 : 카카오 보도자료

· · · · · · · · · ·

관련기사

▶ 식약처, 화장품 안전성 평가 온라인 안내 영상 8월 13일부터 게시

▶ 독파모 2차 평가…LG·SKT·업스테이지 3파전, 한국 AI 세계 3위

▶ 브리타, 정수기 필터 안전성 강조…“KC 인증 마친 정품 사용해야”

· · · · · · · · · ·