케이잡스 김문수 AI연구원장과 한상도 AI제품센터장이 한국어 상담AI 평가 기준의 언어와 문장 구조에 따른 판정 차이를 분석한 연구 논문을 arXiv에 공개했다. 이미지에는 논문 제목과 두 연구자의 케이잡스 직책, 5만1744건의 실험 규모, 주요 연구 결과가 담겼다 (사진= 케이잡스 제공)

AI자율상담기업 케이잡스(K·JOBS)의 상담AI 개발 현장에서 출발한 문제의식이 국제 연구 논문으로 공개됐다. 한국어 상담을 평가하는 대규모언어모델(LLM)의 판정이 평가 기준의 언어와 문장 구조에 따라 달라질 수 있음을 대규모 실험으로 분석한 연구다.

케이잡스 김문수 AI연구원장과 한상도 AI제품센터장은 논문 ‘Same Rule, Different Verdicts: Rubric Language and Clause Structure in LLM Judges for Korean Support Dialogues’를 11월 3일 국제적으로 이용되는 공개 연구 플랫폼 arXiv에 발표했다. 김문수 원장은 케이잡스의 AI 연구 방향과 자율상담 연구를 총괄하고 있으며, 한상도 센터장은 상담AI를 비롯한 지능형 제품의 기술 개발을 맡고 있다.

16쪽 분량의 논문에는 실험 자료와 판정 로그, 사전 분석 계획, 분석 코드가 부속 파일로 함께 공개됐다. 연구진은 다른 연구자가 분석 과정을 확인하고 결과를 재현할 수 있도록 연구 자료를 투명하게 공개했다.

이번 연구는 케이잡스가 한국어 기반 자율상담 서비스를 개발하고 품질을 점검하는 과정에서 마주한 질문에서 시작됐다. 같은 상담 내용이라도 평가 기준이 한국어인지 영어인지, 긍정형인지 부정형인지에 따라 LLM 평가자의 판단이 달라진다면 상담AI의 품질 평가도 흔들릴 수 있다는 문제의식이다.

연구진은 상담자의 행동을 평가하는 12개 기준을 긍정형, 부정형, 조건형, 예외형의 네 가지 문장 구조로 만들고, 이를 한국어와 영어로 각각 제시했다. 이어 자연 대화 60건과 경계 사례 144건을 대상으로 글로벌 3개 AI 제공사의 저비용 모델 6개와 참고 모델 1개에 총 5만1744건의 평가를 요청했다. 연구 가설과 분석 방법은 데이터 수집 전에 확정해 공개 저장소에 기록했다.

분석 결과, 서로 다른 제공사 모델 간 판정 합의도를 나타내는 코헨의 카파(Cohen’s kappa)는 한국어 평가 기준에서 0.687, 영어 평가 기준에서 0.745로 나타났다. 한국어로 작성한 평가 기준에서 모델 간 합의도가 더 낮았다는 의미다.

문장 구조에 따른 차이도 뚜렷했다. 부정형·조건형·예외형 기준의 모델 간 불일치 오즈는 긍정형보다 평균 5.6배 높았다. 의미가 같은 기준을 문장 구조만 바꿔 제시했을 때도 한 모델이 판정을 바꾸는 사례가 약 11~15% 발생했다.

논문의 핵심 기여는 한국어 LLM 평가에서 ‘어떤 모델을 사용하는가’뿐 아니라 ‘평가 기준을 어떤 언어와 문장 구조로 작성하는가’도 판정의 일관성을 좌우할 수 있음을 수치로 제시한 데 있다. 연구진은 평가 기준을 가능한 한 명확한 긍정형 문장으로 작성하고, 부정·조건·예외가 포함된 항목은 복수 모델을 이용한 일관성 점검을 거칠 필요가 있다고 제안했다.

김문수 케이잡스 AI연구원장은 “케이잡스 상담AI 개발 과정에서 발견한 질문을 국제 연구가 검증할 수 있는 형태로 확장했다는 점에 의미가 있다”며 “현장의 문제를 논문과 공개 데이터로 남기고, 그 결과를 다시 서비스 품질 향상으로 연결하는 연구개발 체계를 강화하겠다”고 말했다.

한상도 케이잡스 AI제품센터장은 “같은 의미의 평가 기준도 언어와 문장 구조가 달라지면 AI의 판정이 달라질 수 있음을 대규모 비교 실험으로 확인했다”며 “한국어 상담AI를 개발하는 기업과 기관이 평가 기준 자체를 중요한 품질관리 대상으로 다뤄야 한다는 실무적 근거를 제시한 연구”라고 설명했다.

케이잡스는 연구 결과를 자율상담 서비스의 평가 기준 설계와 품질 점검에 연결할 계획이다. 의미가 같은 항목을 서로 다른 문장 구조로 교차 확인하고, 복잡한 조건이 포함된 기준은 여러 모델의 판정을 비교해 AI상담의 품질관리를 과학적으로 계속 고도화할 방침이다.

연구의 출발점이 된 케이잡스 자율상담 서비스는 전화와 웹에서 실제 운영되고 있다. 케이잡스 AI 콜센터는 일반 취업, 전직 지원, 소상공인 재취업·재도전, 지자체 일자리, 대학생 취업, 외국인 취업, 군 전역 후 취업, 시니어 재취업 등 상황별 AI 상담을 24시간 제공한다.

이용자는 ‘퇴직 후 새 일을 찾고 싶다’, ‘군 경력을 살려 취업하고 싶다’처럼 자신의 상황을 말하면 안내 AI를 통해 적합한 분야의 상담사로 연결된다. 24시간 AI 전화상담으로 진행되며, 케이잡스 웹사이트에서는 음성 또는 채팅 상담과 분야별 서비스를 확인할 수 있다.

이번 논문은 상담AI의 효과나 안전성을 입증한 연구가 아니라 LLM 평가 판정의 일관성을 측정한 연구다. 사람의 정답 라벨을 사용하지 않았으며, 현재 동료평가 전 공개된 arXiv 프리프린트다.

케이잡스(K·JOBS)는 AI취업센터에서 진단·AI상담·채용 정보를 연결하고 전직 지원, 시니어 취업, 외국인 취업, 소상공인 지원 등 분야별 AI 상담을 제공하는 AI자율상담기업이다. 개인에게는 취업과 전직·재취업 상담을, 기업과 공공기관에는 전직 지원, AI 교육, 고용서비스 및 AI 플랫폼 도입을 지원한다.

논문: https://arxiv.org/abs/2611.04091

◆ 한눈에 보기

· 발행 기관 : 케이잡스

· 분류 : 인재와 고용, 인공지능, 케이잡스

· 배포 : 2026년 11월 16일 오전 9시 14분

출처 : 케이잡스 보도자료(뉴스와이어)

· · · · · · · · · ·

관련기사

▶ 이재명 대통령 국정 운영 긍정 평가 44%…전주 대비 2%포인트 하락

▶ 이재명 대통령 지지율 44%·부정 평가 47% 기록

▶ MANICHI GAMES, 5개 언어 무료 체험판 2시간 30분 공개

· · · · · · · · · ·

스페셜타임스는 AI 기술의 도움을 받아 더 빠르고 다양한 뉴스를 독자에게 전달하기 위해 노력하고 있습니다.

머드노블 — 글을 읽고, 고르고, 이야기 속을 걷는다

저작권자 © 스페셜타임스 무단전재 및 재배포 금지