국내 인공지능 기업 사이오닉에이아이가 개발한 검색 임베딩 모델 ‘comsat-embed’가 한국어와 일본어를 대상으로 한 글로벌 검색 벤치마크에서 최상위 성능을 기록했다. 단일 평가 데이터셋에 특화된 결과가 아니라 여러 분야와 검색 환경으로 구성된 평가셋 전반에서 고르게 성능이 향상됐다는 점이 눈에 띈다.
한국어 모델 ‘comsat-embed-ko-8b-preview’는 MTEB 한국어 검색 평가에 포함된 9개 데이터셋에서 평균 NDCG@10 79.30을 기록해 비교 대상 모델 중 가장 높은 점수를 받았다. 같은 평가에서 알리바바의 ‘Qwen3-Embedding-8B’는 78.25점, 마이크로소프트의 27B 모델 ‘Harrier-OSS-v1-27B’는 76.69점에 그쳤다. NDCG@10은 검색 결과 상위 10건이 정답과 얼마나 관련성이 높고 적절한 순서로 배열됐는지를 나타내는 지표로, 수치가 100에 가까울수록 검색 정확도가 높다는 의미다.
일본어 모델도 비슷한 흐름을 보였다. 11개 데이터셋으로 구성된 MTEB 일본어 검색 평가에서 ‘comsat-embed-ja-8b-preview’는 평균 81.33을 기록해 1위에 올랐고, 경량화된 3억 파라미터 모델 ‘comsat-embed-ja-0.3b-preview’ 역시 77.85점으로 4B 이하 모델군에서 가장 높은 성능을 나타냈다.
사이오닉에이아이는 이 같은 결과의 배경으로 실제 검색 환경을 반영한 학습 데이터 설계를 들었다. 사용자의 질문은 짧은 키워드일 수도, 여러 문단을 아우르는 복합 질문일 수도 있고, 정답이 문서의 첫머리가 아닌 중간이나 말미에 위치하는 경우도 있다는 점에 주목했다. 하나의 질문에 복수의 문서가 답이 되거나, 하나의 문서가 여러 질문과 연결되는 상황까지 고려해 다양한 출처의 문서를 수집하고 이에 맞는 검색 질문을 합성했다는 설명이다.
학습 과정에서는 질문과 문서의 관계를 기존의 단순한 1대1 구조가 아닌 1대다·다대1 구조로 확장했고, 정답과 의미상 유사하지만 실제로는 오답인 문서를 찾아 학습하는 ‘하드 네거티브 마이닝’과 우수한 성능을 보이는 교사 모델의 검색 순위를 참고하는 지식 증류 방식을 함께 적용했다.
특정 벤치마크 점수를 끌어올리는 데 그치지 않고 언어와 분야, 질문 형태가 바뀌어도 안정적으로 관련 문서를 찾아내는 범용성을 지향했다는 점이 이번 모델의 특징으로 꼽힌다. 실제로 일부 데이터셋의 큰 폭 상승이 다른 데이터셋의 하락을 가리는 방식이 아니라 평가셋 전반에서 고른 개선이 확인됐다는 점은 모델의 실사용 신뢰도를 가늠하는 데 참고할 만한 대목이다.
이번 모델은 사이오닉에이아이가 추진 중인 ‘EUREKA(Extremely Universal Robust Embedding for Knowledge Access)’ 프로젝트의 첫 결과물이다. 언어와 도메인, 질문 형태가 달라져도 필요한 지식을 안정적으로 찾아내는 범용 임베딩 모델 개발이 프로젝트의 목표라고 회사 측은 설명했다. 한국어와 일본어 comsat-embed 모델은 현재 허깅페이스에 프리뷰 버전으로 공개된 상태다.
· · · · · · · · · ·
관련기사
▶ 아고다·GSTC '지속가능한 관광 아카데미' 한국어 서비스 시작…7개 언어로 확대
· · · · · · · · · ·
스페셜타임스는 AI 기술의 도움을 받아 더 빠르고 다양한 뉴스를 독자에게 전달하기 위해 노력하고 있습니다.