KT가 국내외 인공지능(AI) 모델을 한곳에서 이용하고 사용량과 비용까지 통합 관리하는 플랫폼 ‘토큰팩토리’를 오는 30일 출시한다. 초기에는 AI 모델 73종을 제공하고, 다음 달 글로벌 AI 모델 마켓플레이스 오픈라우터와 연계해 500개 이상의 모델로 확대할 계획이다. 업무 유형과 난이도, 요구 품질, 비용을 분석해 적합한 모델을 자동으로 선택하고, 한국어 질문의 불필요한 표현을 줄여 토큰 사용량을 최대 25% 절감하는 기술을 적용했다. KT는 27일 서울 종로구 광화문 웨스트빌딩에서 기자간담회를 열고 모델 선택부터 비용 관리, 보안까지 통합 제공하는 토큰팩토리를 공개했다. 기업 고객을 대상으로 서비스를 시작한 뒤 내년 3월 개인과 개발자까지 이용 대상을 넓히고 구독형 요금제도 도입할 예정이다.
73종으로 시작해 다음 달 500개 이상 연계
토큰팩토리는 기업이 여러 AI 모델을 별도로 구독하거나 각각 관리하지 않고 한 플랫폼에서 모델 선택, 이용 현황 확인, 결제까지 처리하도록 설계됐다. KT가 27일 공개한 출시 계획에 따르면 서비스 초기 제공 모델은 73종이다. 이 가운데 7종은 KT가 국내 데이터센터의 그래픽처리장치(GPU)를 활용해 직접 추론 서비스를 제공하는 소버린 AI 모델이다. KT는 국내에서 많이 쓰이는 모델과 국내 스타트업의 최신 모델을 골라 구성했다고 설명했다. 이진형 KT AX사업본부장 상무는 “7종은 국내에서 가장 많이 쓰는 모델과 국내 스타트업의 최신 모델을 선별한 것”이라며 “내년에는 소버린 AI 모델을 10여종까지 확대하려고 한다”고 말했다.
KT는 글로벌 AI 모델 마켓플레이스 사업자인 오픈라우터와 국내 최초로 공식 파트너십을 체결했다. 이를 통해 오는 11월 오픈라우터가 보유한 500개 이상의 글로벌 AI 모델을 토큰팩토리에 연계할 예정이다. KT는 국내 AI 모델을 오픈라우터를 통해 해외에 유통하는 사업도 추진한다. 모델 수 확대에 따라 이용자는 플랫폼 안에서 여러 모델을 선택할 수 있게 되지만, 글로벌 모델은 제공 사업자에 따라 해외 서버에서 추론이 이뤄질 수 있다. KT는 이용자에게 모델별 제공 사업자와 운영 지역 정보를 공개할 방침이라고 밝혔다.
| 구분 | 모델 수 |
|---|---|
| 출시 초기 제공 모델 | 73종 |
| 출시 초기 소버린 AI 모델 | 7종 |
| 11월 오픈라우터 연계 모델 | 500개 이상 |
| 내년 소버린 AI 모델 확대 계획 | 10여종 |
업무와 비용에 맞춰 모델 선택·토큰 절감
토큰팩토리의 핵심 기술은 KT가 자체 개발한 ‘오토 모델 라우터’다. 이용자가 입력한 질문의 업무 유형과 난이도, 요구하는 응답 품질, 비용 등을 종합적으로 분석해 적합한 AI 모델을 자동으로 고른다. 모델마다 성능과 비용이 다른 만큼 업무에 따라 선택을 달리하고, 사용량과 비용을 한곳에서 관리할 수 있도록 한 것이다. KT는 이 기술이 AI 모델 선택 성능을 평가하는 글로벌 벤치마크 ‘라우터아레나’에서 종합 1위를 기록했다고 밝혔다.
한국어 특성을 고려한 프롬프트 압축 기술도 적용했다. 질문에서 불필요한 반복 표현 등을 제거해 입력 토큰 수를 줄이되, 질문의 의미와 응답 품질은 유사하게 유지하는 방식이다. KT는 프롬프트 압축으로 약 20%, 적합한 저비용 모델 선택으로 약 5%를 절감해 토큰 사용량을 최대 25% 줄일 수 있다고 설명했다. AI 이용에서 토큰은 질문과 문서 등을 처리하고 답변을 만드는 데 쓰이는 단위이며, 이용량과 비용을 산정하는 기준으로 활용된다. KT는 모델 선택과 사용 현황 모니터링, 결제까지 통합해 기업이 모델별 이용 내역을 관리할 수 있도록 한다고 밝혔다.
금융·공공 AX 시장 겨냥…보안 기능 적용
KT는 토큰팩토리를 기존 기업 대상 AI 전환(AX) 사업과 결합해 금융·공공 시장을 공략할 계획이다. 이 상무는 “토큰팩토리는 기존 AX 사업과 별개의 사업이 아니라 기업이 새로운 AI 모델을 빠르게 적용하고 사용 현황을 통합 관리하도록 기존 사업을 보완하는 플랫폼”이라고 설명했다. 금융권에는 국내 데이터센터에서 구동되는 AI 모델 7종을 중심으로 공급하고, 공공 분야에는 관련 보안 규제에 맞춘 별도 클라우드 환경에 플랫폼을 구축할 계획이다. KT는 국내 데이터센터에서 추론 서비스를 제공하는 모델과 해외 서버에서 운영될 수 있는 글로벌 모델을 구분해 관련 정보를 공개하겠다고 밝혔다.
개인정보와 민감정보, 유해 표현을 점검하는 자체 가드레일 기술도 토큰팩토리에 적용했다. 이용자가 입력한 내용뿐 아니라 AI가 생성한 답변의 안전성도 확인하는 기능이다. KT는 국내 데이터센터에서 자체 AI 모델과 국내외 오픈웨이트 모델의 추론 서비스를 제공한다고 설명했다. 기업 고객은 플랫폼을 통해 업무에 맞는 여러 모델을 이용하면서 사용량과 비용을 관리할 수 있다. KT는 오픈라우터 외에도 AI 코딩·에이전트 분야의 유라클과 CAST AI, 기업용 AI 워크스페이스 업체 타임리 등과 협력을 확대하고, ‘모두의 AI’ 컨소시엄 참여사들과도 협력할 계획이다. 참고 기사에 따르면 업스테이지와 다음 등 컨소시엄 참여사와의 협력도 추진 대상이다.
기업용 요금제 두 종류…내년 3월 개인·개발자로 확대
토큰팩토리 요금제는 사용량에 따라 비용을 내는 ‘스탠다드’와 이용 규모·약정 기간에 따라 할인을 제공하는 ‘엔터프라이즈’로 구성된다. 스탠다드는 후불 정산과 선불 크레딧을 모두 지원한다. 엔터프라이즈는 기업별 할인을 제공하고 전용망, 서비스 수준 협약(SLA) 등 맞춤형 기능을 포함한다. KT는 토큰 중개 수수료보다 자체 인프라에서 AI 추론 서비스를 제공하며 얻는 수익과 통신·클라우드 결합 사업에 무게를 두고 있다. 이 상무는 “단순 중개 수수료가 주력 사업 모델은 아니다”라며 “KT 데이터센터의 GPU를 활용해 직접 토큰을 생산하는 과정에서 발생하는 마진이 주요 수익 모델”이라고 말했다.
서비스는 오는 30일 기업 고객을 대상으로 시작한다. KT는 내년 3월 개인과 개발자, 일반 이용자까지 대상을 확대하면서 구독형 요금제를 도입할 계획이다. 박상원 KT AX사업부문장 전무는 “AI 시장은 누가 더 좋은 모델을 만드느냐보다 누가 AI를 더 쉽고 효율적으로 활용하도록 지원하느냐의 경쟁으로 전환되고 있다”며 “토큰팩토리를 대한민국 AI 생태계 성장을 이끄는 핵심 플랫폼으로 발전시키겠다”고 말했다.
· · · · · · · · · ·
관련기사
▶ 조호, 지아 챗·에이전트 중심 기업용 AI 전략 공개
▶ 베로소프트, 산업 시스템 연동 AI 플랫폼 ‘Verovia’ 출시
▶ 로크웰 오토메이션, 산업 자동화 AI 오케스트레이션 플랫폼 공개
· · · · · · · · · ·
스페셜타임스는 AI 기술의 도움을 받아 더 빠르고 다양한 뉴스를 독자에게 전달하기 위해 노력하고 있습니다.
