자비스앤빌런즈가 사내에 흩어져 운영되던 AI 에이전트를 하나로 묶는 자체 플랫폼 ‘카터(Carter)’를 구축했다고 27일 밝혔다. 삼쩜삼 서비스와 내부 업무에 쓰이는 8개 AI 에이전트가 현재 카터 관리 아래 운영되고 있다.
카터는 AI 에이전트 개발과 운영에 필요한 비용을 관리하고 모니터링하는 동시에 보안과 개인정보 보호 기능을 공통으로 제공하는 통합 플랫폼이다. 에이전트별로 기능을 따로 만들지 않고 검증된 공통 라이브러리와 인프라를 활용할 수 있어 중복 개발을 줄일 수 있다는 설명이다. 삼쩜삼은 이를 통해 AI 운영 비용을 최대 45% 절감했다고 밝혔다.
비용 절감 방식도 구체적이다. 답변 조합과 생성에는 고성능 모델을 쓰되 의도 분류와 안전 판정 같은 보조 호출은 경량 모델로 나누는 ‘모델 티어링(Model Tiering)’을 적용해 전체 호출의 약 50%를 경량 모델로 처리했다. 또 반복되는 프롬프트를 저장해 재사용하는 ‘프롬프트 캐싱(Prompt Caching)’을 표준으로 적용해 캐시가 재사용되는 구간에서 호출비용을 약 43% 줄였다고 설명했다. AI 활용이 빠르게 늘어나는 기업 환경에서 운영 효율과 통제 체계를 함께 잡으려는 시도로 보인다.
삼쩜삼은 불필요한 검색 로직을 줄이고 클라우드 간 자동 장애 전환(Failover) 시스템으로 서비스 다운타임도 최소화했다고 밝혔다. 카터를 거치는 모든 AI 호출은 중앙에서 추적·관측되며, 개인정보 자동 비식별과 프롬프트 인젝션 공격 차단 기능도 공통 프레임워크로 제공한다. 나아가 사내 지식 자산을 단일 창구에서 검색·질의하는 ‘지식 오케스트레이터(Knowledge Orchestrator)’와 AI 에이전트 답변 품질을 정량적으로 측정하는 평가 체계도 구축하고 있다.
강병규 최고기술책임자(CTO)는 “사내 AI 에이전트와 지식 자산을 카터로 통합해 AI 운영 효율을 높이고 안전한 활용 기반을 마련했다”며 “비용 절감에 그치지 않고 답변 품질까지 측정하고 관리하는 체계를 갖춰, 구성원 누구나 안전하게 AI 에이전트를 만들고 운영할 수 있는 환경으로 확장해 나갈 것”이라고 말했다.
· · · · · · · · · ·
스페셜타임스는 AI 기술의 도움을 받아 더 빠르고 다양한 뉴스를 독자에게 전달하기 위해 노력하고 있습니다.