브레인즈컴퍼니의 자회사 에이프리카가 기관과 기업의 AI 서비스 운영 기준에 맞춰 접근 권한과 요청 처리, 보안 정책을 한데 묶어 관리할 수 있는 ‘치타 AI Gateway’를 출시했다고 22일 밝혔다.
최근 기업과 공공기관에서 AI 서비스와 모델 활용이 늘면서 사용자 권한, 사용량, 보안 기준을 일관되게 관리하는 체계가 중요해지고 있다. 하지만 서비스마다 정책을 따로 적용하면 운영 현황과 요청 이력을 각각 확인해야 해 관리 부담이 커질 수 있다. 업계에서는 AI 요청이 오가는 공통 경로에서 정책을 적용하는 방식이 점차 필요해지고 있다는 평가가 나온다.
에이프리카는 치타 AI Gateway를 통해 사용자와 그룹별 접근 권한을 설정하고, 분당 요청량과 토큰 사용량도 제한할 수 있다고 설명했다. 이를 통해 내부 정책에 맞춰 AI 서비스 운영과 보안 관리를 함께 수행할 수 있다는 것이다.
이 제품은 허용된 사용자에게 필요한 서비스만 제공하고, 과도한 호출로 인한 부하를 줄이는 데 초점을 맞췄다. 모델 응답 지연이나 오류가 반복될 경우에는 타임아웃과 서킷 브레이커를 적용해 요청을 제어하도록 설계했다. 운영 단계에서 장애 확산을 막는 장치가 추가된 셈이다.
보안 기능도 강화했다. 입력 단계에서는 개인정보와 API 키, 접속 토큰 등 인증정보를 비롯해 프롬프트 인젝션과 금칙어를 탐지해 마스킹하거나 차단한다. 출력 단계에서는 개인정보, 유해 콘텐츠, 위험 HTML, 환각 여부 등을 검사해 설정 기준에 따라 처리한다. 요청별 처리 결과와 차단 사유는 감사 로그에서 확인할 수 있어 사후 추적도 가능하다.
치타는 AI Gateway 외에도 GPU 자원 관리부터 데이터와 AI 모델의 개발, 학습, 평가, 배포, 운영까지 지원하는 MLOps·LLMOps 플랫폼이다. 대규모 GPU 자원을 통합 관리하고 멀티테넌시 기반의 사용자·그룹별 개발 환경을 제공하는 점이 특징이다. 에이프리카는 셀트리온, KAI, 경찰청 등에서 활용되고 있다고 밝혔다.
· · · · · · · · · ·
관련기사
▶ 컴트루테크놀로지, 11월 4일 역삼서 무료 보안 컨퍼런스…AI DLP 신기능 첫선
▶ PHP 패치 6시간 먼저 공개…공조 엠바고 깨진 보안 대응
▶ UWB 실내 내비·보안 강화, 공항·병원서 쓰는 피라 4.1 인증 시작
· · · · · · · · · ·
스페셜타임스는 AI 기술의 도움을 받아 더 빠르고 다양한 뉴스를 독자에게 전달하기 위해 노력하고 있습니다.