자율형 AI가 기업 대신 판단하는 시대, 운영 통제 체계 손봐야

프로스트 앤드 설리번은 자율형 AI 시대에 대응하기 위해 기업 운영 모델의 재설계가 필요하다고 전했다 (사진= 프로스트 앤드 설리번 제공)

글로벌 시장조사 및 컨설팅 기업 프로스트 앤드 설리번(Frost & Sullivan)은 최근 기고문 ‘AI가 스스로 행동하기 시작할 때: 자율형 AI 시대의 기업 운영 모델 재고(When AI Starts Acting: Rethinking Enterprise Operating Models in the Age of Autonomous AI)’를 통해 기업용 AI가 단순한 업무 자동화를 넘어 운영상의 판단과 행동에 직접 참여하는 단계로 발전하면서, 기존 기업 운영 모델을 재설계할 필요성이 커지고 있다고 분석했다.

초기 세대의 기업용 소프트웨어가 미리 정의된 업무 흐름을 자동화했다면, 오늘날의 AI 시스템은 상황을 해석하고 필요한 행동을 판단하며 사람의 개입을 최소화한 상태에서 작업을 수행하는 방향으로 진화하고 있다.

이에 따라 기업은 AI를 기존 업무 프로세스에 단순히 도입하는 것을 넘어, AI에게 어느 정도의 운영상 판단과 행동 권한을 부여할 것인지, 의사결정과 책임, 통제 및 복원 체계를 어떻게 재설계할 것인지 고민해야 한다는 분석이다.

특히 AI가 운영상의 판단과 행동에 직접 참여하기 시작하면서 의사결정과 책임, 통제, 복원력을 포함한 거버넌스 체계는 더 이상 기술 영역에 국한된 과제가 아니라 기업 운영의 핵심 과제로 부상하고 있다.

복구를 넘어 ‘신뢰할 수 있는 운영 상태’ 확보해야

기존의 복원력 전략은 주로 인프라 장애, 사이버 공격, 재해 발생 이후 시스템과 데이터를 복구하는 데 초점을 맞춰왔다. 그러나 자율형 AI 환경에서는 외부 공격자가 취약점을 악용하지 않더라도, 정상적으로 권한이 부여된 AI가 정상적인 데이터와 계정을 사용해 의도하지 않은 결과를 만들어낼 수 있다는 새로운 형태의 운영 리스크가 존재한다.

이에 따라 복구의 개념도 전체 IT 환경을 복구하는 기존 방식에서 벗어나, AI가 수행한 특정 행동을 식별하고 격리한 뒤 전체 운영을 중단하지 않고 해당 행동을 되돌릴 수 있는 방향으로 변화하고 있다. 단순히 인프라를 복구하는 것을 넘어, 신뢰할 수 있는 운영 상태를 회복하는 것이 새로운 복원력의 목표로 자리 잡고 있다는 설명이다.

따라서 복원력은 단순히 인프라를 복구하는 것을 넘어, 지속적인 운영에 대한 신뢰를 유지하는 기업의 운영 역량으로 변화하고 있다. 중요한 것은 시스템 전체를 복구할 수 있는지에 그치지 않고, 의도하지 않은 AI의 행동을 식별하고 격리하며 이러한 행동이 연결된 비즈니스 프로세스 전반으로 확산되기 전에 되돌릴 수 있는지 여부다.

AI 신뢰 확보, 데이터 가시성과 거버넌스 역량이 핵심

파운데이션 모델이 발전하고 모델 간 성능 차이가 점차 축소되면서, 기업의 AI 경쟁력은 모델 자체뿐 아니라 기업이 보유한 데이터의 품질과 이를 관리·통제하는 역량에 의해 좌우될 가능성이 높아지고 있다.

특히 조직은 자신이 파악하지 못하는 데이터를 효과적으로 통제하기 어렵기 때문에, 신뢰할 수 있는 AI 환경을 구축하기 위해서는 데이터와 사용자·시스템의 디지털 신원(Digital Identity), 접근 권한 간 관계를 명확하게 파악할 수 있는 가시성이 중요하다.

Veeam의 ‘2026 Data & AI Trust Gap’ 조사에서도 AI를 효과적으로 관리하는 데 필요한 거버넌스 및 운영 역량을 갖춘 조직이 전체의 7%에 불과한 것으로 나타났다. 이는 AI 활용과 운영 참여가 확대되는 가운데, 기업이 AI를 신뢰하고 통제하기 위한 거버넌스 및 운영 역량을 갖추는 것이 여전히 중요한 과제임을 보여준다.

프로스트 앤드 설리번 한국지사 이선지 연구원은 “한국 기업의 AI 활용이 확대되는 가운데, 앞으로는 AI를 얼마나 많이 도입하느냐보다 AI에게 어디까지 판단과 행동을 맡길 것인지가 중요한 과제가 될 것”이라며 “자율형 AI가 기업 운영에 직접 참여하는 시대에는 기존의 사람 중심 통제 체계만으로는 새로운 과제를 설명하기 어려워지고 있으며, AI가 운영상의 판단과 행동에 직접 참여하는 만큼 AI에게 부여되는 권한과 이에 따른 책임, 데이터와 시스템의 복원력까지 포함한 새로운 운영 모델을 설계해야 한다”고 말했다.

프로스트 앤드 설리번 소개

프로스트 앤드 설리번(Frost & Sullivan)은 모빌리티, ICT, 헬스케어, 에너지 등 주요 산업에 관한 글로벌 시장조사 및 컨설팅 기관으로 60여 년 이상 고객 비즈니스 성장을 위한 솔루션을 지원하고 있다. 전 세계 29개국 47개 지사에 2200여 명의 컨설팅 인력을 운영하며, 12개 주요 산업과 기술에 대한 지속적인 조사와 분석을 바탕으로 성장 전략, 벤치마킹, 경제 동향, 미래 유망 기술 분석 및 메가 트렌드 식별 등 다양한 컨설팅 서비스를 제공한다. 정부기관, 기업, 투자자 등 다양한 고객의 미래 성장 기회 및 전략 수립을 지원하고 있다.

◆ 한눈에 보기

· 발행 기관 : 프로스트 앤드 설리번

· 분류 : 컨설팅, 인공지능, 프로스트 앤드 설리번

· 배포 : 2026년 9월 23일 오후 5시 00분

출처 : 프로스트 앤드 설리번 보도자료(뉴스와이어)

· · · · · · · · · ·

▶ 부산대, 지역 인공지능 혁신인재 양성 거점 선정…8년간 165억 투입

▶ 야놀자, ‘인공지능 페스타 2026’서 여행·일상 AI 솔루션 공개

· · · · · · · · · ·