딥페이크 탐지 기술 도입 확산, 정확도는 물음표

얼굴은 낯설지 않은데 목소리가 어딘가 이상하다. 화상회의 화면 속 상대가 실은 인공지능이 합성한 가짜였다는 사실은 뒤늦게 밝혀졌다. 최근 금융권과 기업을 겨냥한 딥페이크 사기가 잇따르면서 이를 걸러내는 탐지 기술이 빠르게 상용화되고 있다. 하지만 탐지 기술의 정확도와 실효성을 둘러싼 의문도 함께 커지는 분위기다.

금융감독원에 따르면 딥페이크를 활용한 보이스피싱과 금융사기 관련 상담 건수는 매년 늘고 있다. 피해자가 실제 화면 통화를 통해 상대를 확인했다고 믿었다가 뒤늦게 합성 영상이었다는 사실을 알게 되는 경우가 대부분이다. 경찰청도 딥페이크를 이용한 사칭 범죄가 기존 문자·음성 사기보다 피해자의 경계심을 낮춘다는 점에서 신종 범죄 유형으로 분류해 대응 방안을 마련하고 있다.

딥페이크 탐지 솔루션은 크게 두 갈래로 나뉜다. 하나는 영상이나 음성에 이미 남아 있는 합성 흔적, 즉 픽셀 단위 왜곡이나 미세한 깜빡임 패턴을 인공지능으로 분석해 진위를 가리는 방식이다. 다른 하나는 콘텐츠 제작 단계에서부터 보이지 않는 표식을 삽입하는 AI 워터마크 방식이다. 국내외 여러 기업이 이 두 방식을 결합한 서비스를 내놓았고 일부는 이미 금융기관과 공공기관 화상인증 체계에 시범 적용되고 있다.

탐지 알고리즘은 통상 수십만 건에 이르는 실제 영상과 합성 영상을 함께 학습해 판별 기준을 세운다. 화면 속 인물의 눈 깜빡임 주기, 피부 질감의 미세한 흔들림, 입 모양과 발음의 미세한 시차 등이 대표적인 판별 지표로 꼽힌다. 그러나 이런 지표는 생성 모델의 화질과 프레임률이 높아질수록 점점 식별하기 어려워지는 특징을 갖고 있다.

문제는 탐지 기술의 발전 속도가 딥페이크 생성 기술을 따라잡지 못한다는 점이다. 생성형 인공지능 모델이 몇 달 단위로 새 버전을 내놓을 때마다 기존 탐지 알고리즘은 무력화되기 일쑤다. 실제로 한 보안업계 관계자는 "탐지 모델을 학습시킨 시점의 생성 기법은 잡아내도 그 이후 등장한 신종 기법에는 탐지율이 급격히 떨어진다"고 말했다. 탐지와 생성이 서로를 뒤쫓는 악순환 구조라는 지적이다.

한 인공지능 연구위원은 "생성형 모델이 오픈소스 형태로 빠르게 확산되면서 누구나 손쉽게 고품질 딥페이크를 만들 수 있는 환경이 됐다"며 "탐지 기술을 개발하는 속도보다 생성 기술이 공개되고 확산되는 속도가 훨씬 빠르다"고 설명했다. 이 때문에 탐지 솔루션 업체들은 새로운 생성 기법이 발견될 때마다 데이터를 재학습시키는 방식으로 대응하고 있지만 근본적인 격차를 좁히기는 쉽지 않다는 평가다.

AI 워터마크 방식도 한계가 뚜렷하다. 워터마크는 콘텐츠 제작자가 자발적으로 삽입해야 효과가 있는데 악의적으로 딥페이크를 만드는 이들이 이를 지킬 이유가 없다. 또 워터마크가 삽입된 영상이라도 압축, 재인코딩, 화면 녹화 등 단순한 가공만 거쳐도 표식이 손상되거나 사라지는 경우가 많다는 게 관련 업계의 공통된 설명이다. 한 정보보호학회 소속 연구위원은 "워터마크는 표준화가 안 돼 있어 플랫폼마다 인식 방식이 다르고 이를 우회하는 방법도 이미 온라인에 공유되고 있다"고 지적했다.

실제 피해 사례도 늘고 있다. 회사 재무 담당자였던 김모 씨(41)는 최근 화상회의 중 대표이사의 얼굴과 목소리를 모사한 영상 통화를 받고 거액을 송금할 뻔했다. 김씨는 "실시간 화면인데도 어색한 부분을 전혀 느끼지 못했다"며 "회사 내부 확인 절차가 없었다면 그대로 송금이 이뤄졌을 것"이라고 말했다. 이처럼 실시간 영상통화 형태의 딥페이크는 사후 분석이 사실상 불가능해 탐지 솔루션을 적용할 시점 자체가 없다는 점이 가장 큰 난제로 꼽힌다.

비슷한 사례는 또 있다. 중소기업을 운영하는 이모 씨(52)는 거래처 담당자로부터 걸려온 화상 통화에서 결제 계좌 변경을 요청받았다. 화면 속 인물의 얼굴과 말투가 평소와 다르지 않아 별다른 의심 없이 계좌 정보를 확인해줬다가 뒤늦게 사기라는 사실을 알아챘다. 이씨는 "영상으로 직접 얼굴을 보고 확인했는데도 속을 수 있다는 게 여전히 믿기지 않는다"고 말했다.

정부와 국제기구도 대응에 나서고 있다. 과학기술정보통신부는 딥페이크 탐지 기술 고도화 연구를 지원하는 사업을 이어가고 있고 방송통신위원회는 온라인 플랫폼에 딥페이크 콘텐츠 표시 의무를 확대하는 방안을 검토 중이다. 국제전기통신연합을 비롯한 국제기구들도 디지털 콘텐츠 출처 인증 표준을 마련하려는 논의를 진행하고 있지만 각국의 이해관계가 얽혀 표준화까지는 시간이 걸릴 전망이라는 게 관련 업계 시각이다.

전문가들은 기술만으로 딥페이크 문제를 해결하기 어렵다고 입을 모은다. 한 디지털포렌식 전문가는 "탐지 기술은 필요조건이지 충분조건이 아니다"라며 "제작 단계의 출처 인증, 유통 단계의 플랫폼 책임, 이용자 단계의 식별 교육이 함께 가야 실효성이 생긴다"고 설명했다. 특히 딥페이크로 인한 명예훼손이나 금융사기가 발생했을 때 법적 대응이 늦어지는 문제도 제도 보완이 시급한 부분으로 거론된다.

국내에서는 딥페이크 성범죄물 유포에 대한 처벌 규정이 강화됐지만 금융사기나 정치적 허위정보 등 다른 유형의 피해에 대한 대응 체계는 아직 미비하다는 지적이 나온다. 한 변호사는 "피해자가 영상의 합성 여부를 직접 입증해야 하는 경우가 많아 소송 자체가 지연되는 사례가 있다"며 "탐지 결과를 법적 증거로 인정하는 절차와 기준을 명확히 할 필요가 있다"고 밝혔다.

업계에서는 탐지 솔루션을 도입한다고 안심할 수 있는 단계는 아니라는 점을 강조한다. 한 보안업체 관계자는 "탐지율 수치는 특정 데이터셋을 기준으로 산출된 것이어서 실제 현장에서는 그보다 낮게 나타날 가능성이 크다"며 "기업이나 기관은 탐지 솔루션 하나에 의존하기보다 본인확인 절차나 다중 인증 체계를 함께 갖춰야 한다"고 조언했다.

일선 기업들은 자체적인 대응 매뉴얼을 마련하는 추세다. 화상회의로 거액 송금이나 계좌 변경을 요청받으면 반드시 별도 채널로 재확인하도록 하는 절차를 도입한 곳도 늘고 있다. 일부 금융기관은 화상 인증 이후에도 추가로 유선 통화나 오프라인 서명을 요구하는 이중 확인 절차를 병행하고 있다. 딥페이크 탐지 기술은 계속 고도화되고 있지만 완전한 방어선은 아직 만들어지지 않았다는 것이 관련 업계와 학계의 공통된 진단이다.