Vision Transformer-based Deepfake Detection Using Multiscale Features

Abstract

딥페이크는 이미지나 영상에서 특정 사람의 얼굴을 다른 사람으로 대체하는 딥 러닝 기술, 또는 이 기술을 이용해 생성한 가짜 이미지나 영상을 지칭한다. 딥 러닝 기술이 널리 보급되면서 딥페이크 기술에 대한 접근성이 높아졌고, 결과적으로 이를 악용한 범죄도 증가하고 있다. 이에 따라 효과적인 딥페이크 탐지 기술의 필요성이 점점 더 커지고 있다. 딥페이크 생성은 주로 신원 교체와 표정 재연이라는 두 가지 방식으로 이루어지는데, 기존의 탐지 기술은 딥페이크가 어떤 방식으로 생성되었는지에 따라 탐지 성능의 편차를 보인다. 본 연구에서는 딥페이크 탐지 모델의 성능 편차를 줄임으로써 기존 방법론들의 한계를 보완할 수 있는 연구를 제안하고자 하였다. 제안하는 모델은 먼저 영상을 프레임 단위의 이미지들로 자른 다음, 딥페이크의 주된 대상 영역인 얼굴 부분과, 일종의 지역 정보라고 할 수 있는 입 부분을 각각 추출하여 멀티스케일 특성으로 활용한다. 각 특성을 서로 다른 비전 트랜스포머 구조에 입력한 다음, 출력되는 예측 결과들을 종합하여 동영상이 딥페이크인지 아닌지를 효과적으로 판단하게 된다. 특히, 얼굴 부분은 신원 교체 방식으로 생성된 딥페이크를 대응하는 데 도움이 되고, 입 부분은 표정 재연 방식의 딥페이크를 대응하는 데 도움이 되기 때문에 모델은 서로 다른 딥페이크 생성 방식에 대한 강건성을 갖게 된다. 제안하는 방법론을 두 개의 데이터셋에 대해 실험한 결과, 상대적으로 높은 탐지 성능과 함께 다양한 딥페이크 생성 방식에 대해 보다 범용적으로 대응할 수 있는 가능성을 확인하였다.