Super Resolution-based Robust Image Inpainting for Large-scale Missing Regions

Abstract

Image Inpainting은 이미지의 누락된 영역을 그럴듯한 이미지로 채우는 기법이다. 최근 딥러닝의 도입으로 인해 복원 성능이 크게 향상되었으나 누락된 영역이 클 경우, 복잡한 장면을 담고 있는 경우, 그리고 고해상도일 경우에는 부자연스러운 복원 결과를 얻는다. 본 논문에서는 고해상도 이미지보다 저해상도 이미지에서 복원이 더 잘 된다는 점을 활용하여 Super Resolution 기반의 2단계 Image Inpainting 기법을 제안한다. 첫 번째 단계에서 고해상도 이미지를 저해상도로 변환하여 복원을 수행하고, 두 번째 단계에서 Super Resolution 모델을 통해 원래의 고해상도로 복원한다. 제안하는 기법의 효과를 검증하기 위해 고해상도의 Urban100 데이터셋을 사용하여 정량 및 정성 평가를 수행하였다. 또한, 누락된 영역의 크기에 따른 복원 성능을 분석하고, 제안하는 기법이 자유로운 형태의 마스크에서 만족할 만한 복원 결과를 생성할 수 있음을 입증하였다.