Cross Modal Calibration for RGB-D Instance Segmentation

Abstract

딥러닝 분야에서 다중 모달리티 학습이 일반화되면서 이미지 분할 작업도 RGB뿐만 아니라 부가적인 모달리티를 함께 사용하는 추세이다. 특히, 센서 기술의 발전으로 과거에 비해 깊이 데이터를 쉽게 얻을 수 있게 되면서 깊이 데이터의 기하학적 정보를 활용하여 조명 변화에 민감한 RGB 기반 이미지 분할 모델의 취약점을 해결하려는 연구가 진행되고 있다. 그러나 기존의 RGB-깊이 연구는 주로 의미론적 분할 작업에 치중되어 있었다. 우리는 이러한 문제에 대응하기 위해 효과적인 RGB-깊이 객체 분할을 위한 융합 모듈을 제안한다. 또한, 세 가지 RGB-깊이 객체 분할 벤치마크 데이터셋을 새롭게 구축하고 다양한 기법들에 대해 비교실험을 수행한다. 이러한 데이터셋은 실내 탐색부터 로봇 조작까지 다양한 응용 분야를 지원할 수 있다. 제안하는 접근 방식은 다양한 객체 분할 작업 벤치마크 데이터셋에서 기존 기법 대비 뛰어난 인식 정확도를 보여준다.