Enhancing Image Retrieval Re-Ranking using Mutual Information Minimization

Abstract

Content-Based Image Retrieval zielt darauf ab, relevante Bilder in einer Datenbank anhand des visuellen Inhaltes eines Anfragebildes zu finden. Ein häufig verwendeter Ansatz ist es, zwei Arten von erlernten Bildrepräsentationen zu verwenden. Globale Repräsentationen erfassen die Semantik auf einer komplexen Ebene, während lokale Repräsentationen die Semantik auf einer einfachen Ebene erfassen. Re-ranking wird benutzt um den Suchraum einzuschränken. Zuerst werden Bilder anhand der globalen Repräsentation vorgefiltert und dann mittels Geometric Verification der lokaler Repräsentationen umgereiht. Geometric Verification funktioniert anhand der räumlichen Position der lokalen Repräsentationen, lässt aber die Ähnlichkeit anhand globaler Repräsentationen außer Acht. Bei aktuellen Methoden kommt es zu einer beträchtlichen Menge an Redundanz zwischen globalen und lokalen Repräsentationen. Die Dimensionalität der Repräsentationen im latenten Raum ist begrenzt, weshalb diese Redundanz die Ausdruckskraft der Repräsentationen beeinträchtigt. Eine Verringerung der Redundanz sollte daher die Effizienz des Re-Rankings verbessern. In dieser Arbeit wird vorgeschlagen, informationstheoretische Konzepte und Multi-View Representation Learning zu nutzen, um die Redundanz zwischen globalen und lokalen Repräsentationen zu verringern. Zunächst untersuchen wir den Effekt von Transinformation zwischen Repräsentationen auf Image Retrieval Systeme. Um Redundanz zu “bestrafen”, fügen wir die Schätzung von Transinformation als kontrollierbaren Faktor zum Optimierungsziel des Netzwerkes hinzu. Das Modell ist durchgängig mittels image-level supervision trainierbar. Wir evaluieren unsere Methodik anhand zweier Ansätze der Schätzung von Transinformation und des Re-Rankings. Wir führen Experimente auf dem Revisited Oxford and Paris sowie dem Stanford Online Products Datensatz durch. Unsere Ergebnisse zeigen, dass die Reduktion von Redundanz durch Schätzung von Transinformation das Re-Ranking deutlich verbessern kann.