An investigation of weight perturbation for mitigating Spurious Correlations

Abstract

Les corrélations spurielles—des motifs non causaux présents dans les données—posent un défi significatif pour la généralisation et l'équité des systèmes d'apprentissage profond. Ces caractéristiques, bien qu'elles ne soient pas les caractéristiques principales d'intérêt, conduisent souvent à des prédictions biaisées. Ce biais défavorise particulièrement les groupes minoritaires ou des sous-ensembles des données où ces caractéristiques ne sont pas alignées avec les caractéristiques principales (exemples conflictuels). Atténuer ce problème est crucial pour assurer un déploiement robuste des modèles d'apprentissage automatique dans des environnements réels. Dans ce travail, nous confirmons d'abord la dépendance des modèles d'apprentissage profond aux corrélations spurielles. En outre, nous étudions l'effet de la perturbation des paramètres du modèle sur les exemples conflictuels. Grâce à des expériences sur deux ensembles de données de référence, nous démontrons l'impact prononcé des perturbations de poids sur les exemples conflictuels. Enfin, nous utilisons cette perspicacité pour concevoir une procédure d'entraînement qui guide le modèle vers l'apprentissage de caractéristiques plus robustes. Nous introduisons une nouvelle approche d'atténuation qui combine l'inférence basée sur la perturbation suivie d'un processus d'affinage. Notre méthode améliore notablement la précision du pire groupe avec une charge de calcul minimale, ce qui en fait une solution pratique pour améliorer la robustesse du modèle, en particulier dans les cas où l'attribut spécieux n'est pas disponible pendant l'entraînement ou la validation. Ces résultats soulignent le potentiel des perturbations de poids comme outil pour améliorer l'équité et la robustesse des modèles.