Método para identificar estados cognitivos a partir de datos multimodales de comportamiento aplicando técnicas de visión artificial y algoritmos de aprendizaje automático supervisado

Abstract

La inteligencia humana es una cualidad psicológica que abarca la capacidad de aprender de la experiencia, adaptarse a nuevas circunstancias, procesar conceptos abstractos complejos y emplear el conocimiento para interactuar con el entorno y modificarlo. Los estados cognitivos se reflejan en respuestas que influyen en el comportamiento humano, manifestándose a través de expresiones faciales, movimiento corporal y reacciones emocionales ante situaciones que impactan la estabilidad cognitiva. La inclusión de la detección de estados cognitivos durante la evaluación de la experiencia del usuario (UX) representa una oportunidad valiosa para mejorar la eficiencia y calidad de productos o servicios. La estrategia de extracción multimodal incluye la detección de 46 puntos relacionados con movimiento de cabeza, posición de manos y expresiones faciales, se analizaron tres algoritmos de aprendizaje automático supervisado, Random Forest, KNN y SVM. Para el entrenamiento se utilizaron dos data-set de imágenes Cam3D y Pandora, obteniendo una precisión del 98% con Random Forest, 97% con KNN y 95% con SVM, para la detección de tres estados cognitivos atención, concentración y distracción.