Utilización de grad-cam y shap-values

Semana 13

Durante esta semana he utilizado tanto grad-cam como shap values para añadir una capa de explicabilidad en nuestra red.

SHAP-VALUES

Shap values, en este caso, nos sirve para visualizar en que pixeles se esta fijando más nuestra red PilotNet. Para llevar a cabo este proceso debemos:

• Cargar el modelo de nuestra red.
• Añadimos unas imagenes de “muestra”, nos sirven para que shap values sepa cuanto se desvia nuestra red. Estas imagenes salen de las imagenes de training.
• Añadimos las imagenes que queremos analizar, lo mejor es que sean de la parte de test. Con esto nos aseguramos que la red no la ha visto en el entrenamiento
• Aplicamos shap y vemos el resultado.

Por ejemplo en TOWN01 este es el resultado:

Un resultado usando todo el dataset queda tal que:

Gracias a estos datos he comprobado que la red se fija mas en los bordes de la carretera en TOWN01. Añadiré más muestras de las otras ciudades para comprobar si mejora.

GRAD-CAM

En el caso de grad-cam, no he conseguido resultados tan buenos como con shap-values. No entiendo muy bien la razon y lo seguiré trabajando. De momento estos son los resultados al usar grad-cam en diferentes capas:

Como podemos ver incluso en las capas intermedias muestra que no hay activaciones. Intentaré entender mejor grad-cam, aunque shap values da mejores resultados de momento.