Ahondamiento en explicabilidad
Semana 14
Durante estos últimos días he estado experimentando con shap values para tomar información sobre donde se fija la red PilotNet. Para esto he probado diferentes configuraciones para captar que resulta mejor.
NO-CROP
En primer lugar he probado la red sin hacer ningún recorte a la imagen original. Para este y los siguientes casos he cogido dos referencias, en primer lugar he entrenado una red con casos de TOWN01, 05 y 07, por otra parte he entrenado a la red mas sencilla que me ha funcionado, una red con solo giro en TOWN01. He hecho estas dos pruebas para ver si difieren los casos mas sencillos de los contienen diferentes muestras de varias ciudades. Todas las redes se han entrenado con las mismas imagenes y con los mismo separación entre test, validation y training.
Pondré un ejemplo de tanto:
- Giro a la izquierda
- Giro a la derecha
- Coche en recta
- Casos de mayores fallos
Para los casos con mayores fallos lo que he hecho es recorrer el dataset de test, pasarselo a la red de PilotNet y guardar su resultado, por último comparar con la medida real.
Forward
Steering y throttle
Steering
Left
Steering y throttle
Steering
Right
Steering y throttle
Steering
Max error
Steering y throttle
Steering
035-CROP
En los siguientes ejemplos he recortado el 35% porciento superior de la imagen, siguen la misma distribución que seguía anteriormente
Forward
Steering y throttle
Steering
Left
Steering y throttle
Steering
Right
Steering y throttle
Steering
Max error
Steering y throttle
Steering
045-CROP
En los siguientes ejemplos he recortado el 35% porciento superior de la imagen, siguen la misma distribución que seguía anteriormente:
Forward
Steering y throttle
Steering
Left
Steering y throttle
Steering
Right
Steering y throttle
Steering
Max error
Steering y throttle
Steering
Conclusiones
A partir de las imagenes que he recopilado saco las siguientes conclusiones. En primer lugar creo que el método del crop funciona bien para mejorar la atención en la carretera, se puede ver que en las imagenes sin crop el horizonte en algunas imagenes toma bastante importancia siendo un foco de atención de la red. Al reducir la imagen un 35% o un 45% se puede ver que la red empieza a fijar mucho mas en las lineas, en los bordillos y en los postes de luz. Entre el crop de 35% y el del 45% no veo diferencias abismales, sin embargo se puede ver que la atención tanto en líneas como en bordillos es mayor en el crop del 45%.
En segundo lugar, las sombras. Se ve en diferentes imagenes que la red tiene puntos calientes en sombras de postes o la diferenciación entre las sombras y la luz de los edificios. Creo que es un punto interesante que se podría trabajar.
En tercer lugar, los casos de error más altos. Al fijarme en los puntos calientes dentro de los casos de error significativo, veo varios patrones patrones:
- El primer patrón es que la red se fija en demasiadas cosas.
- El segundo es que toma total atención en alguna punto fuera de la carretera, hay un caso en el que su total atención es un arbusto del lateral de la carretera.
- El tercero es que los casos suelen ser de curvas, creo que la red no está prediciendo de curvas muy altos. Hay varios ejemplos que deberián ser de curvas bastante cerradas (en torno a -0,5 o 0,5) y da valores de curva intermedia (en torno a -0,25 o 0,25). Mi interpretación es que puede que haya demasiados casos de recta.
Con este pequeño análisis pretendo seguir mejorando la manera de entrenar y con esto lograr mejores resultados en Imitation Learning. Creo que apuntar hacia la explicabilidad para mejorar la manera de tomar datos y entrenar es el camino correcto.