Semana 9. Red Neuronal para segmentación semántica visual.

Esta semana he comenzado a investigar sobre la segmentación semántica visual. Para comenzar he replicado el entorno necesario para lanzar el programa inference.py. Este programa realiza la segmentación semántica de imágenes utilizando la librería MMSegmentation, que está basada en Pytorch para el entrenamiento de los modelos. Para evaluar los resultados de la segmentacion se usa PerceptionMetrics una librería desarrolada por @dpascualhe.

Para la segmentación de imagen se está trabajando con 4 datasets de navegación off-road: RUGD, WildScenes, GOOSE y RELLIS-3D. El modelo ha sido entrenado con datos combinados de GOOSE y RELLIS-3D usando un conjunto de 8 clases personalizadas: void (vacío), water (agua), obstacle (obstáculo), nondrivable_vegetation (vegetación no transitable), drivable_vegetation (vegetación transitable), unstable_terrain (terreno inestable), stable_terrain (terreno estable) y sky (cielo).

El programa inference.py toma como entrada una imagen y un modelo previamente entrenado, y a través de un proceso de inferencia, asigna una etiqueta de clase a cada píxel de la imagen. Estas etiquetas corresponden a las anteriormente mencionadas y se visualizan a través de un mapeo de colores para facilitar la interpretación de los resultados. El resultado del proceso es una capa de segmentación en formato imagen, donde cada región queda claramente diferenciada según su categoría.