Soy ingeniero en robótica, apasionado por los vehículos autónomos y el desarrollo de tecnologías inteligentes que impacten positivamente el mundo real.
Week 45 – Entrenamiento de PilotNet e Inferencia en Tiempo Real en CARLA
Trabajo realizado
Optimización del Pipeline de Extracción: Se refactorizó el script de generación del dataset maestro para enfocarse estrictamente en la clonación de comportamiento (Behavioral Cloning). Se eliminaron cálculos espaciales redundantes (como la estimación de velocidad vectorial), aligerando el procesamiento y generando un archivo driving_log.csv depurado que vincula exclusivamente los frames con los controles de mando (throttle y steering).
Implementación y Entrenamiento de Modelo PilotNet: Se desarrolló la arquitectura de red neuronal convolucional (CNN) PilotNet de NVIDIA utilizando PyTorch. Se implementó un DataLoader personalizado que aplica preprocesamiento geométrico a las imágenes (recorte del horizonte/capó y redimensión estricta a 200x66 píxeles) y se entrenó el modelo utilizando Mean Squared Error (MSE) para predecir de forma continua el ángulo del volante.
Inferencia en Lazo Cerrado (Closed-Loop): Se construyó y desplegó un script de prueba interactivo para evaluar el modelo dentro del simulador. El sistema instanció al vehículo en Town04_Opt (entorno de circuito periférico), delegando el control lateral directamente a los tensores de salida de la red neuronal, mientras se mantenía una velocidad de crucero constante.
Dashboard de Telemetría (OpenCV): Se integró un HUD en tiempo real que captura el stream de la cámara RGB del vehículo y superpone una barra dinámica de telemetría, permitiendo monitorear visualmente las decisiones de giro (magnitud y dirección) dictadas por los pesos de la red neuronal durante la conducción autónoma.
Visualizaciones
Evolución del entrenamiento de la arquitectura PilotNet en PyTorch. El preprocesamiento de las imágenes (recorte de 250x500 y escalado a 200x66) fue fundamental para que la red se concentrara exclusivamente en las líneas del carril y el asfalto.
Prueba de inferencia en circuito cerrado (Town04). El dashboard en tiempo real (OpenCV) muestra el cálculo continuo del vector de giro (Steering) dictado por la red neuronal, manteniendo el vehículo centrado en la autopista. (Video de la prueba completa: Ver Inferencia en YouTube).
