1 minuto(s) de lectura

Week 55 – Simplificación Arquitectónica e Inferencia en Tiempo Real en CARLA (Town 04)

Trabajo realizado

  • Rediseño del Modelo y Prevención de Fuga de Datos: Para optimizar el aprendizaje y evitar que el modelo hiciera trampa haciendo que el carro chocara intentando adivinar la velocidad calculada, se modificó la arquitectura de la red ResNet-18. Se reestructuró la red neuronal para que reciba el estado del acelerador (throttle) como una variable numérica de entrada junto con la imagen cenital. Como resultado, la capa de salida se simplificó a una sola neurona dedicada exclusivamente a la predicción del ángulo del volante (steering).
  • Ajuste del Dataset y Entrenamiento Específico: Se actualizó la clase DrivingDataset para empaquetar el throttle como dato de entrada (Input) en lugar de etiqueta (Label). El entrenamiento se ejecutó aplicando la función Weighted Huber Loss (Balanceo en Caliente) únicamente a la dirección, multiplicando la penalización durante las curvas para asegurar que la red aprendiera a girar eficazmente y no fuera dominada estadísticamente por las rectas del dataset (Justo como en los modelos sin la imagen rectificada).
  • Desarrollo del Pipeline de Inferencia en Bucle Cerrado (Closed-Loop): Se construyó el script maestro de inferencia (infer_rn18_260920.py), cometí el error de usar el la misma que para pilotnet solo cambiaba los parametros de la cámara, ahora esta de cero.
  • Despliegue y Pruebas en Circuito (Town 04): Se configuró la API de CARLA para cargar el mapa Town04 e instanciar el Tesla Model 3 directamente en su circuito de alta velocidad. Alimentando a la red con un throttle constante de 0.4 (~40 km/h), el modelo logró procesar correctamente el flujo de vista de pájaro y predecir los ángulos precisos de la dirección, manteniendo al vehículo autónomo exitosamente centrado dentro del carril durante todo el trayecto, junto con esto hice el calculo de cuanto tiempo tarda en generar la imagen rectificada en tiempo real, y esta toma entre 1 y 5 milisegundos, teniendo como media 3 ms.

Visualizaciones

Prueba de inferencia autónoma en Town 04
Video: Resultado de la inferencia en tiempo real procesando imágenes con mapeo inverso de perspectiva (BEV) mediante ResNet-18 (Only Steering) a velocidad constante en el circuito cerrado de Town 04. (Haz clic en la imagen para reproducir el video).