3 minuto(s) de lectura

Week 59 – Evaluación Cuantitativa en Behavior Metrics (FastViT, ResNet-18 y PilotNet: BEV vs. Frontal)

Trabajo realizado

  • Corrección y Optimización del Motor de Métricas en Behavior Metrics (Python API sin ROS): Se completó la estabilización de la rama feature/carla-python-api-metrics para grabar y procesar métricas exclusivamente mediante la API de Python de CARLA:
    1. Desbloqueo de Grabación de Estadísticas: Se corrigió la detección de ROS_VERSION dentro de record_metrics y stop_recording_metrics en controller_carla.py, que por defecto intentaba invocar ros2 bag al iniciar/detener las métricas desde la GUI.
    2. Vectorización del Cálculo Espacial: Se optimizó con NumPy por bloques el cálculo de distancias al waypoint más cercano en metrics_carla.py, eliminando el congelamiento de la interfaz gráfica al finalizar cada experimento en Town04.
    3. Alineación de Coordenadas y Deduplicación de Eventos: Se eliminó la inversión de signos heredada de ROS en los mapas de colisiones e invasiones de carril para Town04, y se reiniciaron por tick los acumuladores de sensores (_last_collision_impulse y _last_lane_invasion) para evitar que un solo roce quedara pegado durante el resto del recorrido.
    4. Control de Pausa/Reanudación y Documentación: Se corrigió la inercia residual del vehículo al pausar la simulación anulando la velocidad objetivo y aplicando freno de mano en PilotCarla y ControllerCarla. Además, se documentó todo el flujo de trabajo en inglés (CARLA_PYTHON_API_GUIDE.md) junto con los requerimientos del entorno (requirements_api_carla.txt).
  • Integración de Nuevos Brains Homográficos y Frontales: Se programaron tres brains modulares para Behavior Metrics (brain_fastvit_bev.py, brain_resnet18_bev.py y brain_pilotnet_hd.py) junto con sus configuraciones YAML independientes (eval_fastvit.yml, eval_resnet18.yml, eval_pilotnet_bev.yml y eval_pilotnet_normal.yml), replicando exactamente los parámetros ópticos de extracción (1920x1080, FOV 110°, Pitch -15°, máscara de horizonte y < 450 y matriz homográfica $H$).
  • Entrenamiento Comparativo de PilotNet (BEV vs. Imagen Frontal Normal): Con la misma base experimental utilizada en FastViT y ResNet-18 (Image-Only, resolución 240x320, normalización ImageNet, Weighted Huber Loss con curve_multiplier=12.0, 15 épocas), se desarrollaron dos scripts gemelos (train_pilotnet_onlyimg_bev.py y train_pilotnet_onlyimg_normal.py) sobre dataset_masivo_continuo para comparar directamente el impacto de la transformación cenital (BEV) frente a la imagen perspectiva frontal original.
  • Evaluación Cuantitativa en el Circuito de Town 04: Se evaluaron los cuatro modelos en bucle cerrado bajo condiciones idénticas (FixedThrottle: 0.40). Los resultados obtenidos se resumen en la siguiente tabla:
Modelo / Vista Distancia Total (m) Distancia Efectiva (m) Tiempo Simulado (s) Vel. Media (km/h) Desviación Media de Carril (m) Desviación por km (m/km) Suavidad Volante (suddenness_steer) Colisiones / km Invasiones / km
PilotNet (Frontal Normal) 3,782.32 2,618.0 418.76 32.53 0.745 0.284 0.0053 33.61 148.97
FastViT (BEV Homográfico) 551.28 336.0 70.31 28.37 0.902 2.683 0.0057 351.19 241.07
ResNet-18 (BEV Homográfico) 535.05 254.0 73.34 26.49 1.653 6.510 0.0060 980.31 299.21
PilotNet (BEV Homográfico) 261.68 170.5 35.41 26.84 1.276 7.486 0.0096 768.33 445.75
  • Conclusiones del Experimento:
    1. Superioridad de FastViT dentro del dominio BEV: Entre los tres modelos entrenados con vista cenital homográfica, FastViT obtuvo el mejor desempeño en todas las métricas: recorrió la mayor distancia efectiva (336.0 m), mantuvo el vehículo mucho más centrado (0.902 m de desviación media frente a 1.653 m de ResNet-18 y 1.276 m de PilotNet BEV) y registró la menor tasa de colisiones e invasiones de carril del grupo BEV.
    2. Contraste Frontal vs. BEV en PilotNet: Mientras que PilotNet en vista BEV solo logró recorrer 261.68 m antes de perder la trayectoria tras la primera curva, el mismo modelo PilotNet entrenado con la imagen frontal normal recorrió 3,782.32 m (casi el circuito completo de Town04), con la menor desviación lateral (0.745 m) y el control más suave (0.0053). Esto se explica porque la transformación BEV recorta el horizonte (y < 450) y concentra la vista en los metros inmediatos frente al cofre, reduciendo la distancia de anticipación a ~30 km/h, mientras que la imagen frontal conserva la curvatura lejana de la autopista.

Visualizaciones

Evaluación en Behavior Metrics de PilotNet con imagen frontal normal
Figura 1 (PilotNet Frontal Normal): Trayectoria completada de 3,782.32 m a lo largo del circuito de Town 04 con una desviación media de carril de 0.745 m y velocidad promedio de 32.53 km/h.
Evaluación en Behavior Metrics de FastViT con vista BEV homográfica
Figura 2 (FastViT BEV Homográfico): Mejor desempeño entre las arquitecturas evaluadas con vista cenital (551.28 m recorridos, 0.902 m de desviación media), superando la primera curva y toda la recta este con trayectoria estable.
Evaluación en Behavior Metrics de ResNet-18 con vista BEV homográfica
Figura 3 (ResNet-18 BEV Homográfico): Recorrido de 535.05 m hasta la curva noreste, mostrando mayores oscilaciones laterales en la recta este (desviación media de 1.653 m).
Evaluación en Behavior Metrics de PilotNet con vista BEV homográfica
Figura 4 (PilotNet BEV Homográfico): Recorrido de 261.68 m superando la curva sureste inicial antes de desviarse en la recta este (desviación media de 1.276 m).