12 minuto(s) de lectura

Week 62 – Homologación del Vehículo Lincoln MKZ 2020 en Bench2Drive (788.5 m con 0 Colisiones), Generación del Dataset Multi-Mapa BEV Nativa con Waypoints (188,868 Cuadros) y Evaluación en Behavior Metrics

Trabajo realizado

  • Homologación del Vehículo Original del Dataset Bench2Drive (vehicle.lincoln.mkz_2020), Restitución de Ganancia 1:1 y Evaluación de 3 Minutos en Behavior Metrics (788.49 m, 0 Colisiones):
    1. Auditoría del Vehículo Ego y Geometría de Dirección: Tras observar en la Semana 61 que el modelo frontal dejaba de oscilar pero aún tendía a abrirse en curva, se auditaron los metadatos de los 998 clips de Bench2Drive, verificando que el dataset original fue capturado íntegramente con el vehículo vehicle.lincoln.mkz_2020 (cámara CAM_FRONT en x=0.8m, y=0.0m, z=1.6m, pitch=0.0°, FOV=70°, 1600×900) y no con vehicle.tesla.model3. Los factores de escalado (STEER_GAIN = 1.65 o 0.30) y amortiguadores derivativos que se habían probado previamente intentaban compensar artificialmente tanto la discrepancia cinemática (distancia entre ejes y ángulo máximo de giro de las ruedas entre el Tesla Model 3 y el Lincoln MKZ 2020) como el sesgo lateral de los clips de evasión de obstáculos.
    2. Restitución de Relación Directa 1:1 y Fine-Tuning Suavizado (modelo_resnet18_bench2drive_lanefollow.pth): Al instanciar el blueprint exacto vehicle.lincoln.mkz_2020 y emplear el checkpoint de ResNet18SteeringOnly ajustado (Fine-Tuning de 10 épocas, batch_size = 256, 69 iteraciones por época sobre las 17,843 imágenes simétricas y suavizadas de train_lanefollow_log.csv), se eliminaron las ganancias artificiales dejando una relación directa SteerGain = 1.0 acompañada únicamente de un suavizado exponencial ligero (SteerEMA = 0.75).
    3. Integración en Behavior Metrics (brain_bench2drive_frontal.py, eval_bench2drive_frontal.yml) y Monitoreo Remoto (remote_viewer_server.py): Se desarrolló el cerebro brain_bench2drive_frontal.py aplicando el mismo preprocesamiento en GPU que en el entrenamiento (CropTopRatio = 0.35, redimensionado cv2.INTER_AREA a 320×240 y normalización ImageNet), junto con un controlador proporcional longitudinal (UseSpeedController = True, TargetSpeedKmh = 20.0, que mantiene el acelerador estable en throttle = 0.4075 ± 0.0114 para una velocidad constante de ~16.0 km/h) y un servidor web persistente en el puerto 8080 para visualizar el stream MJPEG y las gráficas de resultados en tiempo real desde Termux/Tailscale.
    4. Análisis Cuantitativo de la Salida de la Red (5,559 Cuadros en Movimiento): La red ResNet18SteeringOnly predice un único escalar continuo steer en [-1.0, +1.0] a través de su capa Linear(64, 1). A lo largo de los 3 minutos de recorrido en el carril central (20261111-112211.csv), la salida se mantuvo acotada en el rango [-0.1133, +0.1386] con media +0.0087 y desviación estándar 0.0245:
      • Tramo 1 (1.ª curva amplia sureste, x=225, y=-371 $\to$ x=365, y=-312): steer medio de +0.0119 (máximo de +0.0675).
      • Tramo 2 (Salida de curva y cruce de bifurcación este, x=365, y=-312 $\to$ x=392, y=-131): steer medio de +0.0078 (con corrección puntual a -0.1133 para mantenerse en el carril central al pasar la rampa de salida).
      • Tramo 3 (2.ª curva cerrada de 90° noreste, x=392, y=-130 $\to$ x=315, y=+14): steer medio de +0.0156, alcanzando +0.1386 sostenido durante el giro de 90°.
      • Tramo 4 (Recta transversal norte hacia el trébol, x=315, y=+14 $\to$ x=75, y=+10): steer medio de -0.0003 (manteniéndose prácticamente en 0.0000, dentro de [-0.0213, +0.0196] durante los últimos ~240 m).
    5. Comparativa de Corridas en Town04_Opt (Carril Derecho de Salida vs. Carril Central Continuo):
      • En la primera prueba de 60 s (20261111-105710) iniciando en el carril derecho (lane_id = -4, 225.25, -364.11), el vehículo recorrió 254.32 m (280.0 m efectivos) con 0 colisiones, 0 invasiones de carril y una desviación media respecto al centro del carril de tan solo 0.146 m (14.6 cm).
      • Al extender la prueba a 180 s en ese mismo carril derecho (20261111-111142), el auto avanzó sin invadir líneas (lane_invasions = 0) hasta el metro 292.41 (x=383, y=-175), punto donde el carril derecho se bifurca en “V” hacia la rampa de salida de la ciudad y se encuentran los 5 barriles azules amortiguadores de impacto (static.guardrail); al abrirse ambas líneas blancas en “V”, el seguidor de carril se centró entre ellas topando con los barriles.
      • Al posicionar el inicio en el carril central continuo de la autopista (lane_id = -2, InitPosition: '225.34 -371.13 0.28 0.00 0.20 0.00', corrida 20261111-112211) durante 180 s (3 minutos), el vehículo superó limpio la zona de bifurcación, completó las dos curvas de 90° del circuito este y norte y recorrió 788.49 m (784.0 m efectivos) en movimiento ininterrumpido con 0 colisiones (0.0 / km) y una desviación media del centro de 0.285 m (28.5 cm).

Resultados en Behavior Metrics del Modelo Frontal Bench2Drive con vehicle.lincoln.mkz_2020 (Town04_Opt)

Experimento (eval_bench2drive_frontal.yml) Carril Inicial (InitPosition) Tiempo Simulado (s) Distancia Total (m) Distancia Efectiva (m) Vel. Media / Máx (km/h) Desviación Media de Carril (m) Suavidad (suddenness_steer/km) Invasiones Totales Colisiones Totales
20261111-105710 (60 s) Carril Derecho (lane_id = -4) 59.98 254.32 280.0 15.30 / 16.25 0.146 0.00234 0 0
20261111-111142 (180 s) Carril Derecho (lane_id = -4, Bifurcación) 180.02 292.41 317.0 5.96 / 16.24 0.890 0.00354 0 Bifurcación (292.4 m)
20261111-112211 (180 s) Carril Central (lane_id = -2) 180.07 788.49 784.0 15.73 / 16.25 0.285 0.00133 5 (6.38/km) 0 (0.0/km)
  • Diagnóstico de Causa Raíz en libcarla C++ y Generación Completa del Dataset Multi-Horizonte (dataset_waypoints – 188,868 Filas, 240 GB): A partir de las limitaciones identificadas en las semanas anteriores —donde las reproyecciones homográficas (cv2.remap) y el traslado al centro geométrico sufrían distorsión de horizonte o puntos ciegos cercanos, y donde la predicción directa de ángulos de dirección (steering) resultaba vulnerable a pulsos discretos—, se rediseñó el pipeline de captura síncrona (gen_waypoint_dataset.py) sobre las 4 grabaciones expertas DAgger (logs_dagger_expert en Town01, Town02, Town03 y Town04, 100% libres de autopilot):
    1. Resolución de Abortos SIGABRT (exit 134) en libcarla C++ entre Reinicios de CARLA: Mediante trazas de pila en gdb, se demostró que al reutilizar un mismo proceso Python tras reiniciar CarlaUE4, los ~24 hilos internos Boost.Asio de instancias carla.Client previas permanecían vivos (Episode::Listen() en el puerto 2001), reconectándose al nuevo servidor y disparando una excepción no capturada carla::client::TimeoutException dentro de LightManager::QueryLightsStateToServer() -> std::terminate(). Se solucionó aislando cada bloque de 600 s en su propio subproceso independiente (--_internal chunk).
    2. Eliminación de la Condición de Carrera (~10%) en CarlaReplayer Síncrono: Se identificó que invocar client.replay_file() inmediatamente después de world.apply_settings() dejaba ocasionalmente al vehículo congelado en el cuadro inicial. Se estabilizó la transición ejecutando 2 world.tick() síncronos previos a replay_file(), eliminando la segunda llamada redundante a apply_settings() y verificando la continuidad espacial exacta (dist_seam <= 0.25 m, error medido < 5.8e-05 m) en cada unión de bloque.
    3. Captura Dual Sincronizada (Frontal 1920×1080 + BEV Cenital Nativa 800×800) y Etiquetado de Waypoints: Se acoplaron simultáneamente la cámara frontal canónica (x=2.0m, y=0.0m, z=1.6m, pitch=-15°, FOV=110°) y una cámara cenital ortogonal nativa en CARLA (x=10.0m, y=0.0m, z=30.0m, pitch=-90°, FOV=90°, 800×800, resolución exacta de 0.075 m/px) a 10 Hz (pair_dt = 0.0 s). Para cada instante se proyectó la trayectoria futura real del vehículo al marco local del ego (x = adelante, y = derecha), generando 10 waypoints equidistantes por longitud de arco (wpa1..wpa10, de 2 m a 20 m cada 2.0 m) y 8 waypoints temporales (wpt1..wpt8, de 0.5 s a 4.0 s), aislando automáticamente los saltos de perturbación lateral DAgger (discontinuity == 1) para que ninguna ventana futura cruce discontinuidades.

Composición del Dataset Multi-Mapa Generado (dataset_waypoints)

Sesión (logs_dagger_expert) Mapa CARLA Condición Climática Filas Totales (10 Hz) Pares de Imágenes (front + bev) Ventanas Válidas por Arco (wp_arc_valid) Ventanas Válidas por Tiempo (wp_time_valid) Saltos DAgger (discontinuity) Duración Simulada
recording_20260611_201953 Town03 Despejado (cloud=10%) 29,107 29,067 19,650 17,195 328 2,910.7 s
recording_20260611_204645 Town04 Niebla densa (fog=40%, wet=30%) 58,691 58,430 32,773 34,731 614 5,869.1 s
recording_20260612_201035 Town01 Lluvia (precip=40%, wet=80%) 35,745 35,533 14,915 20,477 576 3,574.5 s
recording_20260612_202856 Town02 Urbano soleado (fog=10%) 65,325 65,316 14,391 37,998 731 6,532.5 s
Total Consolidado 4 Mapas 4 Climas 188,868 188,346 81,729 110,401 2,249 18,886.8 s (~5.25 h)
  • Arquitectura ResNet18Waypoints con Cuello Espacial (Spatial Bottleneck) y Entrenamiento en BEV Nativa (train_waypoint_dataset.py):
    1. Preservación de Coordenadas Espaciales 2D: En una ResNet-18 estándar, la capa GlobalAvgPool (1×1) colapsa la ubicación espacial (u, v) de las líneas del carril antes de las capas densas. Para evitarlo, se diseñó ResNet18Waypoints, que reemplaza el pooling global por una reducción Conv2d(512 -> 64, 1×1) + BatchNorm2d + SiLU seguida de una grilla espacial fija AdaptiveAvgPool2d((4, 6)) (1,536 características con localización geométrica explícita), alimentando un cabezal principal de 10 waypoints (x, y) (20 salidas) inicializado sobre el eje longitudinal (2m..20m) y un cabezal auxiliar de steering.
    2. Partición Estratificada por Segmento y Pérdida Geométrica Ponderada (WaypointLaneFollowLoss): Se filtraron los cuadros con movimiento activo (speed >= 1.0 km/h y wp_arc_valid == 1), obteniendo 81,489 muestras válidas divididas por segmentos continuos completos sin data leakage: 69,168 muestras de entrenamiento y 12,321 de validación. La función de pérdida combina Huber Loss ponderada exponencialmente por horizonte, un peso 2.0× en el eje lateral y, multiplicador suave en curvas/recuperaciones DAgger (1.5× según |wpa5_y| a 10 m) y regularización de segunda derivada espacial para garantizar trayectorias suaves.
    3. Convergencia en 15 Épocas con Métricas Físicas en Metros: El entrenamiento en la GPU AMD Radeon RX 6750 XT (batch_size = 256, AMP FP16, aumento simétrico por inversión horizontal flip_prob = 0.5 invirtiendo simultáneamente wp[:, 1] = -wp[:, 1] y steer = -steer) redujo la pérdida de entrenamiento de 0.10140 a 0.00754, alcanzando un error lateral físico en validación de 0.337 m a 6 m de anticipación (Lat@6m) y un error promedio de desplazamiento (ADE) de 0.719 m–0.723 m a lo largo de los 20 metros de horizonte.

Evolución del Entrenamiento Multi-Horizonte con ResNet-18 Spatial BEV (15 Épocas)

Época Train Loss (69,168 imgs) Val Loss por Segmento (12,321 imgs) ADE 2m..20m (m) Error Lateral @6m (m) Error Lateral @10m (m) FDE @20m (m) Steer MAE Learning Rate
01 0.10140 0.09454 0.740 0.328 0.636 1.462 0.0470 2.97e-04
02 0.05095 0.09261 0.738 0.343 0.666 1.375 0.0471 2.87e-04
05 0.02459 0.09155 0.724 0.336 0.649 1.362 0.0471 2.25e-04
06 0.02098 0.09063 0.733 0.341 0.659 1.378 0.0476 1.97e-04
07 (BEST) 0.01789 0.09039 0.723 0.338 0.653 1.350 0.0474 1.66e-04
10 0.01239 0.09152 0.725 0.338 0.654 1.350 0.0479 7.58e-05
12 0.00949 0.09079 0.719 0.337 0.649 1.335 0.0477 2.96e-05
15 0.00754 0.09101 0.722 0.338 0.650 1.345 0.0477 1.00e-06
  • Integración del Controlador Geométrico Pure Pursuit en Behavior Metrics (brain_waypoints_bev.py y eval_waypoints_bev.yml):
    1. Controlador Pure Pursuit Adaptativo sobre los 10 Waypoints: Se implementó el nuevo cerebro brain_waypoints_bev.py junto con la configuración eval_waypoints_bev.yml (posicionando Camera_0 en la pose cenital exacta '10.0 0.0 30.0 0.0 -90.0 0.0' y Camera_1 como cámara frontal auxiliar para visualización dual en vivo por Tailscale en el puerto 8080). En cada ciclo síncrono (20 Hz), la red predice los 10 waypoints (x_fwd, y_right) y el controlador Pure Pursuit interpola el punto objetivo a una distancia de lookahead $L_d = \text{clip}(0.22 \cdot v_{\text{km/h}}, 4.0\,\text{m}, 10.0\,\text{m})$, calculando la curvatura física $\kappa = 2 y_t / L_d^2$ y el ángulo de dirección $\delta = \arctan(L \cdot \kappa)$.
    2. Evaluación de 2 Minutos en Town04_Opt (20261115-214129): Se ejecutó una corrida continua de 120.04 s en el circuito de autopista de Town04:

Comparativa de Evolución en Behavior Metrics (Circuito Town 04)

Configuración / Experimento Distancia Total (m) Distancia Efectiva (m) Tiempo Simulado (s) Vel. Media (km/h) Desviación Media de Carril (m) Suavidad Volante (suddenness_steer) Colisiones Totales Colisiones / km
PilotNet BEV Clásico (Semana 59) 261.68 170.5 35.41 26.84 1.276 0.0096 >10 768.33
PilotNet BEV Bifocal v2 (Semana 60) 495.71 343.5 60.00 29.77 0.870 0.0030 >5 151.38
PilotNet Centro Geométrico (Semana 61) 503.41 417.5 60.01 30.24 0.717 0.0025 3 69.46
ResNet-18 Bench2Drive Frontal (lincoln.mkz_2020, 20261111-112211) 788.49 784.0 180.07 15.73 0.285 0.00104 0 0.00
ResNet-18 Waypoints BEV + Pure Pursuit (20261115-214129) 664.40 437.5 120.04 19.96 0.818 0.00185 0 0.00
  1. Interpretación de Resultados (Cero Colisiones y Superación de la Curva Cerrada de 90° NE):
    • 0 Colisiones en 664.40 m: A diferencia de los modelos anteriores que perdían la referencia visual al llegar a la bifurcación/curva norte (~500 m), el modelo ResNet18Waypoints en BEV nativa completó la curva sur inicial (0–40 s), toda la recta larga este (40–80 s), superó por completo el giro cerrado de 90° de la esquina noreste (80–100 s) y se estabilizó en la recta transversal central (100–120 s, donde solo registró 3 roces de línea en 20 s) con 0 colisiones (max collision_impulse = 0.0).
    • Máxima Suavidad de Dirección (suddenness_steer = 0.00185): La combinación de waypoints geométricos y Pure Pursuit redujo la brusquedad de volante un 26% adicional respecto a la Semana 61 y más de 5× frente al BEV clásico.
    • Análisis de Invasiones de Línea Punteada (Broken): De los 96 eventos de invasión registrados, el 95.8% (92 de 96) correspondieron a roces sobre líneas punteadas divisorias (Broken) entre carriles durante las curvas debido a una ganancia conservadora del controlador (SteerGain = 1.0, |steer| <= 0.136), lo cual es directamente ajustable en el controlador Pure Pursuit (SteerGain = 1.45, MinLookaheadM = 3.2 m) sin necesidad de reentrenar los pesos de la red.

Visualizaciones

Muestras sincronizadas Frontal y BEV Cenital Nativa en Town01, Town02, Town03 y Town04
Figura 1 (Dataset Multi-Mapa dataset_waypoints – 188,346 Pares Sincronizados Frontal + BEV Nativa): Ejemplos representativos de los 4 mapas expertos DAgger (Town01 bajo lluvia, Town02 urbano, Town03 túnel/glorieta y Town04 autopista con niebla), mostrando arriba la vista frontal (1920×1080, FOV=110°) y abajo la cámara cenital BEV nativa (800×800, z=30m, pitch=-90°, 0.075 m/px) con sincronización exacta (pair_dt = 0.0 s).
Curvas de entrenamiento y errores físicos en metros de ResNet-18 Spatial Waypoints BEV
Figura 2 (Convergencia de ResNet18Waypoints en BEV Nativa durante 15 Épocas): A la izquierda, evolución de la pérdida Huber multi-horizonte sobre 69,168 muestras de entrenamiento y 12,321 de validación particionadas por segmento. A la derecha, errores geométricos físicos en metros sobre el conjunto de validación, estabilizando el error lateral a 6 m en 0.337 m y el ADE promedio (2m..20m) en 0.719 m.
HUD de inferencia en vivo mostrando los 10 waypoints predichos y el punto lookahead de Pure Pursuit en Town 04
Figura 3 (Inferencia en Tiempo Real con brain_waypoints_bev.py y Controlador Pure Pursuit en Town 04): A la izquierda, vista de la cámara BEV nativa con los 10 waypoints predichos por la red (wpa1..wpa10, de 2 m a 20 m en verde/amarillo) siguiendo la curvatura de la autopista (y@6m: +0.21m, y@10m: +0.87m) y el punto objetivo de Pure Pursuit (círculo rojo). A la derecha, vista simultánea desde la cámara frontal del vehículo.
Trayectoria de 664.40 m y 0 colisiones en Behavior Metrics con ResNet-18 Waypoints BEV
Figura 4 (Evaluación de 2 Minutos en Behavior Metrics – 20261115-214129): Recorrido continuo de 664.40 m (437.5 m efectivos) en 120.04 s a 19.96 km/h con 0 colisiones, superando la curva sur, la recta este y el giro cerrado de 90° noreste de Town 04.
Mapa de invasiones de carril de ResNet-18 Waypoints BEV en Behavior Metrics
Figura 5 (Mapa de Invasiones de Carril – 20261115-214129): Distribución de roces de línea divisoria punteada (Broken: 92) en los tramos curvos y estabilización limpia dentro del carril en la recta transversal final.
Evaluación de 60 segundos en Behavior Metrics con Lincoln MKZ 2020 y ResNet-18 Bench2Drive Frontal
Figura 6 (Evaluación de 60 s en Behavior Metrics – 20261111-105710): Primer tramo en la curva sureste de Town 04 empleando el vehículo original vehicle.lincoln.mkz_2020 y modelo_resnet18_bench2drive_lanefollow.pth, completando 254.32 m con 0 colisiones, 0 invasiones de carril y desviación media del centro de 0.146 m (14.6 cm).
Evaluación de 180 segundos en el carril central de Town 04 recorriendo 788.49 m con 0 colisiones
Figura 7 (Evaluación de 3 Minutos en Carril Central – 20261111-112211): Recorrido continuo de 788.49 m (784.0 m efectivos) durante 180.07 s iniciando en el carril central (lane_id = -2), superando las dos curvas de 90° (sureste y noreste) y toda la recta transversal hacia el trébol central con 0 colisiones y desviación media de 0.285 m.
HUD de telemetría web remota en tiempo real al concluir los 788.49 m en Town 04
Figura 8 (Telemetría Remota MJPEG al Concluir los 3 Minutos – remote_viewer_server.py): Vista frontal de la cámara calibrada (1600×900, FOV=70° con línea amarilla de recorte superior al 35%) al cumplirse los 180 s en el carril central (Step 1114, Speed: 16.2 km/h, Steer: -0.0098, Throttle: 0.40), mostrando al vehículo centrado en su carril y estable en línea recta.