Ingeniero en Robótica e investigador doctoral. Desarrollando una Red Neuronal Universal para vehículos autónomos mediante visión homográfica (BEV) y aprendizaje End-to-End.
Week 61 – Integración del Dataset Multi-Mundo Bench2Drive (998 Clips), Entrenamiento con ResNet-18 y Diagnóstico de Seguimiento de Carril en Town 04
Trabajo realizado
Descarga y Filtrado Selectivo del Dataset Público Bench2Drive (998 Clips, 12 Mundos en 15.65 GB): Con el objetivo de evaluar la capacidad de generalización visual utilizando un benchmark público de conducción End-to-End en CARLA, se desarrolló un pipeline automatizado de descarga y extracción selectiva (download_all_towns_light.py) conectado al repositorio oficial rethinklab/Bench2Drive:
Extracción Al Vuelo (On-the-fly Wildcard Extraction): En lugar de almacenar los ~1.5 TB del dataset completo con nubes de puntos LiDAR, radar y cámaras multivista, el script filtró directamente del flujo .tar.gz únicamente la cámara frontal (camera/rgb_front, resolución 1600×900 a 10 Hz) y las anotaciones (anno/*.json.gz), generando un índice driving_log.csv local por clip y eliminando cada archivo comprimido tras su extracción.
Cobertura Completa de los 12 Mundos: Se completó la descarga de los 998 clips (247,365 imágenes en total) ocupando únicamente 15.65 GB en disco, abarcando 12 mapas (Town01 a Town15, incluyendo 52 clips de Town04) y 23 configuraciones climáticas y de iluminación.
Partición Sin Data Leakage (Split por Clip) y Entrenamiento Frontal con ResNet-18:
Filtrado de Paradas y Balanceo: Mediante build_master_csv.py, se descartaron los cuadros con el vehículo detenido en semáforos o señales de alto (speed < 0.3 m/s, eliminando 83,658 cuadros estáticos) y se submuestrearon las rectas puras (|steer| <= 0.02 al 35%) conservando el 100% de las curvas, obteniendo 99,956 imágenes activas.
División Estratificada por Escenario/Clip: Para evitar la contaminación entre entrenamiento y validación por cuadros consecutivos a 10 Hz, la partición se realizó por clip completo (estratificada por Town): 848 clips para entrenamiento (84,856 imágenes) y 150 clips independientes para validación (15,100 imágenes).
Entrenamiento de 15 Épocas (train_bench2drive_frontal.py): Se entrenó la arquitectura ResNet18SteeringOnly con recorte superior del 35% del cielo (crop_top = 0.35), aumento simétrico por inversión horizontal (augment=True), precisión mixta AMP FP16, optimizador AdamW y CosineAnnealingLR. La pérdida de entrenamiento descendió de 0.1150 a 0.0126, alcanzando su mejor validación en la Época 10 (Val Loss: 0.0565) y guardando los pesos en modelo_resnet18_bench2drive_frontal.pth.
Evolución del Entrenamiento Frontal con ResNet-18 (Bench2Drive – 12 Mundos)
Época
Train Loss (84,856 imgs)
Val Loss por Clip (15,100 imgs)
Learning Rate
Estado del Checkpoint
01
0.1150
0.1023
9.89e-05
Guardado (BEST)
02
0.0840
0.0731
9.57e-05
Guardado (BEST)
05
0.0603
0.0646
7.52e-05
Guardado (BEST)
07
0.0448
0.0604
5.57e-05
Guardado (BEST)
09
0.0312
0.0584
3.52e-05
Guardado (BEST)
10
0.0256
0.0565
2.58e-05
Mejor Modelo Final (BEST)
15
0.0126
0.0570
1.00e-06
Finalizado
Pruebas en Bucle Cerrado en el Circuito de Town04 y Diagnóstico de Fallos (infer_bench2drive_frontal_town04.py):
Calibración Óptica Exacta (CAM_FRONT): Se extrajeron de los archivos anno/*.json.gz los parámetros intrínsecos y extrínsecos reales con los que fue grabado Bench2Drive (1600×900, FOV = 70.0°, Location(x=0.8, y=0.0, z=1.6), pitch = 0.0°), integrándolos en el script de inferencia.
Primera Prueba (Oscilación en Zigzag): Al aplicar la salida cruda de la red en Town04, el vehículo realizó 2 oscilaciones fuertes en zigzag antes de colisionar. Al auditar los valores únicos de dirección del dataset original, se descubrió que el agente experto de Bench2Drive (Think2Drive RL) opera con un espacio de acciones discretizado a pulsos (0.0, ±0.10, ±0.20, ±0.30, ±0.50, ±0.70), el cual, al combinarse con el submuestreo de rectas y el curve_multiplier = 12.0 de la función de pérdida, sobre-amplificaba la ganancia de dirección ~3x.
Segunda Prueba (Eliminación del Zigzag pero Salida Progresiva del Carril): Tras incorporar un controlador amortiguado (STEER_GAIN = 0.30, término derivativo STEER_DAMPING = 0.12 y filtro exponencial EMA = 0.50), el vehículo dejó de oscilar y logró intentar seguir el carril de manera suave, pero aún no es perfecto: terminó desviándose progresivamente fuera del carril hasta chocar.
Causa Raíz en los Escenarios de Bench2Drive: Al inspeccionar visual y estadísticamente los clips de autopista de Town04 en Bench2Drive (Accident, ConstructionObstacle, ParkedObstacle, HazardAtSideLane), se identificó que la mayoría corresponden a maniobras de evasión de obstáculos y cambios bruscos de carril (donde una patrulla o conos bloquean el carril derecho y el experto aplica steer = -0.5 de forma sostenida para cambiarse al carril izquierdo, generando un sesgo global de 66,488 cuadros de giro a la izquierda frente a 38,242 a la derecha). En consecuencia, un modelo entrenado sin filtrar dichas maniobras aprende a salirse del carril cuando reconoce la geometría de Town04.
Optimización de Hardware (GPU-Max en AMD Radeon RX 6750 XT) y Filtrado para Lane-Following Puro:
Saturación de GPU y Bus PCIe: Se rediseñó train_bench2drive_frontal.py transfiriendo tensores uint8 contiguos desde 16 workers en C++ OpenCV (cv2.INTER_AREA) con normalización vectorial en VRAM, formato torch.channels_last, batch_size = 256 (incrementando el uso de VRAM de 1.45 GB a 4.81 GB con la GPU al 99%) y MIOPEN_FIND_MODE=FAST.
Construcción del Subconjunto Suavizado y Simétrico (build_lanefollow_csv.py): Como siguiente paso correctivo, se generó train_lanefollow_log.csv (17,843 cuadros) y val_lanefollow_log.csv (2,799 cuadros), aplicando un filtro gaussiano temporal de 7 cuadros para convertir los pulsos discretos RL en ángulos continuos (percentiles 50%..90% = 0.018..0.070), descartando las vecindades temporales de esquives/intersecciones y balanceando exactamente 50% curvas izquierda (6,659) y 50% curvas derecha (6,659) con sesgo medio nulo (-0.00094).
Transformación de Imágenes Canónicas al Centro Geométrico del Vehículo (x=0.0, y=0.0, z=1.6) y Evaluación en Behavior Metrics (20261109-073835):
Reproyección Geométrica ($C_{\text{frontal}} \to C_{\text{centro}}$) y Recorte de Carrocería: Como alternativa a las vistas cenitales (BEV), se diseñó una transformación proyectiva en 3D (build_direct_center_camera_maps en train_pilotnet_centro_geometrico.py) que traslada las 73,427 imágenes canónicas desde su posición original en la trompa del auto (x=2.0m, y=0.0m, z=1.6m, FOV=110°, pitch=-15°) hacia el centro geométrico del vehículo (x=0.0m, y=0.0m, z=1.6m, FOV=85°, pitch=-6°). Dado que desde el centro geométrico la parte inferior de la imagen (y >= 680) captura el techo/cofre del propio Tesla Model 3, se delimitó y recortó la región útil superior (CropBottomY = 680, reescalada a 320×240) tanto en el entrenamiento como en el brain de inferencia (brain_pilotnet_hd.py).
Convergencia del Entrenamiento con PilotNet (PilotNetSteeringOnly): A diferencia del entrenamiento sobre imágenes BEV (donde Val Loss se estancaba en 0.0374), al conservar la geometría en perspectiva desde el centro del vehículo la pérdida de entrenamiento bajó hasta 0.0021 y la de validación hasta 0.0169 (una reducción de error de validación de más de 2.2x), guardando el modelo en modelo_pilotnet_centro_geometrico.pth.
Evaluación en Bucle Cerrado con la Cámara Física en el Centro del Vehículo (eval_pilotnet_centro.yml): Se posicionó físicamente la cámara Camera_0 de CARLA en el centro geométrico del carro (Position: '0.0 0.0 1.6 0.0 -6.0 0.0') y se ejecutó la prueba de 60 s en Behavior Metrics (20261109-073835):
Comparativa Cuantitativa en Behavior Metrics: BEV vs. Cámara en el Centro Geométrico (Town 04)
Configuración / Experimento
Distancia Total (m)
Distancia Efectiva (m)
Tiempo Simulado (s)
Vel. Media (km/h)
Desviación Media de Carril (m)
Desviación por km (m/km)
Suavidad Volante (suddenness_steer)
Colisiones / km
Invasiones / km
PilotNet BEV Clásico (Semana 59)
261.68
170.5
35.41
26.84
1.276
7.486
0.0096
768.33
445.75
PilotNet BEV Bifocal v2 (Semana 60)
495.71
343.5
60.00
29.77
0.870
2.531
0.0030
151.38
229.99
PilotNet Centro Geométrico (20261109-073835)
503.41
417.5
60.01
30.24
0.717
1.718
0.0025
69.46
136.53
Análisis de Resultados y Limitación de Campo Visual: La traslación al centro geométrico superó a todas las variantes BEV previas, elevando la distancia efectiva a 417.5 m (+21.5% respecto a la Semana 60 y +144.9% respecto a la Semana 59), disminuyendo la desviación media de carril a 0.717 m (1.718 m/km) y reduciendo las invasiones de carril a 136.53 / km. No obstante, durante la inferencia se observa que la reducción del campo visual cercano y periférico —necesaria al retroceder la cámara a x=0.0m, cerrar el ángulo a FOV=85° y recortar en y < 680 para no ver el cofre del vehículo (dejando un punto ciego en los primeros ~6.6 m frente al centro del auto)— limita la visión de las líneas inmediatas al entrar a la bifurcación norte, provocando que el vehículo pierda referencia visual en esa transición.
Visualizaciones
Figura 1 (Entrenamiento en Bench2Drive y Diagnóstico de Dirección): A la izquierda, evolución de la pérdida de entrenamiento y validación por clip durante las 15 épocas con ResNet-18 (mejor checkpoint en la Época 10 con Val Loss = 0.0565). A la derecha, contraste entre la distribución cuantizada a pulsos (±0.1, ±0.2, -0.5) con sesgo a la izquierda del dataset Bench2Drive crudo frente a la distribución continua y simétrica obtenida mediante suavizado gaussiano para seguimiento de carril (Lane-Following).
Figura 2 (Causa de la Desviación Lateral en Town 04 – Escenario Accident_Town04_Route159): Ejemplo representativo de los clips de autopista de Town 04 en Bench2Drive, donde el carril derecho se encuentra bloqueado por un accidente y el experto ejecuta giros sostenidos hacia la izquierda (steer = -0.5) para abandonar el carril, explicando por qué el modelo entrenado sin filtrar maniobras evasivas tiende a salirse del carril al intentar seguir el circuito despejado.
Figura 3 (Transformación Proyectiva al Centro Geométrico del Vehículo y Recorte de Cofre): En tres escenarios representativos (recta, curva y bifurcación), se muestra: (1) la imagen canónica original capturada en el frente del vehículo (x=2.0m, z=1.6m, FOV=110°, pitch=-15°); (2) la reproyección hacia el centro geométrico del auto (x=0.0m, y=0.0m, z=1.6m), donde la línea verde punteada (y = 680) indica el límite inferior a partir del cual asoma el cofre del vehículo; y (3) la imagen final recortada y escalada a 320×240 que alimenta a PilotNet.
Figura 4 (Evaluación en Behavior Metrics – Cámara en el Centro Geométrico 20261109-073835): Recorrido de 503.41 m totales y 417.5 m de distancia efectiva con la cámara posicionada en x=0.0, y=0.0, z=1.6, logrando una desviación media de carril de 0.717 m y suavidad de volante de 0.0025 antes de perder visión cercana en la bifurcación norte.
Figura 5 (Mapa de Invasiones de Carril – Centro Geométrico): Disminución de invasiones de carril a 136.53 invasiones/km y 69.46 colisiones/km a lo largo del tramo sur y la recta este de Town 04.
Week 62 – Homologación del Vehículo Lincoln MKZ 2020 en Bench2Drive (788.5 m con 0 Colisiones), Generación del Dataset Multi-Mapa BEV Nativa con Waypoints (1...