2 minuto(s) de lectura

Week 57 – Integración “Plug & Play” de PilotNet en Behavior Metrics y Revisión

Trabajo realizado

  • Análisis de Contratos en Behavior Metrics (BM): Se realizó un análisis exhaustivo del reporte de integración de Behavior Metrics. Se descubrió una incompatibilidad arquitectónica crítica: las redes de entrada dual (Imagen BEV + Throttle) desarrolladas anteriormente chocaban con el contrato del brain por defecto (brain_carla_front_image_api.py), el cual espera una única imagen frontal como entrada y exige predecir dos valores simultáneos ([throttle, steer]).
  • Desarrollo de Script de Entrenamiento Compatible: Para lograr una integración “Plug & Play” sin tener que reescribir el código fuente del framework de la URJC, se abandonó temporalmente la vista cenital (BEV) para este experimento. Se programó un nuevo script (train_bm_pilotnet.py) que clona matemáticamente el preprocesamiento estricto de BM: lee las imágenes crudas (RAW) de 800x600 del dataset DAgger, aplica un recorte estático en las filas 240:480 y redimensiona a 200x66 píxeles, utilizando la arquitectura PilotNet original.
  • Corrección de la División de Datos (Data Leakage): Se observó que scripts antiguos del repositorio realizaban una partición deficiente de los datos al agrupar por source_log, lo que llegó a asignar proporciones erróneas de validación (por ejemplo, 11,769 imágenes para entrenar frente a 64,566 para validar)[cite: 1]. El nuevo script soluciona esto aislando correctamente los episodios de conducción y logrando un balance saludable de 70,123 muestras de entrenamiento y 6,212 muestras de validación[cite: 2, 3].
  • Prueba de Inferencia con ResNet-18: Se ejecutó el pipeline de inferencia en tiempo real en CARLA utilizando el modelo ResNet-18 (DualInput). El comportamiento del vehículo fue inestable y subóptimo en el mantenimiento del carril. Estos resultados visuales deficientes justificaron la transición hacia la arquitectura PilotNet.

Añadir a “Visualizaciones”:

Prueba de inferencia subóptima con ResNet-18
Video: Inferencia en tiempo real utilizando ResNet-18. El desempeño inestable al intentar mantener el carril motivó el cambio arquitectónico a PilotNet y la integración de evaluaciones estructuradas. (Haz clic en la imagen para reproducir el video).

Añadir a “Trabajo realizado”:

  • Inferencia con FastViT: Se completó exitosamente la adaptación e integración del modelo basado en Transformers (FastViT) para la inferencia en bucle cerrado dentro de CARLA. Tras sustituir las redes convolucionales clásicas, el modelo demostró una excelente capacidad para extraer características globales a partir de la vista cenital (BEV), prediciendo el ángulo del volante de manera fluida pero se desvia del carril mas estable que resnet.

Añadir a “Visualizaciones”:

Prueba de inferencia autónoma con FastViT
Video: Inferencia en tiempo real utilizando la arquitectura Transformer FastViT. El modelo procesa exitosamente la vista de pájaro (BEV) y la velocidad constante para mantener el vehículo centrado de manera estable. (Haz clic en la imagen para reproducir el video).