Week 47 - Comparación de modelos monolíticos con Behavior Metrics
Comparación de modelos monolíticos con Behavior Metrics
En esta etapa se entrenaron y evaluaron dos modelos monolíticos de conducción autónoma utilizando el simulador CARLA y la herramienta de evaluación Behavior Metrics:
- PilotNet (bubble_deepest_model.pth)
- ModifiedDeepestLSTM (dagger_deepest_model_7x5_bts16_4.pth)
Ambos fueron entrenados sobre datos recolectados mediante la técnica DAgger, la cual permite iterativamente refinar el comportamiento del modelo utilizando intervenciones del experto.
Herramientas y configuración
Simulador: CARLA (Town02) Evaluación: BehaviorMetrics Condiciones: misma configuración de simulación, sin colisiones, sin invasiones de carril
Nota: se detectó que el vehículo aparece en un punto aleatorio pese a que se especifica un spawn_point. Se debe revisar la coincidencia entre el punto de aparición y el definido en los experimentos.
| Métrica | Bubble | Dagger |
|---|---|---|
| Completed distance (m) | 567.10 | 545.24 |
| Effective completed distance (m) | 523.00 | 409.00 |
| Average speed (km/h) | 8.62 | 9.78 |
| Real time duration (s) | 503.37 | 477.15 |
| Simulated time (s) | 230 | 195 |
| Collisions | 0 | 0 |
| Lane invasions | 0 | 0 |
| Position deviation mean (m) | 0.548986 | 1.149754 |
| Position deviation total error | 2523.14 | 4493.24 |
| Suddenness distance control commands | 0.112384 | 0.155883 |
| Suddenness throttle | 0.099667 | 0.132164 |
| Suddenness steer | -0.034258 | -0.052571 |
| Suddenness brake | 0.0 | 0.0 |
| Suddenness distance control command per km | -0.214884 | -0.381132 |
| Suddenness distance throttle per km | -0.190572 | -0.323139 |
| Suddenness distance steer per km | -0.065052 | -0.123857 |
| Suddenness distance brake command per km | 0.0 | 0.0 |
| Suddenness distance speed per km | -0.299337 | -0.445646 |
Color de la trayectoria indica la desviación: de amarillo (baja) a rojo (alta)
Conclusiones
- PilotNet logró un recorrido más estable, con menor desviación del carril y menos comandos bruscos.
- Modified LSTM se comportó de forma más agresiva, manteniendo mayor velocidad, pero con mayor error de trayectoria.
- Ambos modelos evitaron colisiones y completaron el circuito, demostrando la efectividad de los datos DAgger para entrenamiento.