Week 77 - Metricas de robustez por casos
CASO CANÓNICO: Burbuja vs DAgger
| Caso | Modelo | Completed Distance (m) | Collisions | Lane Invasions | Pos. Dev. Mean (m) | Lane Inv./km |
|---|---|---|---|---|---|---|
| C | DAgger | 767.99 | 995 | 1223 | 1.31 | 6224 |
| Burbuja | 761.69 | 31 | 1065 | 1.06 | 4819 |
- Ambos modelos completan prácticamente la misma distancia. *Burbuja muestra una conducción más estable y segura.
- DAgger avanza ligeramente más, pero con un coste muy alto en colisiones.
En el escenario canónico, Burbuja prioriza estabilidad y seguridad, mientras que DAgger exhibe un comportamiento más agresivo.
POSICIONES DIFÍCILES (recuperación)
Caso 1
| Métrica clave | Burbuja | DAgger | Mejor |
|---|---|---|---|
| Distancia completada (m) ↑ | 129.03 | 133.19 | DAgger |
| Distancia efectiva (m) ↑ | 59.0 | 44.5 | Burbuja |
| Desviación media (m) ↓ | 1.15 | 1.32 | Burbuja |
| Invasiones de carril ↓ | 264 | 298 | Burbuja |
| Invasiones por km ↓ | 4474 | 6697 | Burbuja |
| Suddenness steer / km ↓ | 0.199 | 0.588 | Burbuja |
| Colisiones | 0 | 0 | Empate |
- Burbuja mantiene mejor control y suavidad; DAgger avanza un poco más pero de forma menos estable.
Caso 2
| Métrica clave | Burbuja | DAgger | Mejor |
|---|---|---|---|
| Distancia completada (m) ↑ | 147.99 | 145.76 | Burbuja |
| Distancia efectiva (m) ↑ | 35.5 | 39.0 | DAgger |
| Desviación media (m) ↓ | 1.33 | 1.55 | Burbuja |
| Invasiones de carril ↓ | 357 | 339 | DAgger |
| Invasiones por km ↓ | 10056 | 8692 | DAgger |
| Suddenness steer / km ↓ | 0.374 | 0.430 | Burbuja |
| Colisiones | 0 | 0 | Empate |
- DAgger mejora la recuperación lateral, mientras Burbuja conserva mayor suavidad.
Caso 3
| Métrica clave | Burbuja | DAgger | Mejor |
|---|---|---|---|
| Distancia completada (m) ↑ | 132.87 | 132.79 | Burbuja |
| Distancia efectiva (m) ↑ | 14.5 | 38.0 | DAgger |
| Desviación media (m) ↓ | 1.09 | 1.02 | DAgger |
| Invasiones de carril ↓ | 277 | 247 | DAgger |
| Invasiones por km ↓ | 19103 | 6500 | DAgger |
| Suddenness steer / km ↓ | 0.887 | 0.303 | DAgger |
| Colisiones | 0 | 0 | Empate |
- DAgger domina claramente el escenario de recuperación, con mejor control y menor agresividad.
Caso 4
| Métrica clave | Burbuja | DAgger | Mejor |
|---|---|---|---|
| Distancia completada (m) ↑ | 123.22 | 122.90 | Burbuja |
| Distancia efectiva (m) ↑ | 25.0 | 12.5 | Burbuja |
| Desviación media (m) ↓ | 5.35 | 4.40 | DAgger |
| Invasiones de carril ↓ | 356 | 263 | DAgger |
| Invasiones por km ↓ | 14240 | 21040 | Burbuja |
| Suddenness steer / km ↓ | 1.106 | 1.415 | Burbuja |
| Colisiones ↓ | 266 | 0 | DAgger |
- DAgger logra recuperarse sin colisiones en el escenario más extremo, mientras Burbuja colapsa en seguridad.
DAgger: mejor recuperación y robustez fuera de carril.
Burbuja: mayor suavidad y estabilidad en conducción nominal.
COMPARACIÓN DE 3 CASOS ALEATORIOS
| Caso | Modelo | Completed Distance (m) | Collisions | Lane Invasions | Pos. Dev. Mean (m) | Lane Inv./km |
|---|---|---|---|---|---|---|
| R1 | DAgger | 181.91 | 0 | 329 | 1.17 | 7928 |
| Burbuja | 284.17 | 0 | 440 | 1.00 | 4809 | |
| R2 | DAgger | 205.18 | 20 | 394 | 0.89 | 4690 |
| Burbuja | 424.34 | 0 | 685 | 0.92 | 4910 | |
| R3 | DAgger | 554.35 | 0 | 877 | 1.08 | 6287 |
| Burbuja | 728.48 | 0 | 1084 | 1.13 | 7132 |
- Burbuja generaliza mejor en progreso global.
- DAgger controla mejor lateralmente, pero introduce inestabilidad puntual.
VELOCIDAD DE INICIO (25–110 km/h)
| Vel. inicio | Modelo | Completed Distance (m) | Collisions | Lane Invasions | Pos. Dev. Mean (m) | Lane Inv./km |
|---|---|---|---|---|---|---|
| 25 km/h | DAgger | 761.88 | 407 | 1156 | 1.30 | 9031 |
| Burbuja | 761.00 | 29 | 1071 | 1.04 | 4677 | |
| 50 km/h | DAgger | 757.39 | 0 | 985 | 1.12 | 5144 |
| Burbuja | 759.05 | 28 | 1074 | 0.98 | 4204 | |
| 80 km/h | DAgger | 762.68 | 337 | 1021 | 1.18 | 6322 |
| Burbuja | 760.33 | 31 | 1030 | 0.82 | 3131 | |
| 100–110 km/h | DAgger | 765.76 | 857 | 1078 | 1.18 | 5297 |
| Burbuja | 765.06 | 764 | 1020 | 0.98 | 4359 |
- Burbuja mantiene estabilidad al aumentar la velocidad.
- DAgger escala peor en seguridad a altas velocidades.
- A velocidades medias, DAgger puede funcionar sin colisiones.
Resumen de los datasets utilizados
| Dataset | Nº muestras | Escenarios | Tipo de datos | Propósito principal |
|---|---|---|---|---|
| Burbuja (baseline) | 25 500 | 6 towns | Segmentación + control | Conducción nominal estable |
| DAgger (recuperación) | 5 000 | 6 towns | Segmentación + control | Corrección tras perturbaciones |
| Mixto (Burbuja + DAgger) | 30 500 | 6 towns | Segmentación + control | Robustez sin perder estabilidad |
Los resultados muestran de forma consistente que Burbuja y DAgger cumplen roles complementarios dentro del aprendizaje end-to-end para conducción autónoma. El modelo entrenado únicamente con Burbuja destaca por su estabilidad, suavidad y capacidad de generalización, manteniendo bajo control la desviación lateral, las invasiones de carril y las colisiones en escenarios canónicos, aleatorios y a diferentes velocidades iniciales. Por su parte, DAgger introduce una mejora clara en escenarios de recuperación, especialmente cuando el vehículo parte desde estados difíciles o fuera de distribución, demostrando una mayor capacidad de corrección y recentrado, incluso en situaciones críticas donde el modelo base falla.