Week 78 - Metricas de robustez por casos (burbuja + DAgger, 68/31)
CASO CANÓNICO
| Modelo | Completed Distance (m) | Collisions | Lane Invasions | Pos. Dev. Mean (m) | Lane Inv./km |
|---|---|---|---|---|---|
| Burbuja + DAgger (45k + 15.6k) | 753.36 | 0 | 1257 | 0.91 | 3416 |
| Burbuja 45k | 755.97 | 0 | 1325 | 1.00 | 4274 |
- DAgger mejora la estabilidad lateral sin penalizar seguridad ni progreso en trayectos largos y continuos.
POSICIONES DIFÍCILES
Caso 1
| Métrica clave | Burbuja 45k | Burbuja + DAgger | Mejor |
|---|---|---|---|
| Completed Distance (m) ↑ | 126.49 | 132.32 | DAgger |
| Distancia efectiva (m) ↑ | 30.0 | 46.0 | DAgger |
| Pos. Dev. Mean (m) ↓ | 2.12 | 1.78 | DAgger |
| Lane Invasions ↓ | 304 | 382 | Burbuja |
| Lane Inv./km ↓ | 10133 | 8304 | DAgger |
| Collisions ↓ | 0 | 0 | Empate |
- DAgger mejora claramente la reincorporación y reduce el error lateral, a costa de más invasiones absolutas.
Caso 2
| Métrica clave | Burbuja 45k | Burbuja + DAgger | Mejor |
|---|---|---|---|
| Completed Distance (m) ↑ | 148.09 | 148.54 | DAgger |
| Distancia efectiva (m) ↑ | 55.5 | 54.0 | Burbuja |
| Pos. Dev. Mean (m) ↓ | 1.11 | 1.19 | Burbuja |
| Lane Invasions ↓ | 364 | 366 | Burbuja |
| Lane Inv./km ↓ | 6559 | 6778 | Burbuja |
| Collisions ↓ | 0 | 0 | Empate |
- Burbuja mantiene un control más limpio; DAgger no aporta ventaja clara en este arranque.
Caso 3
| Métrica clave | Burbuja 45k | Burbuja + DAgger | Mejor |
|---|---|---|---|
| Completed Distance (m) ↑ | 131.04 | 132.17 | DAgger |
| Distancia efectiva (m) ↑ | 47.0 | 24.5 | Burbuja |
| Pos. Dev. Mean (m) ↓ | 1.11 | 1.08 | DAgger |
| Lane Invasions ↓ | 325 | 307 | DAgger |
| Lane Inv./km ↓ | 6915 | 12531 | Burbuja |
| Collisions ↓ | 0 | 0 | Empate |
- DAgger reduce invasiones absolutas y error medio, pero Burbuja avanza mejor y con menor tasa por km.
Caso 4
| Métrica clave | Burbuja 45k | Burbuja + DAgger | Mejor |
|---|---|---|---|
| Completed Distance (m) ↑ | 181.31 | 180.93 | Burbuja |
| Distancia efectiva (m) ↑ | 34.5 | 64.5 | DAgger |
| Pos. Dev. Mean (m) ↓ | 3.99 | 4.28 | Burbuja |
| Lane Invasions ↓ | 426 | 404 | DAgger |
| Lane Inv./km ↓ | 12348 | 6264 | DAgger |
| Collisions ↓ | 0 | 0 | Empate |
- DAgger mejora claramente la recuperación efectiva y reduce la tasa de invasiones, incluso en el caso más caótico.
COMPARACIÓN DE PUNTOS ALEATORIOS
Random 1
| Caso | Modelo | Completed Distance (m) | Collisions | Lane Invasions | Pos. Dev. Mean (m) | Lane Inv./km |
|---|---|---|---|---|---|---|
| R1 | Burbuja + DAgger | 506.39 | 0 | 1014 | 1.30 | 13255 |
| Burbuja 45k | 729.33 | 0 | 1376 | 1.17 | 5843 |
Random 2
| Caso | Modelo | Completed Distance (m) | Collisions | Lane Invasions | Pos. Dev. Mean (m) | Lane Inv./km |
|---|---|---|---|---|---|---|
| R2 | Burbuja + DAgger | 270.84 | 0 | 598 | 1.12 | 6133 |
| Burbuja 45k | 683.08 | 0 | 1296 | 1.19 | 6562 |
Random 3
| Caso | Modelo | Completed Distance (m) | Collisions | Lane Invasions | Pos. Dev. Mean (m) | Lane Inv./km |
|---|---|---|---|---|---|---|
| R3 | Burbuja + DAgger | 417.68 | 0 | 795 | 1.29 | 10127 |
| Burbuja 45k | 254.47 | 0 | 448 | 1.12 | 7658 |
promedio sobre las tres ejecuciones
| Modelo | Completed Distance (m) | Collisions | Lane Invasions | Pos. Dev. Mean (m) | Lane Inv./km |
|---|---|---|---|---|---|
| Burbuja 45k | 555.63 | 0.0 | 1040 | 1.16 | 6687 |
| Burbuja + DAgger (45k + 15.6k) | 398.30 | 0.0 | 802 | 1.23 | 9983 |
Burbuja 45k:
- Recorre mayores distancias en escenarios completamente no vistos.
- Mantiene menor desviación lateral promedio.
- Presenta menor tasa de invasiones por km.
- Indica mejor capacidad de exploración y generalización global.
Burbuja + DAgger:
- Reduce el número absoluto de invasiones.
- Mantiene cero colisiones, incluso bajo condiciones aleatorias.
- Muestra un comportamiento más conservador, sacrificando avance por control.
En escenarios completamente aleatorios, el modelo Burbuja muestra una mejor capacidad de generalización y avance, mientras que el modelo con DAgger adopta una estrategia más restrictiva, priorizando control local sobre progreso global.
Burbuja → generaliza mejor cuando el entorno es desconocido DAgger → aporta valor cuando se requiere recuperación dirigida
Velocidades iniciales
| Velocidad inicial | Modelo | Completed Distance (m) | Collisions | Pos. Dev. Mean (m) | Lane Inv./km | Max Speed (km/h) |
|---|---|---|---|---|---|---|
| 25 km/h | Burbuja 45k | 755.48 | 0 | 1.03 | 4007 | 88 |
| Burbuja + DAgger | 754.85 | 0 | 0.96 | 3884 | 78 | |
| 50 km/h | Burbuja 45k | 753.35 | 0 | 1.06 | 4360 | 85 |
| Burbuja + DAgger | 755.48 | 0 | 0.98 | 4647 | 79 | |
| 80 km/h | Burbuja 45k | 754.79 | 0 | 0.97 | 3853 | 95 |
| Burbuja + DAgger | 757.72 | 0 | 0.88 | 3855 | 95 | |
| 90 km/h | Burbuja + DAgger | 757.50 | 0 | 0.89 | 4128 | 105 |
| 100 km/h | Burbuja 45k | 757.40 | 946 | 1.27 | 9150 | 114 |
A bajas y medias velocidades (25–50 km/h), ambos modelos presentan comportamientos similares y estables. A 80 km/h, el modelo entrenado con DAgger comienza a mostrar una ligera ventaja en control lateral y continuidad del trayecto. El resultado más relevante aparece en velocidades altas: mientras el modelo Burbuja colapsa a 100 km/h, el modelo con DAgger permanece estable hasta aproximadamente 90 km/h sin colisiones.
DAgger no convierte al modelo en un controlador de alta velocidad, pero amplía la región operativa segura, permitiendo mantener estabilidad bajo condiciones dinámicas más exigentes.
Los experimentos dejan claro que Burbuja y DAgger se complementan muy bien. El modelo entrenado solo con Burbuja se comporta de forma más estable y fluida cuando todo va “normal”, y generaliza mejor en escenarios nuevos. En cambio, al añadir DAgger de forma controlada, el sistema aprende a reaccionar mejor cuando algo sale mal, por ejemplo al arrancar fuera de la carretera o en situaciones difíciles. Además, DAgger permite aguantar velocidades un poco más altas antes de que el modelo pierda el control. En resumen, DAgger no reemplaza a Burbuja, sino que actúa como un refuerzo para hacer el sistema más robusto sin sacrificar estabilidad.
Resumen de los datasets utilizados.
| Dataset | Nº muestras | Composición | Escenarios | Tipo de datos | Propósito | |
|---|---|---|---|---|---|---|
| Burbuja (baseline) | 49 300 | 100% conducción nominal | 6 towns | Imágenes segmentadas + steer, throttle |
Aprender conducción estable y suave en condiciones normales | |
| Burbuja + DAgger (mixto) | 49 300 | 33.7k Burbuja + 15.6k DAgger (≈68/31) | 6 towns | Imágenes segmentadas + steer, throttle |
Aumentar robustez sin degradar estabilidad |