Week 80 - Metricas de robustez por casos (burbuja + DAgger, 68/32)

Caso canónico — Comparación Burbuja vs DAgger (burbuja 68% + 32% DAgger puro)

Condiciones de la prueba

Comparación de robustez entre modelos Burbuja y DAgger (EfficientNet-V2-S)

• Mismo mapa: Town02
• Mismo punto inicial y final
• Circuito largo
• Condiciones equivalentes de simulación e inferencia

Tabla resumen de métricas (Caso canónico)

Métrica	Burbuja	DAgger	Mejor desempeño
Completed distance (m) ↑	760.83	758.91	Burbuja
Effective completed distance (m) ↑	302.0	309.5	DAgger
Average speed (km/h)	63.85	59.80	Burbuja
Position deviation mean (m) ↓	1.015	0.996	DAgger
Position deviation / km ↓	3.360	3.217	DAgger
Lane invasions ↓	1338	1329	DAgger
Lane invasions / km ↓	4430	4294	DAgger
Collisions ↓	0	0	Empate
Suddenness (control) / km ↓	0.130	0.155	Burbuja
Suddenness (throttle) / km ↓	0.317	0.369	Burbuja
Suddenness (steer) / km ↓	0.036	0.035	DAgger

• DAgger:
  • Presenta mejor estabilidad lateral.
  • Reduce ligeramente la acumulación de error y las invasiones de carril.
  • Mantiene mayor distancia efectiva útil.
• Burbuja:
  • Conserva una conducción más suave, especialmente en aceleración.
  • Mantiene una velocidad media ligeramente superior.

Interpretación clave:

En el caso canónico, DAgger no degrada el desempeño base y aporta mejoras medibles en estabilidad, a costa de una conducción algo menos suave. Esto indica que la exposición a estados no ideales no penaliza el comportamiento nominal y puede incluso mejorar el control lateral sostenido.

Esta prueba establece que DAgger es al menos tan competente como Burbuja en condiciones ideales, habilitando el análisis posterior en escenarios perturbados y no vistos, donde su diseño debería mostrar ventajas más claras.

Posiciones iniciales difíciles (variación de pose)

Descripción de la prueba

• Mismo punto inicial y punto final para todos los casos.
• Se modifica únicamente la pose inicial:
  • pequeños desplazamientos en posición,
  • variaciones en el ángulo de yaw.
• Todas las poses permanecen sobre la calzada.
• Objetivo: evaluar capacidad de corrección inicial y estabilización temprana

Tabla resumen (promedios sobre los 5 casos)

Métrica	Burbuja (avg)	DAgger (avg)	Mejor desempeño
Completed distance (m) ↑	754.59	756.84	≈ Empate
Effective completed distance (m) ↑	242.6	221.6	Burbuja
Average speed (km/h)	61.9	62.8	DAgger
Position deviation mean (m) ↓	1.14	1.16	Burbuja
Position deviation / km ↓	5.56	4.92	DAgger
Lane invasions / km ↓	6 ,792	5 ,553	DAgger
Suddenness (control) / km ↓	0.135	0.156	Burbuja
Collisions ↓	0	0	Empate

Los resultados muestran que:

Burbuja:

• corrige más rápido perturbaciones leves de pose,
  • alcanza antes un régimen de conducción efectiva,
  • mantiene mayor suavidad en el control. DAgger:
  • mantiene mejor estabilidad lateral a lo largo del episodio,
  • reduce la acumulación de error e invasiones de carril,
  • no degrada la seguridad ni el progreso total.

En perturbaciones leves y sobre la calzada, DAgger no ofrece una ventaja clara en recuperación inmediata, pero sí mejora la estabilidad sostenida tras la corrección. Esto sugiere que su fortaleza no está en “volver rápido”, sino en mantener el control una vez recuperado.

Esta prueba refuerza la idea de que DAgger no sustituye la conducción suave del baseline, sino que introduce un control más reactivo y robusto a largo plazo, cuya ventaja debería manifestarse con mayor claridad en escenarios más alejados de la distribución Burbuja (puntos iniciales distintos y aleatorios).

Posiciones iniciales difíciles (puntos iniciales distintos)

Descripción de la prueba

• Se definen cuatro puntos iniciales diferentes sobre el mapa Town02.
• En todos los casos:
  • el punto final es el mismo,
  • la orientación inicial (yaw) obliga al vehículo a realizar un giro inicial para tomar el rumbo + correcto.
• Estas configuraciones representan estados no vistos respecto al entrenamiento Burbuja nominal.

Tabla resumen (promedios sobre los 4 casos)

Métrica	Burbuja (avg)	DAgger (avg)	Mejor desempeño
Completed distance (m) ↑	189.83	178.64	Burbuja
Effective completed distance (m) ↑	76.63	64.88	Burbuja
Average speed (km/h)	42.80	43.18	≈ Empate
Position deviation mean (m) ↓	1.01	1.00	≈ Empate
Position deviation / km ↓	14.70	13.44	DAgger
Lane invasions / km ↓	6,445	6,062	DAgger
Suddenness (control) / km ↓	0.556	0.635	Burbuja
Collisions ↓	0	0	Empate

Los resultados muestran que:

• Burbuja:
  • se adapta más rápidamente a nuevas configuraciones iniciales,
  • logra mayor progreso efectivo hacia el destino,
  • mantiene una conducción más suave durante la fase crítica inicial.
• DAgger:
  • reduce la acumulación de error lateral una vez estabilizado,
  • disminuye la frecuencia de invasiones de carril,
  • no compromete la seguridad.

En escenarios con geometría inicial distinta pero no extrema, la ventaja principal de DAgger no está en la corrección inicial, sino en la estabilidad sostenida posterior. Burbuja, en cambio, conserva una mayor eficiencia inmediata para reconducir la tarea.

Esta prueba refuerza la conclusión emergente de los análisis previos: DAgger aporta estabilidad acumulada en escenarios fuera de distribución, pero no supera sistemáticamente al baseline Burbuja en rapidez de recuperación ni en progreso efectivo, al menos en configuraciones moderadamente perturbadas.

Comparación con puntos aleatorios

Descripción de la prueba

• En cada ejecución:
  • el punto inicial y el punto final se seleccionan de forma aleatoria.
• Para garantizar equidad:
  • los mismos pares (inicio, fin) se reutilizan para Burbuja y DAgger.
• Representa escenarios no vistos durante el entrenamiento.

Tabla resumen (promedios sobre los 3 episodios)

Episodio	Completed Distance (m) ↑	Effective Distance (m) ↑	Pos. Dev. / km ↓	Lane Invasions / km ↓	Suddenness / km ↓
	Burbuja / DAgger	Burbuja / DAgger	Burbuja / DAgger	Burbuja / DAgger	Burbuja / DAgger
Random 1	619.08 / 621.09	208.5 / 182.5	5.27 / 6.27	5434 / 5803	0.155 / 0.182
Random 2	593.60 / 276.24	146.0 / 97.0	8.22 / 11.46	8068 / 5289	0.161 / 0.351
Random 3	320.42 / 322.51	124.0 / 70.0	7.91 / 17.29	4645 / 8543	0.313 / 0.322

En la prueba de puntos aleatorios, el análisis episodio a episodio muestra que el modelo entrenado con el dataset Burbuja mantiene de forma consistente mayor distancia efectiva, menor error lateral acumulado y una conducción más suave que el modelo entrenado con DAgger.

Aunque DAgger logra completar trayectorias similares en algunos episodios, su comportamiento presenta mayor variabilidad, mayor brusquedad y una pérdida más temprana del estado funcional, lo que indica una menor robustez global en trayectorias completamente no vistas.

Velocidades iniciales distintas

Mismo punto inicial y final – misma ruta – distinta velocidad inicial

Tabla comparativa con valores numéricos

25 km/h

Métrica	Burbuja	DAgger	Mejor
Completed distance (m) ↑	760.95	762.14	DAgger
Effective distance (m) ↑	344.5	250.0	Burbuja
Pos. dev / km ↓	2.64	4.01	Burbuja
Lane invasions / km ↓	3561.68	4996.00	Burbuja
Suddenness / km ↓	0.135	0.158	Burbuja
Collisions ↓	0	0	Empate

50 km/h

Métrica	Burbuja	DAgger	Mejor
Completed distance (m) ↑	758.48	758.10	≈ Empate
Effective distance (m) ↑	246.5	317.0	DAgger
Pos. dev / km ↓	4.48	3.02	DAgger
Lane invasions / km ↓	4843.81	3962.15	DAgger
Suddenness / km ↓	0.135	0.162	Burbuja
Collisions ↓	0	0	Empate

80 km/h

Métrica	Burbuja	DAgger	Mejor
Completed distance (m) ↑	758.00	762.02	DAgger
Effective distance (m) ↑	362.0	283.5	Burbuja
Pos. dev / km ↓	2.48	3.59	Burbuja
Lane invasions / km ↓	3226.52	4126.98	Burbuja
Suddenness / km ↓	0.128	0.145	Burbuja
Collisions ↓	0	0	Empate

110 km/h

Métrica	Burbuja	DAgger	Mejor
Completed distance (m) ↑	762.85	764.04	≈ Empate
Effective distance (m) ↑	196.0	294.5	DAgger
Pos. dev / km ↓	5.51	3.25	DAgger
Lane invasions / km ↓	5831.63	3921.90	DAgger
Suddenness / km ↓	0.136	0.152	Burbuja
Collisions ↓	0	0	Empate

• Velocidades bajas (25 km/h)
  • Burbuja domina en estabilidad, suavidad y distancia efectiva.
• Velocidad media (50 km/h)
  • DAgger mejora claramente la estabilidad lateral, aunque con control más brusco.
• Velocidad alta (80 km/h)
  • Burbuja vuelve a ser más estable, con menor desviación e invasiones.
• Velocidad muy alta (110 km/h)
  • DAgger:
    • más distancia efectiva,
    • menor desviación lateral,
    • menos invasiones de carril.

---

#### Conclusión

En este estudio se comparó qué tan “robuzto” y confiables son dos modelos de conducción autónoma basados en EfficientNet-V2-S, entrenados de formas distintas. Por un lado, usamos un dataset de conducción humana natural (Burbuja), y por el otro, un dataset enriquecido con DAgger (Dataset Aggregation). Ambos modelos pasaron por las mismas pruebas, bajo las mismas condiciones, para ver cómo se comportaban frente a perturbaciones, situaciones raras y escenarios que nunca habían visto antes.

DAgger no mejora la robustez en todos los casos. En situaciones normales o con pequeñas perturbaciones, el modelo entrenado con datos Burbuja se destaca más: conduce de forma más suave, arranca con mayor estabilidad y se desempeña mejor cuando las trayectorias son completamente aleatorias. Básicamente, lo que aprende de la conducción humana natural generaliza mejor y de manera más consistente en estos escenarios.

DAgger también se destaca cuando las condiciones se ponen más complejas, por ejemplo, arrancar a velocidades altas o en dinámicas más exigentes, el modelo entrenado con DAgger responde mejor. En estos casos logra recorrer más distancia, se desvía menos lateralmente y reduce la cantidad de invasiones de carril. Esto sugiere que, una vez que el sistema se sale de lo “normal”, DAgger ayuda a mantener el control durante más tiempo.

En resumen, DAgger aporta una robustez más “situacional”: es especialmente útil cuando el estado inicial o la dinámica del sistema se alejan bastante de lo que se ve en la conducción natural. Sin embargo, no reemplaza al dataset Burbuja como base principal para una buena generalización global. Más bien, funciona como un complemento cuyo impacto depende mucho del tipo de perturbación y del escenario evaluado.

---

---

Resumen de métricas numéricas

Casos de robustez — Poses iniciales difíciles

Caso 1

Métrica	Burbuja	DAgger
Completed distance (m)	760.22	762.62
Effective completed distance (m)	424	283.5
Position deviation / km	2	3.74
Lane invasions / km	3113.21	4352.73

Caso 2

Métrica	Burbuja	DAgger
Completed distance (m)	761.78	763.65
Effective completed distance (m)	191.5	125.5
Position deviation / km	6.49	9.94
Lane invasions / km	6558.75	10342.6

Caso 3

Métrica	Burbuja	DAgger
Completed distance (m)	741.3	742.96
Effective completed distance (m)	142.5	158.5
Position deviation / km	9.36	7.92
Lane invasions / km	8743.86	8315.46

Caso 4

Métrica	Burbuja	DAgger
Completed distance (m)	760.33	760.39
Effective completed distance (m)	143	220.5
Position deviation / km	8.72	5.5
Lane invasions / km	9342.66	6317.46

Caso 5

Métrica	Burbuja	DAgger
Completed distance (m)	749.32	752.58
Effective completed distance (m)	312	320
Position deviation / km	3.24	3.21
Lane invasions / km	4217.95	4434.38

Puntos aleatorios — Comparación episodio a episodio

Random 1

Métrica	Burbuja	DAgger
Completed distance (m)	320.39	77.97
Effective completed distance (m)	186.5	21.5
Position deviation / km	3.99	56.43
Lane invasions / km	3437	9953.49
Suddenness / km	0.247	2.281

Random 2

Métrica	Burbuja	DAgger
Completed distance (m)	363.88	503.84
Effective completed distance (m)	241.5	108
Position deviation / km	3.1	12.14
Lane invasions / km	3478.26	7546.3
Suddenness / km	0.152	0.333

Random 3

Métrica	Burbuja	DAgger
Completed distance (m)	534.56	186.27
Effective completed distance (m)	225.5	60
Position deviation / km	3.85	14.99
Lane invasions / km	3760.53	5450
Suddenness / km	0.157	0.86