En esta semana consolidé el reporte comparativo de cinco variantes de entrenamiento (Burbuja, Noise injection, DAgger 16k, DAgger 27.6k y DAgger agresivo) usando las tablas resumen por escenario.
El objetivo fue contrastar desempeño nominal y robustez bajo escenarios de perturbación y, adicionalmente, evaluar estabilidad al variar la velocidad objetivo.
Notas de lectura de métricas (criterio general):
Route completed (%): mayor es mejor.
Dev/km y Lane invasions: menor es mejor (más centrado y con menos cruces de línea).
Suddenness (control): menor es mejor (control más suave).
Collisions: menor es mejor.
Caso canónico
Métrica
Burbuja
Noise
DAgger 16k
DAgger 27.6k
DAgger agresivo
Mejor
Route completed (%)
79.99
78.36
65.74
74.45
78.44
Burbuja
Average speed (km/h)
60.04
63.07
60.81
60.53
59.99
Noise
Dev mean (m)
0.465
0.493
0.756
0.464
0.461
DAgger agresivo
Dev/km (m/km)
0.769
0.828
1.524
0.823
0.776
Burbuja
Lane invasions (eventos)
2.17
2.33
5.50
1.50
1.83
DAgger 27.6k
Collisions (eventos)
0.0
0.0
0.0
0.0
0.0
Empate
Suddenness (control)
0.0253
0.0254
0.0226
0.0273
0.0259
DAgger 16k
Síntesis (canónico):
Burbuja se mantiene como referencia nominal: mejor progreso en ruta y buen centrado (Dev/km).
Noise incrementa la velocidad promedio sin mejorar el centrado frente a Burbuja.
DAgger 27.6k reduce invasiones de carril (mejor de todos), aunque no lidera en progreso total.
DAgger agresivo queda más centrado en promedio (Dev mean más bajo).
DAgger 16k es el más suave (menor suddenness), pero sacrifica progreso en este escenario.
Casos Pertubados
Posiciones iniciales y ángulo respecto al carril
Caso 1
Métrica
Burbuja
Noise
DAgger 16k
DAgger 27.6k
DAgger agresivo
Mejor
Route completed (%)
41.58
45.80
41.91
44.99
44.88
Noise
Average speed (km/h)
60.98
62.81
59.93
59.43
61.35
Noise
Dev/km
3.19
2.87
3.19
3.04
2.96
Noise
Lane invasions
2.50
2.17
4.50
3.00
2.67
Noise
Collisions
0
0
0
0
0
Empate
Suddenness control
0.0249
0.0254
0.0230
0.0270
0.0271
DAgger 16k
Síntesis (caso 1):
Noise domina el caso (mayor progreso, mayor velocidad, menor Dev/km y menos invasiones).
DAgger 16k sigue siendo el más suave (mejor suddenness), con perfil conservador.
DAgger 27.6k y agresivo son competitivos en progreso, pero aquí no superan el paquete global de Noise.
Caso 2
Métrica
Burbuja
Noise
DAgger 16k
DAgger 27.6k
DAgger agresivo
Mejor
Route completed (%)
72.57
70.95
58.63
69.93
72.62
Burbuja
Average speed (km/h)
61.76
62.48
60.46
60.12
59.69
Noise
Dev/km
0.95
1.09
1.84
1.07
1.00
Burbuja
Lane invasions
1.67
2.17
5.00
3.17
2.17
Burbuja
Collisions
0
0
0
0
0
Empate
Suddenness control
0.0249
0.0275
0.0239
0.0287
0.0280
DAgger 16k
Síntesis (caso 2):
Burbuja domina el régimen nominal: mejor progreso, mejor Dev/km y menos invasiones.
Noise sube la velocidad, pero no mejora estabilidad fina (Dev/km e invasiones).
DAgger 16k conserva la suavidad (suddenness), pero pierde progreso y estabilidad en este caso.
Caso 3
Métrica
Burbuja
Noise
DAgger 16k
DAgger 27.6k
DAgger agresivo
Mejor
Route completed (%)
71.58
76.84
57.62
75.44
74.46
Noise
Average speed (km/h)
60.28
62.85
60.50
60.70
59.26
Noise
Dev/km
0.93
0.92
1.88
0.94
0.96
Noise
Lane invasions
2.67
2.00
5.50
3.50
2.83
Noise
Collisions
0
0
0
0
0
Empate
Suddenness control
0.0249
0.0267
0.0242
0.0264
0.0273
DAgger 16k
Síntesis (caso 3):
Noise domina: mayor progreso, mayor velocidad, mejor Dev/km y menos invasiones.
DAgger 27.6k queda muy cerca en progreso, pero con más invasiones y control más energético.
DAgger 16k mantiene el patrón: más suave, pero conservador en progreso.
Caso 4
Métrica
Burbuja
Noise
DAgger 16k
DAgger 27.6k
DAgger agresivo
Mejor
Route completed (%)
70.83
74.70
61.99
74.52
75.86
DAgger agresivo
Average speed (km/h)
60.51
60.77
58.52
59.22
58.89
Noise
Dev/km
0.97
1.02
1.70
0.91
0.94
DAgger 27.6k
Lane invasions
2.50
2.83
4.67
3.33
2.00
DAgger agresivo
Collisions
0
0
0
0
0
Empate
Suddenness control
0.0251
0.0264
0.0237
0.0279
0.0274
DAgger 16k
Síntesis (caso 4):
DAgger agresivo lidera progreso y reduce invasiones; robusto cuando el escenario se degrada.
DAgger 27.6k logra el mejor centrado (Dev/km) con progreso alto.
Noise es competitivo en progreso/velocidad, pero pierde centrado frente a DAgger agresivo.
Caso 5
Métrica
Burbuja
Noise
DAgger 16k
DAgger 27.6k
DAgger agresivo
Mejor
Route completed (%)
64.19
64.50
52.63
67.26
65.17
DAgger 27.6k
Average speed (km/h)
60.53
62.06
59.88
59.15
59.48
Noise
Dev/km
1.31
1.35
2.11
1.25
1.34
DAgger 27.6k
Lane invasions
2.00
3.17
6.00
3.17
2.83
Burbuja
Collisions
0
0
0
0.83
0
Burbuja / Noise
Suddenness control
0.0249
0.0259
0.0243
0.0281
0.0273
DAgger 16k
Síntesis (caso 5):
DAgger 27.6k domina el escenario hostil en progreso y centrado (Dev/km), pero aparecen colisiones.
DAgger agresivo mantiene buen progreso sin colisiones, con balance práctico.
Noise gana en velocidad, pero empeora estabilidad fina.
Burbuja es el baseline más limpio, pero pierde capacidad de recuperación/progreso.
Resumen por casos
Caso
Escenario
Ganador
Segundo
Tercero
Motivo principal
Caso 1
Recovery inicial
Noise
DAgger agresivo
DAgger 27.6k
Recupera antes y mantiene velocidad con buena estabilidad
Caso 2
Perturbación moderada
Burbuja
DAgger agresivo
Noise
Régimen nominal: centrado e invasiones dominan
Caso 3
Zona intermedia
Noise
DAgger 27.6k
DAgger agresivo
Máximo progreso con estabilidad comparable
Caso 4
Borde región nominal
DAgger agresivo
DAgger 27.6k
Noise
Robustez con buen progreso e invasiones bajas
Caso 5
OOD fuerte
DAgger 27.6k
DAgger agresivo
Noise
Mantiene progreso estructural en OOD
Resumen por velocidades
Se reporta Route completed (%) como métrica principal de progreso, junto con estabilidad (Dev/km), invasiones y suavidad.
30 km/h
Métrica
Burbuja
Noise
DAgger 16k
DAgger 27.6k
DAgger agresivo
Mejor
Route completed (%)
70.22
76.72
67.31
76.09
80.20
DAgger agresivo
Average speed (km/h)
62.88
64.32
61.88
61.90
61.39
Noise
Dev/km
0.80
0.86
1.50
0.84
0.77
DAgger agresivo
Lane invasions
1.67
2.50
5.00
2.17
2.17
Burbuja
Collisions
0
0
0
0
0
Empate
Suddenness (control)
0.0251
0.0253
0.0224
0.0266
0.0253
DAgger 16k
50 km/h
Métrica
Burbuja
Noise
DAgger 16k
DAgger 27.6k
DAgger agresivo
Mejor
Route completed (%)
72.02
74.09
67.39
74.00
77.89
DAgger agresivo
Average speed (km/h)
64.23
65.25
63.09
62.69
62.72
Noise
Dev/km
0.78
0.87
1.45
0.88
0.78
Burbuja
Lane invasions
2.00
2.33
5.00
2.00
2.33
Burbuja / DAgger 27.6k
Collisions
0
0
0
0
0
Empate
Suddenness (control)
0.0242
0.0263
0.0225
0.0270
0.0254
DAgger 16k
80 km/h
Métrica
Burbuja
Noise
DAgger 16k
DAgger 27.6k
DAgger agresivo
Mejor
Route completed (%)
71.67
69.22
65.74
72.44
77.43
DAgger agresivo
Average speed (km/h)
66.58
68.34
65.75
65.97
65.51
Noise
Dev/km
0.77
0.94
1.39
0.78
0.75
DAgger agresivo
Lane invasions
1.50
1.83
4.33
2.50
1.67
Burbuja
Collisions
0
0
0
0
0
Empate
Suddenness (control)
0.0246
0.0275
0.0225
0.0267
0.0256
DAgger 16k
100 km/h
Métrica
Burbuja
Noise
DAgger 16k
DAgger 27.6k
DAgger agresivo
Mejor
Route completed (%)
69.54
59.94
59.57
68.81
71.62
DAgger agresivo
Average speed (km/h)
66.59
15.81
66.28
67.13
64.86
DAgger 27.6k
Dev/km
0.88
36.07
1.66
0.87
0.92
DAgger 27.6k
Lane invasions
3.33
1.33
4.67
2.67
2.67
Noise
Collisions
0.50
1.00
1.00
0.17
0.50
DAgger 27.6k
Observación importante:
A 100 km/h se ve un colapso claro en Noise (velocidad y Dev/km fuera de escala). Esto sugiere episodios prolongados fuera de calzada o pérdida de control.
Conclusiones
Nominal: Burbuja sigue siendo la referencia de centrado y conducción limpia.
Dinámica: Noise tiende a maximizar velocidad y puede ganar en escenarios intermedios, pero no sostiene el régimen extremo (100 km/h).
Robustez: DAgger agresivo es el más consistente al escalar velocidad y en casos difíciles, manteniendo progreso alto.
DAgger 27.6k destaca en OOD fuerte por progreso y centrado, pero conviene revisar las corridas donde aparecen colisiones.
En esta entrada reporto los resultados de robustez en CARLA Town02 comparando cinco políticas/datasets bajo el mismo circuito de prueba, con 6 repeticiones p...
