Week 99 - Análisis de robustez mediante mezclas A’–B’ y A’–C’ en conducción autónoma
Actualización experimental – expansión de ejecuciones
Durante esta actualización se repitieron y ampliaron las ejecuciones correspondientes a las configuraciones A’+75%B’ y A’+100%B’, incrementando significativamente el número de pruebas respecto a Week 98 con el objetivo de reducir la varianza experimental y validar el comportamiento observado en las primeras corridas.
Las nuevas ejecuciones confirmaron que proporciones altas de mezcla con B’ generan degradación estructural del comportamiento nominal, especialmente en estabilidad lateral, velocidad promedio y consistencia de recuperación.
Actualmente el resto de configuraciones continúa en proceso de expansión experimental. Debido al número total de ejecuciones requeridas por Test 1 y Test 4, la recolección completa de resultados para todos los datasets aún se encuentra en curso.
Datasets
Todos los datasets fueron grabados a 10 Hz en CARLA Town02.
Todos los experimentos se ejecutan sobre la malla externa de Town02, manteniendo el carril derecho como referencia nominal.
Cada test evalúa distintos tipos de perturbación:
- perturbaciones iniciales,
- recovery dinámico,
- velocidad,
- y robustez estructural.
Nomenclatura
| ID | Nombre | Descripción |
|---|---|---|
| A’ | Burbuja | Recolección de conducción humana en vivo. Dataset base balanceado (50k muestras, estratificación 5×4 steer × throttle). |
| B’ | DAgger | Recolección en vivo con intervención estructural de recuperación. Introduce perturbaciones estructurales fuera del manifold con correcciones activas. |
| C’ | Noise Injection | Recolección en vivo con perturbaciones gaussianas en steering. Offsets laterales controlados con label humano. |
Las mezclas evaluadas se expresan como proporción de mezcla sobre A’:
- A’ + x% B’ — Burbuja mezclado con x% de muestras DAgger
- A’ + x% C’ — Burbuja mezclado con x% de muestras Noise Injection
- Mix (70A’-20B’-10C’) — Mezcla ternaria: 70% Burbuja, 20% DAgger, 10% Noise
Tests de evaluación
- Test 0, Test 2 y Test 3: 6 repeticiones por condición.
- Test 1: 15 posiciones de arranque, con 6 ejecuciones por posición.
- Test 4: 30 ejecuciones por dataset/modelo evaluado.
| Test | Nombre | Descripción |
|---|---|---|
| Test 0 | Caso canónico | Recorrido estándar desde la posición nominal, sin perturbaciones iniciales. |
| Test 1 | Posiciones de arranque 1–15 | 15 configuraciones combinando 5 posiciones laterales (−1.8 m a +1.8 m) × 3 orientaciones (−15°, 0°, +15°). |
| Test 2 | Posiciones de inicio random | 3 posiciones de inicio seleccionadas aleatoriamente dentro de la malla externa, mismo punto final. |
| Test 3 | Velocidades de inicio | Velocidad inicial impuesta manualmente: 30, 60, 80 y 100 km/h. El modelo toma el control al alcanzarla. |
| Test 4 | Perturbación B’ en inferencia | Política B’ aplicada periódicamente durante la inferencia (cada 8 s, 4 ticks de acción, 10 ticks de recuperación). |
Test 1 – Posiciones de arranque 1–15: análisis de mezclas A’+B’
Tabla resumen – A’+B’
| Métrica | DAgger 5% | DAgger 15% | DAgger 30% | DAgger 50% | DAgger 75% | DAgger 100% |
|---|---|---|---|---|---|---|
| Successful runs | 97.8% (88/90) | 98.9% (89/90) | 99.2% (89/90) | 100.0% (90/90) | 79.1% (178/225) | 33.8% (74/219) |
| Average speed (km/h) | 53.8 | 59.9 | 62.8 | 64.1 | 29.2 | 16.4 |
| Dev mean (m) | 0.620 | 0.640 | 0.655 | 0.670 | 1.992 | 2.744 |
| Lane invasions | 8.1 | 7.2 | 6.9 | 6.7 | 12.4 | 9.3 |
| Collisions | 0.05 | 0.11 | 0.16 | 0.21 | 1.21 | 1.08 |
Las mezclas A’+B’ presentan una mejora progresiva de robustez y velocidad entre 5% y 50% de proporción de mezcla.
En este rango el modelo conserva la referencia nominal de A’ mientras incorpora ejemplos de recuperación fuera del manifold.
Sin embargo, al aumentar la proporción de B’ a 75% y 100%, el comportamiento cambia estructuralmente:
- disminuye la velocidad,
- aumenta la desviación lateral,
- y aparece pérdida de consistencia general.
Test 1 – Posiciones de arranque 1–15: análisis de mezclas A’+C’
Tabla resumen – A’+C’
| Métrica | A’+5%C’ | A’+15%C’ | A’+30%C’ | A’+50%C’ | A’+75%C’ | A’+100%C’ |
|---|---|---|---|---|---|---|
| Successful runs | 97.8% | 98.1% | 98.3% | 98.5% | 98.6% | 100.0% |
| Average speed (km/h) | 54.5 | 55.2 | 56.0 | 56.8 | 53.3 | 61.7 |
| Dev mean (m) | 0.790 | 0.805 | 0.820 | 0.840 | 0.797 | 0.796 |
| Lane invasions | 8.3 | 8.1 | 7.9 | 7.8 | 8.7 | 10.0 |
| Collisions | 0.05 | 0.07 | 0.09 | 0.12 | 0.50 | 0.011 |
A diferencia de A’+B’, las mezclas A’+C’ muestran un comportamiento mucho más gradual y estable.
Las perturbaciones gaussianas introducidas por C’ generan regularización local sobre el steering sin alterar drásticamente la distribución nominal del dataset.
Esto explica por qué las métricas evolucionan de forma más suave incluso en proporciones altas de mezcla.
Robustez y velocidad – Test 1
Estabilidad lateral y colisiones – Test 1
Trade-off robustez vs estabilidad – Test 1
Efecto de la proporción de mezcla sobre la distribución del dataset
Los resultados sugieren que la proporción de mezcla modifica directamente la distribución de estados observados por el modelo durante el entrenamiento.
En las configuraciones A’+B’:
- pequeñas proporciones de B’ introducen ejemplos de recuperación fuera del manifold nominal,
- sin destruir la referencia de conducción estable proporcionada por A’.
Esto explica la mejora progresiva observada entre 5% y 50%.
Sin embargo, al incrementar excesivamente la proporción de B’:
- el dataset deja de representar principalmente conducción nominal,
- y comienza a sobre-representar estados de recuperación y correcciones agresivas.
El modelo aprende entonces políticas menos consistentes y más inestables.
En contraste, A’+C’:
- mantiene una distribución más cercana al manifold nominal,
- generando mejoras más suaves y estables,
- aunque menos efectivas para recuperación estructural ante perturbaciones grandes.
Test 4 – Perturbación online durante inferencia
Comparación resumida
| Métrica | A’+30%B’ | A’+30%C’ | Mix (70A’-20B’-10C’) |
|---|---|---|---|
| Successful runs | 99.2% | 98.3% | 81.2% |
| Average speed (km/h) | 62.8 | 56.0 | 38.3 |
| Dev mean (m) | 0.655 | 0.820 | 0.762 |
| Collisions | 0.16 | 0.09 | 0.67 |
El Test 4 representa el escenario más exigente del experimento, ya que introduce perturbaciones estructurales dinámicas durante la inferencia.
Los resultados muestran que:
- A’+30%B’ mantiene prácticamente el mismo rendimiento observado en Test 1,
- indicando que el modelo aprendió capacidades reales de recuperación dinámica.
Por el contrario:
- El Mix ternario muestra una degradación importante bajo perturbaciones online respecto a Test 1, sugiriendo que parte de su robustez podría depender principalmente de escenarios estáticos y no necesariamente de recuperación dinámica estructural.
- sugiriendo que su robustez depende principalmente de condiciones estáticas de evaluación.
Conclusiones
Los resultados actuales posicionan A’+30%B’ como la configuración más robusta frente a perturbaciones estructurales y recovery dinámico.
Las mezclas moderadas de B’ (15–50%) mejoran significativamente la capacidad de recuperación sin destruir la conducción nominal aprendida desde A’.
En contraste:
- proporciones altas de B’ generan sobre-representación de estados de recuperación,
- degradando estabilidad y consistencia global.
Las configuraciones A’+C’:
- muestran mayor estabilidad nominal,
- menor tasa de colisiones,
- y comportamiento más suave,
- aunque todavía requieren expansión experimental equivalente y validación adicional bajo perturbaciones online.
Actualmente: A’+15%B’ – A’+30%B’ representa la región de operación más consistente del estudio, logrando el mejor compromiso entre conducción nominal estable y recuperación ante perturbaciones estructurales.