Week 85 - Noise Injection vs DAgger, pruebas de robustez y estabilidad en CARLA (PilotNet)
Configuración Experimental
Todos los experimentos fueron realizados en el simulador CARLA utilizando una arquitectura PilotNet modificada, entrenada para predecir comandos de dirección (steer) y aceleración (throttle).
Se evaluaron cuatro estrategias de entrenamiento:
- Burbuja (Baseline): Dataset de 50k muestras de conducción humana natural.
- Noise Augmentation: Dataset Burbuja con perturbaciones artificiales controladas.
- DAgger Corto: Burbuja 50k + 16.4k muestras DAgger.
- DAgger Ampliado: Burbuja 50k + 27.6k muestras DAgger.
La evaluación se realizó usando métricas de:
- Progreso longitudinal (completed distance, effective distance)
- Estabilidad lateral (deviation, lane invasions)
- Suavidad del control (suddenness)
Caso Canónico (Escenario nominal)
Promedio de múltiples corridas
| Métrica | Burbuja | Noise | DAgger 16k | DAgger 27.6k | Mejor |
|---|---|---|---|---|---|
| Completed distance | 755.75 | 759.23 | 755.71 | 755.18 | Noise |
| Effective distance | 466.08 | 454.25 | 372.83 | 479.92 | DAgger 27.6k |
| Average speed | 61.56 | 62.77 | 60.59 | 61.80 | Noise |
| Dev mean | 0.737 | 0.781 | 0.879 | 0.741 | Burbuja |
| Dev/km | 1.585 | 1.723 | 2.363 | 1.545 | DAgger 27.6k |
| Lane/km | 3029 | 3107 | 3626 | 3071 | Burbuja |
| Suddenness | 0.0305 | 0.0334 | 0.0308 | 0.0299 | DAgger 27.6k |
El modelo Noise mejora ligeramente la distancia completada y la velocidad promedio, pero no mejora las métricas de estabilidad.
El modelo DAgger Ampliado alcanza:
- Mayor distancia efectiva
- Menor desviación acumulada
- Mayor suavidad de control
Esto indica mayor consistencia de trayectoria incluso en conducción nominal.
Variación relativa en distancia efectiva (vs Burbuja)
| Modelo | Cambio |
|---|---|
| Noise | −2.54 % |
| DAgger 16k | −20.01 % |
| DAgger 27.6k | +2.97 % |
Caso Pertubados
Caso 1 — Recovery inicial
| Modelo | Completed | Effective | Speed | Dev Mean | Dev/km | Lane/km | Sudden |
|---|---|---|---|---|---|---|---|
| Burbuja | 741 | 295 | 60.3 | 0.98 | 3.30 | 4450 | 0.031 |
| Noise | 745 | 305 | 60.1 | 0.99 | 3.25 | 4400 | 0.033 |
| Dagger corto | 741 | 297 | 59.9 | 0.99 | 3.30 | 4500 | 0.032 |
| Dagger grande | 742 | 358 | 59.6 | 1.01* | 2.82 | 4180 | 0.034 |
- Dev mean peor pero compensado por estabilidad global.
Caso 2 — Perturbación moderada
| Modelo | Completed | Effective | Speed | Dev Mean | Dev/km | Lane/km | Sudden |
|---|---|---|---|---|---|---|---|
| Burbuja | 757 | 405 | 60.7 | 0.82 | 1.95 | 3200 | 0.032 |
| Noise | 760 | 420 | 60.4 | 0.81 | 1.90 | 3100 | 0.033 |
| Dagger corto | 757 | 420 | 60.5 | 0.81 | 1.90 | 3100 | 0.033 |
| Dagger grande | 757 | 525 | 58.7 | 0.64 | 1.25 | 2950 | 0.038 |
Caso 3 — Dentro del basin
| Modelo | Completed | Effective | Speed | Dev Mean | Dev/km | Lane/km | Sudden |
|---|---|---|---|---|---|---|---|
| Burbuja | 758 | 330 | 60.3 | 0.90 | 2.40 | 3600 | 0.033 |
| Noise | 760 | 350 | 61.0 | 0.88 | 2.30 | 3500 | 0.034 |
| Dagger corto | 759 | 390 | 60.0 | 0.82 | 2.00 | 3300 | 0.032 |
| Dagger grande | 758 | 560 | 59.2 | 0.60 | 1.20 | 2800 | 0.036 |
Caso 4 — Borde región nominal
| Modelo | Completed | Effective | Speed | Dev Mean | Dev/km | Lane/km | Sudden |
|---|---|---|---|---|---|---|---|
| Burbuja | 757 | 310 | 60.1 | 1.00 | 3.40 | 4400 | 0.034 |
| Noise | 760 | 330 | 61.5 | 0.98 | 3.20 | 4300 | 0.035 |
| Dagger corto | 759 | 400 | 60.0 | 0.85 | 2.40 | 3500 | 0.032 |
| Dagger grande | 758 | 580 | 59.3 | 0.55 | 1.00 | 2600 | 0.036 |
Caso 5 — OOD fuerte
| Modelo | Completed | Effective | Speed | Dev Mean | Dev/km | Lane/km | Sudden |
|---|---|---|---|---|---|---|---|
| Burbuja | 757 | 301 | 60.2 | 1.01 | 3.36 | 4418 | 0.034 |
| Noise | 761 | 316 | 62.1 | 1.02 | 3.22 | 4333 | 0.036 |
| Dagger corto | 760 | 388 | 59.9 | 0.85 | 2.20 | 3500 | 0.031 |
| Dagger grande | 758 | 589 | 59.3 | 0.52 | 0.88 | 2550 | 0.035 |
Resultados generales:
Noise Augmentation:
- Mejora recuperación temprana
- No cambia la política estructural
DAgger Corto:
- Mejora suavidad del control
- Mejora estabilidad local
DAgger Ampliado:
- Mejora recuperación global
- Mejora persistencia de trayectoria
- Mejora estabilidad en OOD
Velocidad 30 km/h
| Métrica | Burbuja | Noise | DAgger 16k | DAgger 27.6k | Mejor |
|---|---|---|---|---|---|
| Completed | 756.07 | 760.50 | 755.39 | 756.40 | Noise |
| Effective | 443.17 | 416.50 | 378.17 | 449.60 | DAgger 27.6k |
| Speed | 62.79 | 64.15 | 61.57 | 61.59 | Noise |
| Dev mean | 0.716 | 0.768 | 0.864 | 0.742 | Burbuja |
| Lane/km | 2923 | 2996 | 3544 | 3126 | Burbuja |
A bajas velocidades:
- DAgger Ampliado obtiene mayor distancia efectiva.
- Noise mejora velocidad pero reduce estabilidad lateral.
- Burbuja mantiene la mejor precisión nominal.
Velocidad 50 km/h
| Métrica | Burbuja | Noise | DAgger 16k | DAgger 27.6k | Mejor |
|---|---|---|---|---|---|
| Completed | 756.12 | 759.87 | 756.37 | 756.39 | Noise |
| Effective | 437.33 | 444.17 | 415.08 | 431.75 | Noise |
| Speed | 63.85 | 64.90 | 62.97 | 61.79 | Noise |
| Dev mean | 0.695 | 0.726 | 0.794 | 0.724 | Burbuja |
Noise comienza a dominar métricas de progreso:
- Mayor distancia completada
- Mayor distancia efectiva
Sin embargo:
- Burbuja mantiene mejor control lateral fino
- DAgger Corto mantiene mejor suavidad de control
velocidad 80 km/h
| Métrica | Burbuja | Noise | DAgger 16k | DAgger 27.6k | Mejor |
|---|---|---|---|---|---|
| Completed | 419 | 761 | 757 | 759 | Noise |
| Effective | 252 | 479 | 477 | 438 | Noise |
| Speed | 25 | 68 | 65 | 66 | Noise |
| Dev mean | 1.92 | 0.66 | 0.69 | 0.65 | DAgger 27.6k |
A 80 km/h ocurre un cambio de régimen dinámico:
El modelo Burbuja pierde estabilidad estructural.
Noise y DAgger mantienen conducción estable.
Noise domina progreso longitudinal. DAgger mejora estabilidad lateral y control de invasiones.
velocidad 100 km/h
| Métrica | Burbuja | Noise | DAgger 16k | DAgger 27.6k | Mejor |
|---|---|---|---|---|---|
| Completed | 758 | 762 | 760 | 762 | DAgger 27.6k |
| Effective | 457 | 475 | 438 | 517 | DAgger 27.6k |
| Dev mean | 0.608 | 0.623 | 0.765 | 0.452 | DAgger 27.6k |
| Lane/km | 2576 | 2478 | 2770 | 2326 | DAgger 27.6k |
A 100 km/h el modelo DAgger Ampliado domina métricas estructurales:
- Menor desviación lateral
- Menor desviación acumulada
- Menor invasión de carril
- Cero colisiones en las corridas evaluadas
Noise mantiene mayor velocidad promedio, pero con menor estabilidad.
DAgger Corto presenta inestabilidad en algunas corridas.
Ranking Global de Modelos
Basado en todos los escenarios:
-
DAgger Ampliado Mayor robustez estructural y estabilidad global.
-
DAgger Corto Buen equilibrio entre suavidad y estabilidad.
-
Noise Augmentation Mejora recuperación, pero no robustez estructural.
-
Burbuja Excelente precisión nominal, baja robustez fuera de distribución.
Observaciones
Las mejoras en robustez no provienen principalmente de la augmentación de datos con ruido.
El aprendizaje de correcciones humanas mediante DAgger modifica la política de control aprendida, permitiendo:
- Mayor región de estabilidad
- Mejor recuperación
- Mejor desempeño en escenarios extremos
Para conducción nominal: Burbuja o Noise pueden ser suficientes.
Para conducción robusta o alta velocidad: Es necesario incorporar DAgger.