Week 97 - Busqueda de la proporcion optima, mezcla Burbuja–DAgger vs Burbuja–Noise en conduccion autonoma
Análisis de mezclas Burbuja + DAgger
Tabla resumen – DAgger
| Métrica | DAgger 5% | DAgger 15% | DAgger 30% | DAgger 50% | Mejor |
|---|---|---|---|---|---|
| Route completed (%) | 97.600 | 98.900 | 99.200 | 99.400 | DAgger 50% |
| Average speed (km/h) | 53.800 | 59.900 | 62.800 | 64.100 | DAgger 50% |
| Dev mean (m) | 0.620 | 0.640 | 0.655 | 0.670 | DAgger 5% |
| Lane invasions (eventos) | 8.100 | 7.200 | 6.900 | 6.700 | DAgger 50% |
| Collisions (eventos) | 0.050 | 0.110 | 0.160 | 0.210 | DAgger 5% |
| Suddenness throttle (1/s) | 0.0165 | 0.0150 | 0.0142 | 0.0136 | DAgger 50% |
| Suddenness steer (1/s) | 0.0054 | 0.0063 | 0.0069 | 0.0075 | DAgger 5% |
Análisis de mezclas Burbuja + Noise
Tabla resumen – Noise
| Métrica | Noise 5% | Noise 15% | Noise 30% | Noise 50% | Mejor |
|---|---|---|---|---|---|
| Route completed (%) | 97.800 | 98.100 | 98.300 | 98.500 | Noise 50% |
| Average speed (km/h) | 54.500 | 55.200 | 56.000 | 56.800 | Noise 50% |
| Dev mean (m) | 0.790 | 0.805 | 0.820 | 0.840 | Noise 5% |
| Lane invasions (eventos) | 8.300 | 8.100 | 7.900 | 7.800 | Noise 50% |
| Collisions (eventos) | 0.050 | 0.070 | 0.090 | 0.120 | Noise 5% |
| Suddenness throttle (1/s) | 0.0185 | 0.0180 | 0.0175 | 0.0170 | Noise 50% |
| Suddenness steer (1/s) | 0.0055 | 0.0058 | 0.0062 | 0.0066 | Noise 5% |
Comparación directa – DAgger vs Noise
Tabla comparativa final
| Métrica | DAgger 5% | DAgger 15% | DAgger 30% | DAgger 50% | Noise 5% | Noise 15% | Noise 30% | Noise 50% | Mejor global |
|---|---|---|---|---|---|---|---|---|---|
| Route completed (%) | 97.600 | 98.900 | 99.200 | 99.400 | 97.800 | 98.100 | 98.300 | 98.500 | DAgger |
| Average speed (km/h) | 53.800 | 59.900 | 62.800 | 64.100 | 54.500 | 55.200 | 56.000 | 56.800 | DAgger |
| Dev mean (m) | 0.620 | 0.640 | 0.655 | 0.670 | 0.790 | 0.805 | 0.820 | 0.840 | DAgger |
| Lane invasions (eventos) | 8.100 | 7.200 | 6.900 | 6.700 | 8.300 | 8.100 | 7.900 | 7.800 | DAgger |
| Collisions (eventos) | 0.050 | 0.110 | 0.160 | 0.210 | 0.050 | 0.070 | 0.090 | 0.120 | Empate |
| Suddenness throttle (1/s) | 0.0165 | 0.0150 | 0.0142 | 0.0136 | 0.0185 | 0.0180 | 0.0175 | 0.0170 | DAgger |
| Suddenness steer (1/s) | 0.0054 | 0.0063 | 0.0069 | 0.0075 | 0.0055 | 0.0058 | 0.0062 | 0.0066 | Bajo % |
Gráficas comparativas
A continuación se muestran las curvas de comportamiento en función del porcentaje de augmentación:
Gráfico de burbujas: robustez, colisiones y velocidad
Además de las curvas individuales, se construyó un gráfico de burbujas para visualizar simultáneamente tres dimensiones del comportamiento de los modelos:
- Eje X: colisiones promedio.
- Eje Y: porcentaje de ruta completada.
- Tamaño de burbuja: velocidad promedio del modelo.
La lectura ideal de esta gráfica está en la zona superior izquierda: alto porcentaje de ruta completada y bajo número de colisiones. En este sentido, las configuraciones con DAgger tienden a ubicarse más arriba que las configuraciones con Noise, lo que indica una mayor capacidad de completado.
Sin embargo, también se observa un costo: al aumentar la proporción de DAgger, los puntos se desplazan hacia la derecha, indicando un incremento en eventos de colisión. Esto confirma el trade-off observado en las tablas: más DAgger mejora la robustez y la velocidad, pero puede aumentar los contactos con el entorno.
El caso más interesante es DAgger 15%, porque logra un aumento importante en completado respecto a DAgger 5%, sin llegar todavía al incremento de colisiones observado en DAgger 30% y DAgger 50%. Por eso, en este avance parcial, el rango 15–30% DAgger aparece como el compromiso más prometedor entre robustez y seguridad.
En contraste, Noise muestra una mejora más gradual y limitada. Aunque sus colisiones crecen menos, también alcanza menores valores de completado y velocidad. Esto sugiere que Noise introduce variabilidad en el dataset, pero no genera una mejora estructural tan clara en recuperación como DAgger.
Interpretación
Las curvas muestran un patrón claro:
- DAgger mejora de forma consistente el completado, la velocidad y la reducción de invasiones de carril.
- Noise introduce mejoras marginales pero no cambia el comportamiento estructural del modelo.
- A mayor proporción de DAgger:
- ↑ robustez
- ↑ velocidad
- ↓ invasiones
- ↑ colisiones
- ↑ variabilidad en steering
Esto evidencia un trade-off entre estabilidad nominal y capacidad de recuperación.
Nota importante (estado del trabajo)
Este análisis es parcial y forma parte de un proceso en desarrollo.
Actualmente:
- Solo se han evaluado mezclas de datasets (Burbuja + DAgger y Burbuja + Noise).
- Las pruebas completas aún están en proceso, incluyendo:
- Caso canónico
- Casos aleatorios
- Diferentes velocidades iniciales
- Evaluación con perturbaciones DAgger en inferencia
- Análisis más profundo de métricas de estabilidad
Debido a que:
- El entrenamiento de modelos es costoso en tiempo
- La recolección y procesamiento de métricas es extensa
este bloque se presenta como un avance preliminar del comportamiento de los modelos.
Conclusión preliminar
Los resultados iniciales indican que:
- DAgger es la estrategia más efectiva para mejorar robustez
- Noise no es suficiente a bajas proporciones
- Existe un punto óptimo intermedio (~15–30% DAgger)
Este análisis continuará ampliándose con evaluaciones más completas en próximas iteraciones.