Resultados de comparación: Burbuja (autopiloto) vs Control Manual (teleoperado) usando modelo PilotNet
| Métrica |
Burbuja (Autopiloto) |
Control Manual (Humano) |
| Distancia completada (m) |
779.06 |
616.84 |
| Distancia efectiva (m) |
277.00 |
373.00 |
| Velocidad promedio (km/h) |
16.94 |
29.95 |
| Velocidad máxima (km/h) |
22.73 |
38.49 |
| Velocidad mínima (km/h) |
7.14 |
-0.72 |
| Desviación posición media (m) |
1.11 |
0.87 |
| Desviación media por km (m/km) |
4.02 |
2.32 |
| Errores de posición total (m) |
2462.84 |
856.69 |
| Colisiones |
0 |
0 |
| Invasiones de carril |
0 |
0 |
| Suddenness velocidad (∑ dist) |
0.198 |
0.274 |
| Suddenness comandos (∑ dist) |
0.190 |
0.087 |
| Suddenness por km – velocidad |
0.713 |
0.735 |
| Suddenness por km – control |
0.685 |
0.235 |
| Suddenness por km – throttle |
0.660 |
0.111 |
| Suddenness por km – steer |
0.076 |
0.157 |
| Tiempo simulado total (s) |
165 |
73 |
| Tiempo real total (s) |
320.12 |
159.16 |
Comparación de métricas offline: PilotNet entrenado con datasets diferentes
| Dataset / Modelo |
Steer MSE |
Steer RMSE |
Steer MAE |
Throttle MSE |
Throttle RMSE |
Throttle MAE |
| Control manual |
0.1123 |
0.3351 |
0.2249 |
0.1588 |
0.3985 |
0.3846 |
| Burbuja (autopiloto) |
0.2487 |
0.4987 |
0.1483 |
0.4067 |
0.6375 |
0.3939 |
MoE: desempeño al lanzar el modelo a distintas velocidades objetivo
| Vel. de lanzamiento (km/h) |
Vel. prom. (km/h) |
Vel. máx. (km/h) |
Dist. completada (m) |
Dist. efectiva (m) |
Desv. pos. media (m) |
Desv. por km (m/km) |
Suddenness/km velocidad |
Suddenness/km control |
Suddenness/km steer |
Colisiones |
Invasiones |
| 15 |
45.998 |
70.359 |
381.133 |
84.5 |
1.066 |
12.621 |
10.552 |
2.425 |
0.382 |
0 |
0 |
| 30 |
31.754 |
60.282 |
536.225 |
126.0 |
1.213 |
9.630 |
4.835 |
1.874 |
0.311 |
0 |
0 |
| 45 |
39.786 |
67.051 |
672.597 |
158.0 |
1.843 |
11.664 |
3.790 |
1.801 |
0.261 |
0 |
0 |
| 60 |
46.651 |
71.873 |
344.088 |
53.0 |
1.391 |
26.248 |
19.315 |
3.974 |
0.875 |
0 |
0 |
| 80 |
30.309 |
77.341 |
680.149 |
192.5 |
1.128 |
5.860 |
3.118 |
1.467 |
0.262 |
0 |
0 |
| 100 |
27.730 |
90.706 |
497.626 |
109.0 |
1.304 |
11.960 |
6.005 |
2.304 |
0.536 |
0 |
0 |
Modelo Monolítico: desempeño a diferentes velocidades de lanzamiento
| Vel. lanzamiento (km/h) |
Vel. prom. (km/h) |
Vel. máx. (km/h) |
Desv. pos./km (m/km) |
Suddenness vel./km |
| 15 |
19.36 |
36.67 |
3.18 |
0.93 |
| 30 |
45.28 |
63.07 |
6.71 |
2.63 |
| 45 |
19.92 |
51.65 |
3.30 |
0.91 |
| 60 |
35.21 |
60.66 |
2.35 |
1.30 |
| 80 |
46.10 |
81.12 |
4.45 |
2.16 |
| 100 |
45.32 |
105.13 |
3.24 |
2.07 |
Comparación MoE vs Monolítico a diferentes velocidades de lanzamiento
| Vel. lanzamiento (km/h) |
Desv./km MoE |
Suddenness/km MoE |
Desv./km Monolítico |
Suddenness/km Monolítico |
| 15 |
12.62 |
10.55 |
3.18 |
0.93 |
| 30 |
9.63 |
4.83 |
6.71 |
2.63 |
| 45 |
11.66 |
3.79 |
3.30 |
0.91 |
| 60 |
26.25 |
19.31 |
2.35 |
1.30 |
| 80 |
5.86 |
3.12 |
4.45 |
2.16 |
| 100 |
11.96 |
6.00 |
3.24 |
2.07 |
Resultados de comparación: Monolítico vs MoE (EfficientNetV2-S, dataset teleoperado)
- Evaluación Offline (Dataset teleoperado)
| Modelo |
Steer MSE |
Steer RMSE |
Steer MAE |
Throttle MSE |
Throttle RMSE |
Throttle MAE |
| Monolítico |
0.0854 |
0.2922 |
0.1650 |
0.2146 |
0.4632 |
0.3936 |
| Experto – Curva |
0.2213 |
0.4704 |
0.1085 |
0.5097 |
0.7139 |
0.3952 |
| Experto – Recta |
0.2592 |
0.5091 |
0.1214 |
0.4886 |
0.6990 |
0.3802 |
- Evaluación Online (Simulación con Behavior Metrics)
| Métrica |
Monolítico (EfficientNetV2-S) |
MoE (EfficientNetV2-S) |
| Distancia completada (m) |
780.14 |
788.81 |
| Distancia efectiva (m) |
256.00 |
141.50 |
| % completado |
0.0169 |
0.0169 |
| Velocidad promedio (km/h) |
44.87 |
53.34 |
| Velocidad máxima (km/h) |
66.77 |
77.77 |
| Velocidad mínima (km/h) |
25.19 |
16.69 |
| Desviación posición media (m) |
0.873 |
1.103 |
| Desviación media por km (m/km) |
3.41 |
7.79 |
| Errores de posición total (m) |
733.55 |
787.34 |
| Colisiones |
0 |
0 |
| Invasiones de carril |
0 |
0 |
| Suddenness velocidad (∑ dist) |
0.489 |
0.748 |
| Suddenness comandos (∑ dist) |
0.139 |
0.181 |
| Suddenness por km – velocidad |
1.91 |
5.28 |
| Suddenness por km – control |
0.543 |
1.28 |
| Suddenness por km – throttle |
0.450 |
1.18 |
| Suddenness por km – steer |
0.200 |
0.212 |
| Tiempo simulado total (s) |
63 |
53 |
| Tiempo real total (s) |
273.67 |
122.06 |
Pruebas de robustez (MoE)
| Caso |
Dist. completada (m) |
Dist. efectiva (m) |
Vel. prom. (km/h) |
Vel. máx. (km/h) |
Desv./km (m/km) |
Suddenness/km (vel.) |
Suddenness/km (control) |
Suddenness/km (steer) |
Colisiones |
Invasiones |
| 1 |
192.07 |
41.0 |
21.81 |
40.14 |
34.13 |
10.06 |
6.55 |
1.47 |
0 |
0 |
| 2 |
238.35 |
56.0 |
21.74 |
52.79 |
50.42 |
7.87 |
3.65 |
1.41 |
0 |
0 |
| 3 |
222.06 |
115.5 |
12.47 |
24.43 |
25.25 |
2.17 |
2.77 |
0.75 |
0 |
0 |
| 4 |
188.99 |
46.5 |
29.89 |
55.62 |
41.43 |
11.16 |
5.81 |
1.71 |
0 |
0 |
Pruebas de robustez (Monolítico)
| Caso |
Dist. completada (m) |
Dist. efectiva (m) |
Vel. prom. (km/h) |
Vel. máx. (km/h) |
Desv./km (m/km) |
Suddenness/km (vel.) |
Suddenness/km (control) |
Suddenness/km (steer) |
Colisiones |
Invasiones |
| 1 |
89.58 |
38.5 |
13.56 |
35.02 |
50.24 |
6.75 |
6.21 |
3.17 |
0 |
0 |
| 2 |
71.94 |
22.5 |
12.67 |
19.15 |
107.66 |
13.75 |
9.46 |
4.46 |
0 |
0 |
| 3 |
63.06 |
6.0 |
10.95 |
34.02 |
1587.68 |
46.37 |
31.71 |
17.44 |
0 |
0 |
| 4 |
71.19 |
17.0 |
18.28 |
27.13 |
162.82 |
25.82 |
14.40 |
6.83 |
0 |
0 |
Resumen de resultados
-
PilotNet (dataset): control manual con menor desviación media, menor error por km y mayor suavidad; la burbuja recorre más distancia pero a menor velocidad y con mayor error.
-
PilotNet (offline): el dataset teleoperado mejora throttle y steer en MSE/RMSE; la burbuja obtiene menor Steer MAE.
-
MoE vs Monolítico (lanzamiento por velocidad): el monolítico presenta menores desviaciones y suddenness en la mayoría de velocidades; el MoE es más variable (peor a 60 km/h, mejor a 80 km/h).
-
EfficientNetV2-S (online): el monolítico muestra menor desviación media (0.873 m vs. 1.103 m) y menor error por km (3.41 vs. 7.79); el MoE alcanza mayores velocidades.
-
Robustez: el MoE logra recuperaciones aceptables en algunos casos pero con alta variabilidad; el monolítico exhibe desviaciones extremas en ciertos escenarios adversos.
