Week 59 - Comparativa de modelos para conducción autónoma en CARLA
Tiempo de inferencia promedio (usando API Python CARLA)
Tiempo de inferencia promedio (usando API Python CARLA) Este indicador refleja el tiempo que tarda cada modelo en realizar una inferencia (predicción) sobre una imagen. Se evaluó directamente sobre la API de CARLA con los modelos torch *.pth para dataset teleoperado.
| Modelo | Promedio (ms) | Mínimo (ms) | Máximo (ms) |
|---|---|---|---|
| PilotNet | 5.10 | 4.13 | 6.66 |
| EfficientNetV2-S | 9.53 | 9.39 | 9.66 |
| ResNet18 | 5.06 | 5.00 | 5.12 |
Tiempo total para completar el circuito (medido en la simulación)
Esta tabla muestra cuánto tardó cada modelo en recorrer una trayectoria definida en CARLA, lo cual depende tanto del modelo como del comportamiento de conducción aprendido.
| Modelo | Tiempo (hh:mm:ss) | Tiempo (segundos) |
|---|---|---|
| EfficientNet | 00:01:17 | 77 |
| ResNet18 | 00:01:26 | 86 |
| PilotNet | 00:01:37 | 97 |
Aunque EfficientNet es más lento en inferencia, su capacidad de conducción es más eficiente en tiempo total de recorrido.
Métricas de desempeño en conducción (BehaviorMetrics)
Se usó la herramienta BehaviorMetrics para analizar el comportamiento de conducción. Se destacan la velocidad promedio, la desviación de posición respecto al carril y las infracciones. Se uso modelos convertidos a ONNX (dataset teleoperado).
| Modelo | Distancia (m) | Tiempo (s) | Vel. Mín (m/s) | Vel. Prom (m/s) | Vel. Máx (m/s) | Pos. Desv. (m) | Colisiones | Inv. Carril | Inv. Aceras |
|---|---|---|---|---|---|---|---|---|---|
| EfficientNetV2-S | 264.68 | 77.0 | 2.52 | 3.44 | 4.27 | 0.22 | 0 | 0 | 0 |
| ResNet18 | 264.68 | 86.0 | 1.99 | 3.07 | 4.04 | 0.30 | 0 | 0 | 0 |
| PilotNet | 264.68 | 97.0 | 1.71 | 2.73 | 3.96 | 0.45 | 0 | 0 | 0 |
EfficientNetV2-S no solo completó el trayecto más rápido, sino que lo hizo con menor desviación del carril y sin colisiones o infracciones.
PilotNet: Aunque es el más rápido en inferencia, muestra el peor desempeño de conducción en cuanto a desviación y tiempo.
EfficientNetV2-S: A pesar de ser más pesado computacionalmente, obtuvo los mejores resultados en conducción segura y eficiente.
ResNet18: Logra un balance entre rendimiento computacional y buena conducción.
Test Offline
| Modelo | Steer MSE | Steer MAE | Throttle MSE | Throttle MAE |
|---|---|---|---|---|
| pilotnet | 0.3351 | 0.2249 | 0.3985 | 0.3846 |
| resnet18 | 0.2788 | 0.1865 | 0.4311 | 0.3715 |
| efficentenet_v2_s | 0.2922 | 0.1650 | 0.4633 | 0.3936 |
