Week 86 - Actualización de métricas en CARLA
Se realizaron mejoras en la forma de reportar el desempeño del vehículo autónomo en simulación, con el objetivo de que las métricas reflejen con mayor fidelidad el comportamiento real durante la ejecución.
Estas modificaciones aplican tanto al flujo basado en ROS como al flujo usando Python API, permitiendo comparar resultados de manera consistente entre diferentes configuraciones experimentales.
Porcentaje de ruta completada
Anteriormente, el porcentaje de progreso se estimaba en función de los waypoints globales del mapa. Esto generaba valores artificialmente bajos en escenarios donde el experimento solo recorría una sección del mapa (por ejemplo, trayectorias start → target).
Ahora el cálculo se realiza sobre la trayectoria real esperada del vehículo:
- Se genera la ruta óptima start → target usando planificación global.
- Se mide qué fracción de esa ruta fue realmente recorrida.
Esto hace que el porcentaje represente el progreso real del experimento y no la cobertura del mapa completo.
Colisiones
El conteo de colisiones fue ajustado para representar eventos reales y no ruido temporal.
Ahora:
- Se agrupan múltiples impactos consecutivos en un solo episodio.
- Se usa separación temporal para evitar contar múltiples frames de la misma colisión.
- Se usa el impulso de colisión para filtrar eventos irrelevantes.
Esto permite medir fallos reales de conducción y no simplemente contacto físico continuo.
Invasiones de carril
El conteo de invasiones también fue refinado:
- Se agrupan eventos cercanos en el tiempo.
- Se reportan solo invasiones independientes.
- Se usa tiempo real del mensaje en lugar de índice de frame.
Esto reduce sobreconteo cuando el vehículo permanece sobre la línea de carril varios frames.
Ejemplo real (último experimento)
En el experimento más reciente:
- Ruta completada: 77.89 %
- Colisiones: 0
- Invasiones de carril: 2
Estos valores reflejan con mayor precisión el desempeño real observado en la trayectoria.
Normalización por distancia (métricas por km)
Las métricas por kilómetro ahora:
- Usan distancia efectiva real (no distancia total del mapa).
- Se reportan solo si la distancia recorrida es suficiente para ser estadísticamente significativa.
Esto evita valores irreales cuando el recorrido es muy corto.
Estado actual del sistema de métricas
Actualmente se está reconstruyendo el resumen global de métricas utilizando los modelos entrenados bajo las siguientes estrategias de dataset:
- Burbuja (conducción natural)
- Noise Injection
- DAgger suave
- Versión corta
- Versión grande
- DAgger agresivo
Métricas obtenidas
json file
{
"experiment_total_real_time": 45.87064981460571,
"experiment_total_simulated_time": 45.80631002224981,
"completed_distance": 754.9296554922223,
"effective_completed_distance": 588.0,
"percentage_completed": 77.8880516511989,
"completed_laps": 0.0,
"average_speed": 60.40887040467745,
"max_speed": 77.09446628334943,
"min_speed": 0.0,
"position_deviation_mean": 0.4825429478671752,
"position_deviation_total_err": 712.2333910519507,
"position_deviation_mean_per_km": 0.8206512718829511,
"collisions": 0.0,
"collisions_per_km": "N/A",
"lane_invasions": 2.0,
"lane_invasions_per_km": "N/A",
"suddenness_distance_control_commands": 0.026940104496183236,
"suddenness_distance_throttle": 0.02383902721485849,
"suddenness_distance_steer": 0.007652231869051002,
"suddenness_distance_brake_command": 0.0,
"suddenness_distance_control_command_per_km": "N/A",
"suddenness_distance_throttle_per_km": "N/A",
"suddenness_distance_steer_per_km": "N/A",
"suddenness_distance_brake_command_per_km": "N/A",
"suddenness_distance_speed_per_km": "N/A",
"experiment_model": "pilotnet_dagger_grande.pth",
"carla_map": "Carla/Maps/Town02",
"starting_point_map": [
189.72976684570312,
125.58731842041016
],
"timestamp": "20260212-153927",
"world": [
"configs/CARLA/default_carla_api_script.yml"
],
"brain": [
"brains/CARLA/brain_metricas.py"
],
"experiment_name": "Carla Town02 Test Suite"
}
png image
