Week 65 - Corrección del problemas en la obtención de métricas
En las pruebas recientes con CARLA + BehaviorMetrics (ROS 2) se presentaron varios problemas relacionados con la sincronización del simulador y la estabilidad de ejecución.
1. Problemas encontrados
Bloqueo por sincronía
-
Al lanzar Town02 en modo asíncrono, pero manteniendo el mundo en synchronous y el TrafficManager en espera de ticks, el simulador quedaba bloqueado y finalmente terminaba en crash.
-
Este desajuste impedía que los tópicos publicaran con frecuencia estable y congelaba la simulación.
Crash al usar calidad baja
- El servidor CARLA se cerraba inesperadamente al iniciar town02_cannonical_test.launch cuando estaba activo el argumento:
<arg name="quality" default="Low"/>
- Al eliminar/comentar este parámetro en behavior_metrics/configs/CARLA/CARLA_launch_files/town02_cannonical_test.launch (línea 53), el servidor dejó de caerse.
2. Problemas previos con métricas y sincronización
-
No se lograba completar la obtención de métricas porque el simulador se congelaba antes de terminar la prueba.
-
La frecuencia de los tópicos era inestable (a veces 20 Hz, otras 40 Hz).
-
Solo se podía ejecutar un experimento a la vez, ya que al iniciar un segundo, el ego vehicle no aparecía y era necesario reiniciar CARLA.
Ajustes aplicados
-
Unificación de modo asíncrono: se alinearon todos los módulos (traffic.py, pilot_carla.py y los launch de Python) al modo asíncrono, evitando que CARLA espere ticks manuales.
-
Estabilidad del servidor: al retirar el parámetro de calidad en town02_cannonical_test.launch, el simulador dejó de crashear al cargar Town02.
efficientnet_control_manual.onnx.| Métrica | Valor |
|---|---|
| Modelo | efficientnet_control_manual.onnx |
| Mapa | Town02 |
| Distancia completada | 754.65 m |
| Distancia efectiva | 295.5 m |
| Velocidad promedio | 48.88 km/h |
| Velocidad máxima | 73.62 km/h |
| Tiempo simulado total | 56 s |
| Tiempo real total | 124.55 s |
| Desviación media posición | 0.89 m |
| Desviación total | 992.08 m |
| Colisiones | 0 |
| Invasiones de carril | 0 |
| Suddenness control cmds (por km) | 0.46 |
| Suddenness throttle (por km) | 0.35 |
| Suddenness steer (por km) | 0.21 |
| Suddenness speed (por km) | 0.93 |
Ya se logró registrar métricas de desempeño en Town02 usando el modelo EfficientNet ONNX. El vehículo recorrió ~755 m con velocidad media de ~49 km/h, sin colisiones ni invasiones de carril. La desviación promedio de trayectoria fue ~0.9 m. Esto confirma que el pipeline de métricas ya funciona en modo asíncrono.