1 minuto(s) de lectura

Week 58 – Inferencia Image-Only (FastViT y ResNet-18) e Integración con Behavior Metrics API

Trabajo realizado

  • Simplificación a modelos “Image-Only”: Modifiqué los modelos FastViT y ResNet-18 para que funcionen únicamente con imágenes. Al quitar el acelerador (throttle) como entrada, obligamos a las redes a guiarse solo por las líneas del carril en la vista cenital (BEV). Esto hace que el modelo sea más robusto y evita que la red deje de funcionar adecuadamente.
  • Pruebas de inferencia en Town 04: Actualicé los scripts de inferencia en tiempo real para usar estas nuevas versiones simplificadas (FastViTSteeringOnly y ResNetSteeringOnly). Además, apliqué dos ajustes técnicos importantes para mi entorno. Las pruebas en el simulador fueron un éxito y ambos modelos lograron mantener el coche centrado de forma estable.
  • Subida de cambios a Behavior Metrics: Subí todos estos nuevos scripts y ajustes a la rama de Behavior Metrics para que funcione exclusivamente con la API de Python de CARLA. Con este cambio, eliminamos por completo la dependencia de ROS, lo que nos ahorrará conflictos de instalación y dejará todo listo para poder evaluar los modelos matemáticamente.

Visualizaciones

Prueba de inferencia autónoma con FastViT en Town 04
Video 1: Prueba en tiempo real usando el modelo FastViT (Image Only). El coche logra mantenerse en el carril de forma fluida procesando únicamente la vista de pájaro (BEV). (Haz clic en la imagen para ver el video).
Prueba de inferencia autónoma con ResNet-18 en Town 04
Video 2: Prueba en tiempo real con ResNet-18 (Image Only). Al igual que FastViT, la red controla el volante de forma estable guiándose solo por los píxeles del asfalto, sin necesidad de recibir el contexto de la velocidad. (Haz clic en la imagen para ver el video).