Ingeniero en Robótica e investigador doctoral. Desarrollando una Red Neuronal Universal para vehículos autónomos mediante visión homográfica (BEV) y aprendizaje End-to-End.
Week 53 – Generación de Dataset Homográfico (BEV) y Entrenamiento Multi-Modal con ResNet-18
Trabajo realizado
Generación de Dataset con Imágenes Homográficas (Bird’s Eye View): Se diseñó un pipeline de recolección de datos a partir de logs de conducción de un experto (DAgger). Se implementó un rig de 4 cámaras ortogonales (frontal, trasera, izquierda, derecha) con un FOV amplio. Utilizando OpenCV (cv2.getPerspectiveTransform y cv2.warpPerspective), las 4 vistas se proyectaron y fusionaron en un único lienzo cenital 2D estandarizado, dibujando dinámicamente la posición del ego vehicle (Tesla Model 3) en el centro.
Optimización del Pipeline de Sincronización y Extracción: Para resolver los cuellos de botella en el ancho de banda del socket TCP de CARLA y los cuelgues del servidor gráfico (Wayland), se ralentizó la reproducción de los logs (time_factor = 0.3), se redujo la resolución de captura base a 400x300 y se desactivó el renderizado visual continuo (extracción headless). Además, se modificó la lógica de almacenamiento temporal (buffer) para utilizar los frames más recientes de cada sensor, garantizando la escritura ininterrumpida de imágenes sincronizadas junto con su telemetría en el archivo driving_log.csv.
Transición Arquitectónica de PilotNet a ResNet-18: Dado que el espacio representacional cambió de una vista en perspectiva a un mapa métrico 2D (BEV), se descartó PilotNet en favor de una arquitectura residual (ResNet-18). Se adaptó la red eliminando la capa original de clasificación para utilizarla como un extractor denso de 512 características espaciales.
Implementación de Fusión de Sensores (Sensor Fusion): Debido a que la vista cenital estática carece de información inercial temporal, se modificó el forward pass de la red neuronal en PyTorch para inyectar la velocidad actual del vehículo escalarmente. El vector de características fusionado (512 + 1) se procesó a través de un cabezal de regresión multicapa para predecir simultáneamente el control lateral (steering) y longitudinal (throttle).
Configuración del Bucle de Entrenamiento: Se desarrolló un DataLoader personalizado que aplica transformaciones y normalización estándar de ImageNet a las imágenes BEV, descartando un porcentaje dinámico de frames inactivos (vehículo detenido o sin giro) para evitar el desbalance de clases. Se definió el uso de Huber Loss para mitigar la influencia de outliers ruidosos en los comandos del experto humano.
Week 62 – Homologación del Vehículo Lincoln MKZ 2020 en Bench2Drive (788.5 m con 0 Colisiones), Generación del Dataset Multi-Mapa BEV Nativa con Waypoints (1...