Ingeniero en Robótica e investigador doctoral. Desarrollando una Red Neuronal Universal para vehículos autónomos mediante visión homográfica (BEV) y aprendizaje End-to-End.
Week 54 – Pipeline Resiliente BEV (IPM) y Entrenamiento PyTorch con Balanceo Dinámico
Trabajo realizado
Configuración Óptima de Sensor para IPM: Se reconfiguró la captura a una cámara frontal de alta resolución (1920x1080) con gran angular (FOV 110°) e inclinación negativa (Pitch -15°). Esta disposición maximiza la densidad de píxeles del asfalto y proporciona la visión periférica necesaria para el Mapeo Inverso de Perspectiva (IPM), eliminando las oclusiones generadas por el cofre del vehículo.
Pipeline de Extracción Resiliente (Watchdog y Auto-Reanudación): Para mitigar los cuelgues por fugas de memoria del servidor de CARLA (Segmentation fault / Signal 11) durante el procesamiento masivo de logs, se implementó un sistema de auto-recuperación. El script de Python detecta bloqueos mediante timeouts en la cola de imágenes, aborta la limpieza de memoria para evitar core dumps y entra en pausa. Simultáneamente, un watchdog en Bash levanta un nuevo servidor de CARLA, permitiendo al script reconectarse y reanudar la extracción exacta leyendo el estado del driving_log.csv.
Cálculo de Matriz de Homografía y Enmascaramiento: Se programó una herramienta interactiva en OpenCV para establecer correspondencias métricas seleccionando 4 puntos coplanares sobre los carriles y calcular la matriz de transformación $H$. Para evitar la distorsión geométrica (“efecto Inception”) al proyectar píxeles fuera del plano del suelo, se integró una máscara de horizonte que oscurece el cielo y los edificios antes de realizar la transformación a vista cenital.
Procesamiento de Dataset en Lote: Se construyó un script independiente para procesar masivamente la carpeta de frames originales, aplicando la matriz de homografía universal y generando el dataset final en Vista de Pájaro (BEV). Los archivos conservan su nomenclatura original para mantener la integridad relacional con la telemetría del CSV.
Entrenamiento Multi-Modal y Balanceo en Caliente: Se estructuró un modelo dual en PyTorch que concatena características espaciales (extraídas mediante ResNet-18 sobre imágenes BEV normalizadas) con el estado cinemático (velocidad escalar) para predecir controles continuos (steering y throttle). Para contrarrestar el desbalance de clases originado por la abundancia de trayectorias rectas, se desarrolló una función de pérdida personalizada (Weighted Huber Loss). Este balanceo “en caliente” incrementa dinámicamente el factor de penalización basándose en el ángulo real de la curva, obligando a la red a priorizar el aprendizaje de los giros cerrados sin necesidad de aplicar métodos destructivos de undersampling.
Visualizaciones
Herramienta interactiva para la selección de 4 puntos coplanares marcando el trapecio de referencia sobre el asfalto.
Proyección BEV inicial exhibiendo el efecto envolvente en estructuras no pertenecientes al plano del suelo (cielo y edificios).
Vista cenital definitiva (BEV) procesada tras enmascarar el horizonte, logrando carriles paralelos listos para la extracción de características con ResNet-18.
Week 62 – Homologación del Vehículo Lincoln MKZ 2020 en Bench2Drive (788.5 m con 0 Colisiones), Generación del Dataset Multi-Mapa BEV Nativa con Waypoints (1...