Semana 17: Profundizaje del LiDAR semántico

LiDAR semántico

Esta semana se ha profundizado en el LiDAR semántico para comprender su funcionamiento en detalle. Se han analizado sus características y comparado con el LiDAR estándar en CARLA en el CARLA Sensors reference.

Ambos sensores comparten la mayoría de los parámetros:

• Channels: descrito como el número de lasers, es decir, los rayos emitidos alredor del sensor.
• Range: la distancia máxima de medición en metros.
• Points_per_second: cantidad de puntos generados por todos los láseres por segundo.
• Rotation_frequency: la frecuencia de rotación del sensor, medido en Hz.
• Upper_fov: ángulo en grados del láser más alto, define el límite superior del campo de visión vertical.
• Lower_fov: ángulo en grados del láser más bajo, define el límite inferior del campo de visión vertical.
• Horizontal_fov: el campo de visión horizontal, que puede ir de 0º a 360º
• Sensor_tick: intervalo de tiempo en segundos entre capturas del sensor.

Sin embargo, el LiDAR estándar incluye algunos parámetros adicionales que el LiDAR semántico no tiene::

• Dropoff_general_rate: la proporción general de los puntos descartados aleatoriamente.
• Dropoff_intensity_limit: umbral de intensidad a partir del cual los puntos no se pierden. Depende del sensor y la escena.
• Dropoff_zero_intensity: probabilidad de que un punto con intensidad cero sea descartado.
• Noise_stddev: desviación estándar del modelo de ruido aplicado a cada punto.

Los parámetros adicionales del LiDAR estándar están diseñados para hacer la simulación más realista, introduciendo ruido y pérdida de puntos, como sucede en sensores LiDAR del mundo real.

Por otro lado, el LiDAR semántico está pensado para proporcionar datos más limpios y estructurados, ya que su principal objetivo es generar información para tareas como percepción semántica y creación de datasets sintéticos. Esto explica la ausencia de parámetros como el ruido o el dropoff, ya que en este caso se prioriza la precisión sobre la fidelidad al comportamiento físico de un LiDAR real.

Parámetros de salida

En su mayoría, presentan los mismos parámetros de salida:

• Frame: número de frame en el que se realizó la medición.
• Timestamp: tiempo de simulación de la medición en segundos.
• Transform: posición y rotación del sensor en coordenadas globales en el momento de la medición.
• Horizontal_angle: el ángulo en radianes en el plano XY del LiDAR en el frame actual.
• Channels: número de láseres del LiDAR.
• Get_point_count(channel): cantidad de puntos por canal capturados en el frame actual.

Sin embargo, en el parámetro raw_data existen diferencias clave:

• LiDAR estándar: contiene un array de 32 bits con las coordenadas XYZI de cada punto.
  • La “I” representa la intensidad perdida durante el recorrido del rayo desde el sensor hasta el objeto. Su valor depende de la distancia recorrida y las propiedades del material impactado, calculado con la siguiente fórmula

• LiDAR semántico:
  • Coordenadas XYZ.
  • El coseno del ángulo incidente.
  • Índice del objeto impactado (entero sin signo).
  • Etiqueta semántica del objeto, la cual indica la clase del objeto detectado y está predefinida por CARLA, aunque puede personalizarse en los assets.

Extra

También se ha explorado la posibilidad de asignar etiquetas semánticas personalizadas. Los resultados muestran que estas etiquetas se reflejan correctamente en el LiDAR semántico, aunque persisten algunos fallos en la cámara de segmentación semántica, que producen que el objeto aparezca de color negro en vez del color asignado.