5 minute read

Objetivo del día

  • Que la pinza corrija también los giros grandes antes de coger el cubo.
  • Entender por qué no lo hace.

Comparando con el entrenamiento sin orientación del día 15, la recompensa de orientación del día 16 casi no cambiaba nada (42 % alineado sin ella, 49 % con ella).

Premiar la alineación desde más lejos

En el día 16 la recompensa de orientación solo pagaba en los últimos 5 cm. Se ensanchó la campana a 15 cm para que la pinza tuviera tiempo de girar mientras baja hacia el cubo:

"std": 0.15,  # antes 0.05

Aprende mucho más rápido (97 % de encargos bien hechos en la iteración 1500, frente a la 3500 del día 16), pero sigue sin corregir los giros grandes: si empieza a 35–45°, solo lo coge alineado el 9 % de las veces.

La pinza casi no gira

Se midió cuánto gira la pinza desde que empieza hasta que coge el cubo, separando los robots según hacia qué lado está girado el cubo. En todas las redes:

  • La pinza gira solo unos 5°, y hacia el lado bueno o el malo casi al azar.
  • Los 10–15° que se corregían en el día 16 los corrige el propio cubo: al cerrarse los dedos lo empujan y lo enderezan un poco.

Así que la explicación del día 16 (que el castigo de velocidad no la dejaba girar a tiempo) no era la buena: la muñeca nunca pasa de 0,5 rad/s, donde empieza el castigo.

El actor no sabe cómo está girado el cubo

En el entrenamiento hay dos redes:

  • El actor, que decide los movimientos. Recibe las articulaciones, sus velocidades, la última acción, el destino y la imagen de profundidad de 32×32.
  • El crítico, que solo se usa al entrenar para valorar lo bien que va el robot. Además recibe datos exactos de la simulación, como dónde está el cubo.

Ninguno de los dos recibía el giro del cubo. El actor solo podía sacarlo de la imagen, y la red de la cámara está pensada para encontrar dónde están las cosas, no cómo están giradas.

Para comprobarlo se añadió una observación con el giro del cubo respecto a la pinza:

diff = 4 * (gripper_yaw - cube_yaw)
return torch.stack([torch.sin(diff), torch.cos(diff)], dim=-1)

Se multiplica por 4 porque el cubo es igual cada 90°: así 0°, 90° y 180° dan el mismo valor, y el seno y el coseno evitan el salto de 45° a −45°.

Con el giro en el actor, se alinea perfecto

Con esta observación en el actor y en el crítico, en la iteración 3000 la pinza gira exactamente lo que hace falta hacia el lado bueno el 100 % de las veces, incluso desde 40°, y acaba con menos de 1° de error.

Pero no cogía el cubo: la recompensa pagaba por estar cerca y alineada antes de cogerlo, así que lo más rentable era quedarse flotando encima, alineada, sin cogerlo.

Esto demuestra que el problema es de percepción: si el actor ve el giro, aprende a orientarse. Pero el robot real no tiene ese dato exacto, así que no se puede dejar así.

Una recompensa que paga solo con el cubo levantado

Para quitar el truco de flotar, la recompensa ahora solo paga cuando el cubo está cogido y en el aire:

lifted = grasped_off_ground(env, left_sensor_name, right_sensor_name, object_ground_sensor_name)
return lifted * aligned

Así premia cómo lo ha cogido: levantarlo alineado vale más que levantarlo en diagonal.

El giro solo en el crítico

Como el crítico solo se usa al entrenar, sí puede recibir el giro exacto. La idea era que, al valorar mejor los agarres alineados, el actor aprendiera a sacar el giro de la imagen.

  Peso 2 Peso 5
Encargos bien hechos 95 % (iteración 2750) 0 % (hasta la 4400)
Gira hacia el lado bueno ~50 % (al azar) siempre ~7,5° hacia el mismo lado
Lo coge alineado (0–5°) 43 % 52 %
Lo coge en diagonal (20–45°) 42 % 19 %
Se le cae el cubo — 6,6 %
  • Peso 2: aprende la tarea, pero la pinza no gira hacia el lado bueno: el actor sigue sin ver el giro.
  • Peso 5: la pinza hace siempre el mismo giro, sin mirar el cubo, y además aprende a sostener el cubo en el aire en vez de dejarlo en el destino, porque sostenerlo alineado le paga más que soltarlo. Lo coge alineado más veces, pero no porque mire el cubo: el giro de la pinza es el mismo siempre, y lo que endereza el cubo es el propio agarre. Como lo lleva tanto tiempo en el aire, se le cae más. Se paró en la iteración 4400.

Lo que sí se confirma: con peso 2, cuando lo coge alineado se le cae al 0,5 % de los robots, y cuando no, a cerca del 9 %. Orientarse merece la pena.

¿Está el giro en la imagen?

Antes de decidir nada, se comprobó si la imagen de 32×32 del actor tiene información suficiente para saber el giro. Se guardaron 512.000 imágenes de la cámara con el giro exacto del cubo y se entrenó una red pequeña, de forma supervisada, para adivinarlo. Error al adivinar el giro (mediana; al azar sería 22,5°):

Pinza a Red con la misma forma que la del actor Red de imagen normal
0–5 cm 1,6° 0,5°
5–10 cm 15° 4–5°
Más de 10 cm ~22° (al azar) ~20° (al azar)

De cerca, el giro sí se ve en la imagen. El problema no es la resolución: el actor no aprende a fijarse en él solo con las pistas del crítico. De lejos no se distingue, así que la pinza solo podrá orientarse en los últimos ~10 cm.

Conclusión

Por mucho que se cambie la recompensa, el actor no aprende a orientarse porque no sabe cómo está girado el cubo. Las pistas del crítico no le sirven para darse cuenta de que lo que falla es la orientación: el crítico solo le dice si algo ha salido mejor o peor de lo esperado, no por qué. Para orientarse, el giro del cubo lo tiene que recibir el propio actor.

Como el robot ya tiene una cámara, la forma de dárselo es con visión. Para no tener que configurar y programar una visión clásica (separar el cubo de la mesa, umbrales, ajustar un rectángulo), se va a entrenar una red pequeña con un dataset de imágenes del cubo tomadas por la propia cámara de la muñeca, que diga el giro del cubo. El actor recibirá el giro que adivina esa red y seguirá aprendiendo a moverse solo con RL.

Si más adelante se cambia a una cámara de color (HSV), se puede volver a entrenar esa red con imágenes de color en vez de programar una visión nueva.

Próximos pasos

  1. Un script que recoja de la simulación imágenes de la cámara con el giro del cubo (el dataset).
  2. Entrenar la red pequeña con aprendizaje supervisado y medir su error.
  3. Pasarle al actor el giro que adivina la red, entrenar con RL y comprobar si ahora orienta la pinza.
  4. Después, seguir con la batería de pruebas de posiciones.

Updated: