3 minute read

Objetivo del día

  • Dejar el cubo más centrado en el destino.
  • Comprobar que el destino es de verdad relativo a la base del robot.
  • Empezar a pasar el pick and place a un UR5e.

Pick and place más preciso

La recompensa por dejar el cubo tenía una campana de 5 cm, y a 1 cm del centro cobraba casi lo mismo que en el centro. Se añadió una segunda recompensa igual, released_precise, con una campana más estrecha de 1,5 cm y peso 5 para que fuera más preciso dejando el cubo en el objetivo.

Se entrenó 2000 iteraciones más continuando desde la red del día 11. Comparación en el programa de inferencia con 8 posiciones distintas de cubo y destino:

  Día 11 Día 12
Error medio al dejarlo 1,09 cm 0,90 cm
Peor error 1,94 cm 1,37 cm
Altura máxima del cubo 8,5 cm 7,5 cm

El destino es relativo a la base

En el día 10 el destino pasó a darse respecto a la base del robot, pero durante el entrenamiento la base nunca se mueve ni gira, así que respecto a la base y respecto al mundo daban el mismo número.

Para comprobarlo, en el programa de inferencia se movió y giró la base del robot, colocando el cubo y el destino en el mismo sitio respecto a ella:

Posición de la base Giro Error al dejarlo
(0, 0) 0° 0,85 cm
(0,5, 0,3) 0° 0,85 cm
(−1, 2) 0° 0,85 cm
(0, 0) 90° 0,85 cm
(0,5, 0,3) 90° 0,85 cm
(−1, 2) 180° 0,85 cm
(3, −2) −115° 0,85 cm

Como control, dándole el destino en coordenadas del mundo con la base en (0,5, 0,3) y girada 90°, el error sube a 25,8 cm.

Funciona porque todo lo que ve la red es igual esté donde esté la base: las articulaciones, la cámara de la muñeca y el destino en los ejes de la base. La posición inicial del cubo no se le da a la red, la encuentra con la cámara.

El UR5e

Se montó en MuJoCo un UR5e con una pinza Robotiq 2F-85 y una cámara de profundidad en la muñeca, del tamaño de una Intel RealSense D405 como la del YAM. El brazo y la pinza son los modelos de MuJoCo Menagerie. La pinza podrá cambiarse más adelante.

La tarea es la misma que la del YAM, cambiando solo lo propio del robot: los motores, la postura inicial, los nombres de las piezas y las zonas del cubo y del destino, ya que el UR5e es más grande. La tarea del YAM se mantiene.

Primer problema: empuja el cubo

Con las mismas recompensas que el YAM, el UR5e aprendía a empujar el cubo con la pinza abierta hasta el destino, sin cogerlo nunca. Se fue cambiando una cosa cada vez:

Paso Cambio Qué hacía
1 Sin la recompensa released_precise Seguía empujando el cubo
2 Sin ninguna recompensa por colocar el cubo No colocaba la pinza alrededor del cubo
3 Recompensa por acercarse más estrecha (de 20 a 5 cm) Colocaba la pinza abierta alrededor del cubo, pero no la cerraba
4 Pinza fuera del castigo por velocidad Coge el cubo y lo levanta

La causa: el castigo por velocidad

La recompensa joint_vel_hinge castiga las articulaciones que se mueven a más de 0,5 por segundo, y se aplicaba también a la pinza. El dedo del YAM se desliza y se cierra a unos 0,03 m/s, así que nunca llegaba al límite. Los dedos de la pinza del UR5e giran y se cierran a unos 5,7 rad/s, así que cerrar la pinza costaba mucho más de lo que se ganaba cogiendo el cubo, y la red aprendía a no moverla.

cfg.rewards["joint_vel_hinge"].params["asset_cfg"].joint_names = arm_joints

Limitaciones

  • El UR5e solo coge y levanta el cubo; falta entrenar el pick and place completo.
  • Lo coge con la pinza inclinada unos 38°, no desde arriba como el YAM.
  • La pinza del modelo no es la del robot real.

Próximos pasos

  • Entrenar el pick and place completo con el UR5e.
  • Batería de pruebas automáticas con miles de posiciones de cubo y destino.

Updated: