3 minute read

Objetivo del día

  • Entrenar el pick and place completo con el UR5e.

Pick and place completo

Con la tarea completa, el UR5e aprendía primero a coger el cubo, pero hacia la iteración 2000 volvía a empujarlo hasta el destino: con 128 robots, solo el 1 % lo llevaba en el aire. Las recompensas por dejar el cubo en el destino (released_at_target y released_precise, hasta 15 por paso) también pagaban si el cubo llegaba empujado.

Para evitarlo, esas dos recompensas solo pagan si antes el cubo ha estado agarrado y despegado de la mesa. Hace falta recordarlo de un paso a otro, así que es una clase con una casilla por robot: se marca al levantar el cubo y se vacía al empezar un episodio o cuando aparece un cubo nuevo.

self.lifted |= lifted_now > 0
return self.lifted * released_at_target(...)

Con 12000 iteraciones, el 99 % lo lleva agarrado en el aire y el error final es de 0,40 cm de mediana (91 % por debajo de 1 cm).

Demasiado rápido

Lo hacía bien, pero muy deprisa y eso provocaba que se cayera de vez en cuando: cogía el cubo en 0,3 s y lo dejaba en el destino en 0,5 s. Velocidad máxima de cada articulación:

Articulación Velocidad máxima
Hombro (giro) 2,60 rad/s
Hombro (subir/bajar) 2,21 rad/s
Codo 1,29 rad/s
Muñecas 1,49 / 1,88 / 1,03 rad/s
Pinza 1,71 m/s

El castigo joint_vel_hinge castiga pasar de 0,5 rad/s con peso −1, igual que en el YAM, pero al UR5e le compensaba pagarlo: terminando antes cobra más pasos con el cubo en el destino.

Además, al 3 % de los robots se le caía el cubo. Casi siempre al arrancar hacia el destino, mientras aceleraba: perdía el cubo a 1,5 m/s, frente a 0,6 m/s al soltarlo bien. En 8 de cada 10 caídas el cubo salía despedido y acababa a más de 5 cm del destino.

Un castigo más fuerte

En vez de poner un límite de velocidad a mano, se subió el castigo para que la red aprenda sola a ir más despacio. Solo para el UR5e, el currículum del castigo sigue subiendo cuando ya sabe hacer la tarea:

cfg.curriculum["joint_vel_hinge_weight"].params["stages"] = [
  {"step": 0, "weight": -0.01},
  {"step": 500 * 24, "weight": -0.1},
  {"step": 1000 * 24, "weight": -1.0},
  {"step": 2000 * 24, "weight": -3.0},
  {"step": 4000 * 24, "weight": -10.0},
]

El castigo solo cuenta por encima de 0,5 rad/s, así que no le impide moverse, solo ir rápido.

Va a menos de la mitad de velocidad y es igual de preciso. Las caídas no desaparecen, pero cambian: ya no sale despedido durante el transporte, sino que se le escurre al levantarlo, a poca velocidad, y casi siempre lo vuelve a coger.

El entrenamiento se paró

En la iteración 9886 el entrenamiento se paró porque una observación salió como NaN: la física de uno de los 1024 robots había explotado. Se añadió la terminación nan_detection de mjlab, que reinicia ese robot antes de que la red lo vea:

"nan_detection": TerminationTermCfg(func=mdp.nan_detection),

Y se continuó desde la iteración 9800. mjlab guarda en cada red el contador de pasos, así que los currículums siguen por donde iban.

Los dedos bailan

Después de dejar el cubo, la pinza se queda encima del cubo y abre y cierra un poco los dedos unas 5 veces por segundo, sin tocarlo. Se probó una recompensa por subir la pinza después de soltar el cubo: subió solo 3 cm, los dedos siguieron igual y, al final, el entrenamiento dejó de soltar el cubo. Se quitó.

Limitaciones

  • A veces se le escurre el cubo al levantarlo (5 % de los robots), aunque casi siempre lo vuelve a coger.
  • Después de soltar el cubo, los dedos se abren y cierran sin parar.

Próximos pasos

  • Batería de pruebas automáticas con miles de posiciones de cubo y destino.

Updated: