4 minute read

Objetivo del día

  • Que el UR5e coja y deje el cubo en más sitios, no solo en dos zonas fijas.
  • Medir bien el entrenamiento.
  • Quitar de verdad el baile de los dedos.
  • Tener una red final que salga de un solo entrenamiento desde cero.

Medir bien el entrenamiento

La gráfica at_goal de mjlab se quedaba en un 70 % porque mira el último instante de cada episodio, cuando muchos robots están a mitad de un encargo. Se ha añadido una métrica propia, task_success, que cuenta cada encargo justo cuando termina y mira si el cubo quedó soltado y a menos de 2 cm del destino. Con la red del día 14 da un 96 %, frente al 35 % de at_goal.

A partir de ahora las gráficas marcan porcentajes más altos, no porque el robot haya mejorado de golpe, sino porque ahora se mide bien.

Zonas más grandes

Hasta ahora el cubo salía siempre a la derecha del robot y el destino a la izquierda. La red encuentra el cubo con la cámara de la muñeca, así que, de momento, las zonas no pueden ser más grandes que lo que ve la cámara al empezar (x de 0,31 a 0,66 m, y unos ±0,15 m). Se usó la misma zona para el cubo y para el destino:

  Antes Ahora
Cubo x 0,35–0,55, y −0,20 a −0,05 x 0,33–0,62, y −0,15 a 0,15
Destino x 0,35–0,55, y 0,05 a 0,20 x 0,33–0,62, y −0,15 a 0,15

La red del día 14, probada en la zona grande, solo deja bien el cubo (a menos de 2 cm) el 31 % de las veces: fuera de las zonas en las que se entrenó casi no generaliza.

Al continuar el entrenamiento con las zonas grandes volvió a colapsar. Midiendo el castigo de la pinza en cada paso se vio que, justo después de soltar el cubo, los dedos todavía se están abriendo a unos 12 rad/s y el castigo llegaba a −25 en un solo paso. Se le puso un tope y ya no colapsó.

Por qué bailaban los dedos

Bailar le cuesta al robot unos 2 puntos por paso y no gana nada, pero lo sigue haciendo. Lo que se encontró:

  • La red pide para la pinza valores muy exagerados (−15, a veces −48) cuando con −0,6 ya está abierta del todo. En esa zona cualquier valor da lo mismo y la salida da tirones.
  • La pinza simulada era 10 veces más rápida que la real: se cerraba en 0,06 s. La Robotiq 2F-85 se cierra en 0,6 s. Cada tirón de la red cerraba los dedos de golpe y se veía como un baile.

Una pinza que se mueve como la real

Se cambió la acción de la pinza para que su objetivo no salte: en cada paso solo puede acercarse 0,028 rad (1,41 rad/s × 0,02 s) a lo que pide la red, como hace el controlador de la pinza real. El brazo no cambia.

desired = self._processed_actions[:, self._gripper].clamp(*self.cfg.gripper_range)
step = (desired - self._gripper_target).clamp(-self._max_step, self._max_step)
self._gripper_target += step

Cierre de la pinza antes y después

Continuando desde la red de la zona grande, los robots que bailan pasan del 75 % al 5 %, y los pocos tirones que quedan apenas mueven los dedos.

Las caídas del cubo

No era falta de fuerza (la pinza aprieta con unos 50 N y el cubo pesa 0,5 N): dependían sobre todo del rozamiento de las yemas, que es aleatorio en cada robot. Con rozamiento bajo se le caía al 15 % y con rozamiento alto a ninguno.

Entrenamiento final desde cero

Con todo lo anterior (zonas grandes, pinza a la velocidad real, tope en el castigo de la pinza) y el castigo de velocidad del brazo subiendo hasta −15, se entrenó una red nueva desde cero, 15000 iteraciones en un solo entrenamiento.

Encargos bien hechos durante el entrenamiento final

Con la pinza lenta tardó más en aprender a coger el cubo (hacia la iteración 1500, antes hacia la 100), pero después aprendió el resto sin colapsar. Desde la iteración 11000 ya no mejora.

Comparación con 2048 robots, un encargo de 10 s cada uno:

  Día 14 (zonas pequeñas) Día 15 (zona grande)
Error final (mediana) 0,31 cm 0,27 cm
Error < 1 cm 91 % 99 %
Error < 2 cm 97 % 100 %
Error > 5 cm 2,3 % 0,0 %
Robots a los que se les cae el cubo 5,3 % 2,7 %
Robots que abren y cierran los dedos 0 % 0 %
Velocidad máxima de la pinza 0,92 m/s 0,67 m/s
Tiempo hasta dejar el cubo 0,90 s 0,96 s

La red nueva funciona en toda la zona grande y es más precisa. Cuando se le cae el cubo lo vuelve a coger: todos los robots acaban con el cubo a menos de 2 cm del destino.

La red está en inference/policies/ur5e_pick_place.onnx.

Limitaciones

  • Se le sigue cayendo el cubo al 2,7 % de los robots, aunque siempre lo recupera.
  • Muchas veces coge el cubo girado, casi en diagonal, con los dedos en las esquinas.
  • Solo funciona donde la cámara ve el cubo al empezar; no sabe buscarlo si no lo ve.

Próximos pasos

  • Día 16: orientar la pinza igual que el cubo antes de cogerlo.
  • Batería de pruebas automáticas con miles de parejas de origen y destino, guardando los resultados en un CSV y unas estadísticas.

Updated: