Día 14
Objetivo del día
- Quitar el baile de los dedos después de dejar el cubo.
Por qué bailaban los dedos
Se midió con 256 robots qué hace la pinza después de dejar el cubo en el destino:
-
Con el cubo ya colocado, ninguna recompensa depende de la pinza, así que abrir y cerrar los dedos no le cuesta nada.
-
La red en momentos sueltos manda valores grandes tanto positivos como negativos a la pinza y como tiene mucha velocidad, practicamente instantanea, lo cumple al momento y no tiene motivos para no hacerlo.
Un castigo por mover la pinza
Se ha añadido un castigo a la velocidad de la pinza que solo cuenta cuando el cubo ya está soltado en el destino. Así no afecta a cogerlo ni a llevarlo:
def gripper_vel_after_place(...):
placed = released_at_target(...)
vel = robot.data.joint_vel[:, asset_cfg.joint_ids]
return placed * torch.sum(torch.square(vel), dim=-1)
Con peso −0,1, solo para el UR5e. Se ha continuado el entrenamiento desde la red del día 13 (iteración 12000).
El entrenamiento colapsó
Hasta la iteración 12200 todo fue bien, pero en la 12213 hubo de golpe muchos choques de la pinza contra la mesa y, en unas 35 iteraciones, dejó de soltar el cubo en el destino. Ya había pasado lo mismo con la recompensa por subir la pinza del día 13. No se sabe todavía la causa.

Como se guarda una red cada 100 iteraciones, se eligió la última antes del colapso, la de la iteración 12100. Comparación con la red del día 13 (baile con 256 robots, el resto con 2048):
| Día 13 (12000) | Día 14 (12100) | |
|---|---|---|
| Robots que abren y cierran los dedos | 100 % | 0 % |
| Error final (mediana) | 0,30 cm | 0,31 cm |
| Error < 2 cm | 95 % | 97 % |
| Error > 5 cm | 4,3 % | 2,3 % |
| Robots a los que se les cae el cubo | 5,3 % | 5,3 % |
| Velocidad máxima de la pinza | 0,92 m/s | 0,92 m/s |
| Tiempo hasta dejar el cubo | 0,94 s | 0,90 s |
Los dedos ya no bailan y el resto se mantiene igual o un poco mejor. La red 12200 ya volvía a bailar en el 74 % de los robots.
Por qué no basta con esta red
Aunque la red 12100 no baila, se decidió no dejarlo así:
- No es estable. Solo 100 iteraciones después, la red 12200 volvía a bailar en el 74 % de los robots. Se encontró un momento bueno del entrenamiento, no una solución.
- El castigo trata el síntoma, no la causa. La red sigue mandando de vez en cuando órdenes bruscas a la pinza; el castigo solo hace que le salga caro cumplirlas.
- La pinza simulada va mucho más rápida que la real. Se cierra casi al instante, cuando la Robotiq 2F-85 real va como mucho a 150 mm/s. Una red que aprende con una pinza más rápida que la real puede fallar en el robot de verdad.
Lo que queda por mejorar
Se le sigue cayendo el cubo al 5 % de los robots, casi siempre justo al levantarlo. Mirando cómo lo coge, se ve que influyen dos cosas:
- La velocidad de la pinza: se cierra de golpe al coger el cubo.
- La orientación de la pinza: muchas veces coge el cubo girado respecto a él, casi en diagonal, apoyando los dedos en las esquinas en vez de en dos caras.
Para el día 15: limitar la velocidad de la pinza a la de la real y añadir una recompensa que premie coger el cubo con la pinza girada igual que él.
Cómo se llegó a la red final
La red final no ha salido de un solo entrenamiento, sino de tres seguidos:
- Desde cero hasta la iteración 9886, con el castigo de velocidad subiendo hasta −10. Se paró por un
NaN. - Continuación desde la 9800 hasta la 12000, con
nan_detection. - Continuación desde la 12000 con el castigo de la pinza, eligiendo la red 12100.

La gráfica de TensorBoard mide si el cubo está a menos de 5 cm del destino en el último instante de cada episodio de 20 s. Como el cubo y el destino cambian de sitio cada 4–6 s, muchos robots acaban el episodio a mitad de un encargo, por eso se queda en torno al 70 % aunque al medirlo con un solo encargo lo deje bien el 97 %. Sirve para ver si el entrenamiento mejora o colapsa, pero no para elegir entre dos redes.
Red y código subidos
- La red se exportó a ONNX y está en
inference/policies/ur5e_pick_place.onnx. - El código del UR5e (modelos, tarea y recompensas) ya está en el repositorio.
Limitaciones
- Dos entrenamientos han colapsado al continuar con una recompensa nueva; el último, después de un pico de choques de la pinza contra la mesa.
- A veces se le escurre el cubo al levantarlo (5 % de los robots), aunque casi siempre lo vuelve a coger.
- Solo se ha entrenado con el cubo a la derecha del robot y el destino a la izquierda.
Próximos pasos
- Limitar la velocidad de la pinza a la de la real.
- Recompensa para orientar la pinza igual que el cubo.
- Batería de pruebas automáticas con miles de posiciones de cubo y destino, guardando los resultados en un CSV y unas estadísticas.