Día 12
Objetivo del día
- Dejar el cubo más centrado en el destino.
- Comprobar que el destino es de verdad relativo a la base del robot.
- Empezar a pasar el pick and place a un UR5e.
Pick and place más preciso
La recompensa por dejar el cubo tenía una campana de 5 cm, y a 1 cm del centro cobraba casi lo mismo que en el centro. Se añadió una segunda recompensa igual, released_precise, con una campana más estrecha de 1,5 cm y peso 5 para que fuera más preciso dejando el cubo en el objetivo.
Se entrenó 2000 iteraciones más continuando desde la red del día 11. Comparación en el programa de inferencia con 8 posiciones distintas de cubo y destino:
| Día 11 | Día 12 | |
|---|---|---|
| Error medio al dejarlo | 1,09 cm | 0,90 cm |
| Peor error | 1,94 cm | 1,37 cm |
| Altura máxima del cubo | 8,5 cm | 7,5 cm |
El destino es relativo a la base
En el día 10 el destino pasó a darse respecto a la base del robot, pero durante el entrenamiento la base nunca se mueve ni gira, así que respecto a la base y respecto al mundo daban el mismo número.
Para comprobarlo, en el programa de inferencia se movió y giró la base del robot, colocando el cubo y el destino en el mismo sitio respecto a ella:
| Posición de la base | Giro | Error al dejarlo |
|---|---|---|
| (0, 0) | 0° | 0,85 cm |
| (0,5, 0,3) | 0° | 0,85 cm |
| (−1, 2) | 0° | 0,85 cm |
| (0, 0) | 90° | 0,85 cm |
| (0,5, 0,3) | 90° | 0,85 cm |
| (−1, 2) | 180° | 0,85 cm |
| (3, −2) | −115° | 0,85 cm |
Como control, dándole el destino en coordenadas del mundo con la base en (0,5, 0,3) y girada 90°, el error sube a 25,8 cm.
Funciona porque todo lo que ve la red es igual esté donde esté la base: las articulaciones, la cámara de la muñeca y el destino en los ejes de la base. La posición inicial del cubo no se le da a la red, la encuentra con la cámara.
El UR5e
Se montó en MuJoCo un UR5e con una pinza Robotiq 2F-85 y una cámara de profundidad en la muñeca, del tamaño de una Intel RealSense D405 como la del YAM. El brazo y la pinza son los modelos de MuJoCo Menagerie. La pinza podrá cambiarse más adelante.
La tarea es la misma que la del YAM, cambiando solo lo propio del robot: los motores, la postura inicial, los nombres de las piezas y las zonas del cubo y del destino, ya que el UR5e es más grande. La tarea del YAM se mantiene.
Primer problema: empuja el cubo
Con las mismas recompensas que el YAM, el UR5e aprendía a empujar el cubo con la pinza abierta hasta el destino, sin cogerlo nunca. Se fue cambiando una cosa cada vez:
| Paso | Cambio | Qué hacía |
|---|---|---|
| 1 | Sin la recompensa released_precise |
Seguía empujando el cubo |
| 2 | Sin ninguna recompensa por colocar el cubo | No colocaba la pinza alrededor del cubo |
| 3 | Recompensa por acercarse más estrecha (de 20 a 5 cm) | Colocaba la pinza abierta alrededor del cubo, pero no la cerraba |
| 4 | Pinza fuera del castigo por velocidad | Coge el cubo y lo levanta |
La causa: el castigo por velocidad
La recompensa joint_vel_hinge castiga las articulaciones que se mueven a más de 0,5 por segundo, y se aplicaba también a la pinza. El dedo del YAM se desliza y se cierra a unos 0,03 m/s, así que nunca llegaba al límite. Los dedos de la pinza del UR5e giran y se cierran a unos 5,7 rad/s, así que cerrar la pinza costaba mucho más de lo que se ganaba cogiendo el cubo, y la red aprendía a no moverla.
cfg.rewards["joint_vel_hinge"].params["asset_cfg"].joint_names = arm_joints
Limitaciones
- El UR5e solo coge y levanta el cubo; falta entrenar el pick and place completo.
- Lo coge con la pinza inclinada unos 38°, no desde arriba como el YAM.
- La pinza del modelo no es la del robot real.
Próximos pasos
- Entrenar el pick and place completo con el UR5e.
- Batería de pruebas automáticas con miles de posiciones de cubo y destino.