Día 16
Objetivo del día
- Que el UR5e coja el cubo con la pinza girada igual que él, con los dedos sobre dos caras y no en diagonal.
El problema
El cubo aparece girado al azar y ninguna recompensa le pedía a la red girar la pinza como el cubo. Con la red del día 15, el 38 % de las veces lo coge casi en diagonal:

Cogido en diagonal se le cae más: al 3,4 % de los robots, frente al 1,4 % cuando lo coge alineado.
Una recompensa con los cuaterniones
De los cuaterniones de la pinza y del cubo se saca el giro alrededor del eje vertical (yaw) y se calcula cuánto le falta a la pinza para estar alineada:
_, _, gripper_yaw = euler_xyz_from_quat(gripper_quat)
_, _, cube_yaw = euler_xyz_from_quat(obj.root_link_quat_w)
diff = (gripper_yaw - cube_yaw) % (math.pi / 2) # El cubo es igual cada 90°: de 0° a 90°.
error = torch.minimum(diff, math.pi / 2 - diff) # Lo que le falta: de 0° a 45° (diagonal).
aligned = 1 - error / (math.pi / 4) # 1 alineada, 0 en diagonal.
| Lo que le falta | 0° | 9° | 22,5° | 45° |
|---|---|---|---|---|
| Recompensa | 1 | 0,8 | 0,5 | 0 |
Solo cuenta con la pinza cerca del cubo (una campana de 5 cm).
Dos intentos
- Peso 1, cobrando siempre. Hasta la iteración ~2950 se quedaba sujetando el cubo cerca del destino sin soltarlo: la recompensa también pagaba mientras lo llevaba.
- Peso 3, solo antes de cogerlo, que es cuando puede corregir el giro. Ya no se atascaba: 99 % de encargos bien hechos en la iteración 3500.
not_grasped = 1 - finger_contact_grasp(env, left_sensor_name, right_sensor_name)
return not_grasped * near * aligned
Comparación con 2048 robots:
| Sin orientación (día 15) | Peso 1 | Peso 3, antes de coger | |
|---|---|---|---|
| Lo coge alineado (0–5°) | 42 % | 48 % | 49 % |
| Lo coge en diagonal (20–45°) | 38 % | 37 % | 32 % |
| Se le cae el cubo | 2,6 % | 2,1 % | 2,8 % |
| Error final (mediana) | 0,28 cm | 0,35 cm | 0,34 cm |
La red del día 15 se volvió a medir junto a las otras dos, por eso sus cifras cambian unas décimas respecto al día 15.
Alinea un poco más, pero no se le cae menos el cubo y es algo menos precisa. De momento la red buena sigue siendo la del día 15.
Por qué no mejora más
Se separaron los robots según lo girada que empieza la pinza respecto al cubo (en azul, la red de peso 3 que solo cobra antes de coger):

La red sí gira la muñeca, pero solo corrige unos 10–15°: si empieza a 40° lo coge casi igual de girado. Lo más probable es que la recompensa llegue tarde: solo paga en los últimos 5 cm, y ahí quedan décimas de segundo para girar. Girar 40° tan rápido supera los 0,5 rad/s, y a partir de esa velocidad el castigo del brazo le cuesta más de lo que gana.
Próximos pasos
- Premiar la alineación desde más lejos (campana de 15 cm), para que gire la muñeca despacio mientras baja hacia el cubo.