Día 11
Objetivo del día
La red del día 10 llevaba el cubo a ras de suelo, a unos 4 cm como mucho. Se quiere que lo lleve más alto, sea cual sea la altura del destino.
Primer intento: un escalón
La recompensa grasped_in_air pagaba por tener el cubo agarrado y sin tocar el suelo, así que levantarlo 1 mm ya cobraba lo mismo que levantarlo 10 cm. Se cambió para que solo pagase si el cubo está a más de 5 cm por encima del destino.
No funcionó: la recompensa se quedó a 0 durante todo el entrenamiento. La red nunca subía el cubo por encima de 3,7 cm, así que nunca cobraba y no tenía ninguna pista de que subirlo más fuese mejor.
Segundo intento: recompensa gradual
Se cambió el escalón por una rampa: paga según cuánto ha subido el cubo sobre el destino, de 0 a su altura hasta 1 a 5 cm por encima.
height = obj.data.root_link_pos_w[:, 2] - command.target_pos[:, 2]
high_enough = torch.clamp(height / min_height, 0.0, 1.0)
Con peso 3 apenas cambió nada. Con peso 5 sí lo llevaba más alto, pero lo dejaba menos centrado.
Un problema más: la precisión
Menos preciso. La recompensa lift_precise premia que el cubo esté cerca del destino en 3D, altura incluida. Como el destino está en el suelo, llevarlo alto le quitaba recompensa, y mientras iba por arriba no sabía si estaba bien centrado. Se cambió para que mida solo la distancia en horizontal (x, y).
Resultado
Se entrenó 5000 iteraciones más continuando desde la red anterior. Comparación en el programa de inferencia con 6 posiciones distintas de cubo y destino:
| Día 10 | Día 11 | |
|---|---|---|
| Altura máxima del cubo | 3,9 cm | 8,4 cm |
| Error al dejarlo | 1,1 cm | 1,1 cm |
Limitaciones
- La precisión se puede mejorar ligeramente. La campana de la recompensa por dejarlo es de 5 cm, y a 1 cm del centro cobra casi lo mismo que en el centro.
Próximos pasos
- Añadir una segunda campana estrecha (1,5 cm) a la recompensa de dejar el cubo.
- Pasar a Gazebo.