2 minute read

Objetivo del día

Hasta ahora la red recibía el destino visto desde la pinza. Se cambia la referencia del destino a la base para que sea sencillo mandar destinos sin tener en cuenta la posición de la pinza.

Qué se cambió

  • Una observación nueva, target_position_base, que calcula la posición del destino respecto a la base del robot. Sustituye a la anterior solo en la tarea de pick and place, el lift se queda como estaba.
  • En el programa de inferencia se hace la misma cuenta usando la posición y la rotación de la base.

Primer intento: continuar desde la red anterior

Se continuó desde la red del día 9, pero se quedaba sujetando el cubo en el aire y nunca lo soltaba.

Tiene sentido: la red había aprendido que esos (x,y,z) eran “dónde está el destino respecto a la pinza”, y ahora significan otra cosa. Además, con el destino respecto a la base es más difícil, porque la red tiene que aprender ella sola dónde está su pinza.

Entrenar desde cero: el peso de llevar el cubo

Se entrenó desde cero y el problema pasó a ser el peso de la recompensa por llevar el cubo en el aire:

Peso Qué aprendió
5 Coger el cubo y quedarse sujetándolo en el aire.
1 Arrastrar el cubo por el suelo hasta el destino, sin levantarlo.
3 Cogerlo, llevarlo y dejarlo en el destino.

Con peso 1 la recompensa de dejar el cubo se podía engañar: paga si el cubo está cerca del destino, en el suelo y sin agarrar, y empujándolo se cumplen las tres cosas. Con peso 5 sujetarlo ya pagaba bastante y no se arriesgaba a soltarlo.

Con peso 3 se entrenaron 6000 iteraciones (unas 2 horas) y acabó con un 79 % de éxito.

Resultado

En el programa de inferencia lo deja a menos de 1 cm del destino.

Limitaciones

Casi siempre lo deja en el sitio, pero a veces queda a 1–2 cm del centro. La recompensa para dejar el cubo usa una campana que hace que no haya prácticamente diferencia en el cobro en los últimos centímetros, y a 1–2 cm cobra casi lo mismo que en el centro. Se podría añadir una segunda campana más estrecha, pero de momento se deja así.

Estrechar la campana ya existente no es una opción ya que si el destino es lejano al origen no sabría cómo llegar porque a una gran distancia no cobraría nada.

Próximos pasos

  • Pasar a Gazebo.
  • Elegir el robot.

Updated: