1 minute read

Objetivo del día

Conseguir que el robot con cámara agarre el cubo.

Recompensa por agarrar

He añadido a mi copia de la tarea la recompensa grasp (peso 0,5), que vale 1 cuando los dos dedos de la pinza tocan el cubo a la vez. Para saberlo he puesto un sensor de contacto en cada dedo (lf_down y rf_down en el modelo del YAM), copiando el que ya tenía la tarea para detectar el choque de la pinza con el suelo. La función está en src/tfg/mdp.py, hecha a partir de illegal_contact de mjlab.

Resultado: el robot hizo trampa

uv run train Tfg-Lift-Cube-Yam-Depth --env.scene.num-envs 1024 --agent.logger tensorboard --agent.max-iterations 1000

La recompensa de agarre se cobraba en torno al 85 % del tiempo, pero el cubo no se levantaba nunca (0 % de éxito, cubo a 1,9 cm).

Revisándolo después con el visor vi que en realidad no lo agarraba: cierra la pinza del todo y la apoya encima del cubo. Así los dos dedos tocan el cubo y cobra la recompensa sin cogerlo (separación entre dedos de 0,1 cm, frente a 3,7 cm cuando lo agarra de verdad en el día 7).

La pinza cerrada apoyada encima del cubo

Es un caso de reward hacking: el robot cumple la recompensa (“los dos dedos tocan el cubo”) sin hacer lo que yo quería. Más adelante comprobé que sin grasp llega al mismo resultado (ver día 7), así que la acabé eliminando.

Por qué no lo sube

El objetivo está entre 20 y 40 cm de altura, y la parte de lift que premia llevar el cubo al objetivo apenas cambia en los primeros centímetros (con el objetivo a 30 cm, subirlo de 2 a 5 cm solo pasa lift de 1,42 a 1,50). El robot no nota que subir vaya por buen camino.

Próximos pasos

  1. Una recompensa por tener el cubo agarrado en el aire.
  2. Bajar la altura del objetivo para que subir poco ya se note.
  3. Subir el peso de lift (creo que ayudará menos, porque también premia más acercarse).

Updated: